会越已破，汉八校尉不下，中郎将郭昌、卫广引兵还，行诛隔滇道者且兰，斩首数万，遂平南夷为牂柯郡。
——《汉书·西南夷两粤朝鲜传》
元鼎六年（前111年），就在汉武帝平定南越，驻军于东越边境之时，汉朝对于南夷的反叛部落亦发动了进攻，一举讨平了南夷各部。
秦汉时期，在巴蜀南部的云贵高原地区，生活着夜郎、且兰、漏卧、句町、都梦、邛都等数十个少数民族部落，被称为西南夷，其中东部贵州高原的夷人部落之中，以夜郎实力最强，夜郎东北部的且兰次之。
贵州高原西有乌蒙山，东有武陵山脉，北有汾关山、大娄山，南有苗岭，整体呈现西高东低的走势，境内不仅山地极多，而且地势起伏极大。受这种地理条件限制，生活其间的少数民族部落，生产生活方式始终较为落后，且除了夜郎、且兰形成国家雏形之外，大多数夷人皆以部落形式散居于丛山峻岭之间。
战国时期，楚襄王曾派将军庄经且兰攻打夜郎，且兰国和夜郎国先后投降，夜郎国这才第一次被中原列国所知。彼时秦国虽占据巴蜀，但实力范围长期局限于巴蜀盆地，即使后来频频攻打楚国，也多自巴蜀向东南用兵，而始终没有继续向南发展，因而且兰、夜郎等部落受楚国影响更大。
直到秦始皇时，在得知巴蜀以南仍有部落和国家散居之后，这才派大将常頞于秦王政二十六年（前221）出使夜郎，迫使夜郎内附，并于夜郎设夜郎、汉阳二县，纳入蜀郡管辖，又对今宜宾经毕节至曲靖的道路进行了改造，修成“五尺道”，这才将贵州高原各部落纳入了统治，加强了与该地区的交流。
然而，随着秦末天下大乱，贵州高原的各部落便再度与中原断绝了联系。自汉初以来，西汉在西南方向的势力范围，仍然被局限于巴蜀盆地，而无法继续向西南拓展，只有少量商旅往来于巴蜀与且兰、夜郎之间，反倒是南越王赵佗野心勃勃，长期与夜郎等部落联系，试图将该地纳入自己的势力范围。
直到汉武帝元光年间，番阳县令唐蒙发现夜郎等国与南越来往密切，这才建议汉武帝修筑西南夷道，经略西南夷，于夜郎旁边的小邑设立犍为郡。不过，由于此后汉匈战事频繁，民力损耗巨大，汉朝经略西南夷的计划时断时续，始终难以取得大的突破。
由于道路险阻，夜郎等国对汉朝国力知之甚少，正因此，夜郎国君才会发出“汉与我谁大”这种无知的疑问，也正因此，这些部落对于汉朝毫无敬畏之心。