当时列侯数以百计，却没有一个人像卜式那样主动要求从军者，这让汉武帝大失所望。在汉武帝看来，如今朝廷府库空虚，这些列侯占据着大量食邑，享受着朝廷提供的福利，却不思为朝廷效力，如此还留着他们做什么？倒不如全部废免，还可以收回大量田土，缓解朝廷压力。
当时，朝廷正好在举行酎祭活动，天下列侯奉命进献黄金，汉武帝为了惩治这些列侯，遂命少府检查各列侯所献黄金，凡重量不足或成色不好者，一律以“不敬”之罪加以参劾。结果，因此而被革去爵位者，多达一百零六人。不久，丞相赵周也因“明知列侯所献黄金重量不足，却纵容包庇”，被逮捕下狱，不久后自杀身亡。汉武帝改以万石君石奋之子、御史大夫石庆为丞相，封牧丘侯，卜式则得以升任御史大夫。
在奉命征讨南越的几路大军之中，首先立功的是楼船将军杨仆，他率领精锐水军按照计划抵达豫章后，溯赣江而上，经南康抵达南安，因前路被大庾岭所阻，于是果断率军弃船登岸，从陆路越过大庾岭，来到浈、凌两江交汇处，伐木造船，再建楼船师，然后率军登船沿浈水南下。
杨仆所率军队虽然距离较远，顺江而下却进展极为迅速，一举突破南越军队的外围防线，于元鼎六年（前112年）冬抢先攻破了寻陿（今广东清远市东），接着又攻破了番禺城北的石门，缴获了大量南越国的战船和粮食，打开了番禺的北大门。
之后，杨仆趁机率军向南推进，挫败了南越国的先头部队，抵达番禺外围之后，率领数万大军驻军城外，等待路博德的军队。
驻军桂阳的路博德距离南越最近，却也是南越的防御重点，再加上沿途关隘众多，结果进军速度反而没有杨仆那么迅速。
当初，赵佗为了切断南越与中原沟通的要道，修建了多个关隘，其中横浦关、阳山关、湟溪关更是南越军队防守的关键，三大关隘以位于连江和西江交汇处的湟溪关为支点，勾连北部的横浦关、阳山关从而形成了一个倒三角形的立体防御体系，一旦中原军队南下，湟溪关不仅可以随时支援横浦关或阳山关，而且还可以作为守军的第二道防线。正是凭借着这三大关隘的阻隔，南越才得以割据一方。
路博德率军南下的路线，正好便要经过三大关隘中的阳山关和湟溪关，等到路博德好不容易攻克了两大关隘，南越军队的心理防线也随之告破，纷纷溃散南逃，这才使得行军速度加快。