（阎）乐将吏卒千馀人至望夷宫殿门……麾其兵进。二世自杀。阎乐归报赵高，赵高乃悉召诸大臣公子，告以诛二世之状。
——《史记·秦始皇本纪》
秦二世三年（前207年）七月，在会集各路义军之后，刘邦开始商议攻打武关事宜。然而，就在这个时候，刘邦集团内部却发生了问题，原因便是王陵虽然前来归附，但却并不愿意追随刘邦入关。
王陵作为沛县豪族，虽然早在刘邦担任泗水亭长时两人便已经相熟，但王陵却与同为豪族的雍齿更为交好，而十分看不起刘邦那种小混混的做派，即使刘邦一直将王陵当做大哥侍奉，两人的关系也始终算不上多么亲近。
在刘邦于沛县起兵时，王陵也招募了一些乡勇，由于当时沛县义军以刘邦最为势大，王陵便也归入了其麾下。不过，王陵却并不甘心被刘邦这个自己曾经看不起的小混混凌驾于自己之上，因此王陵虽然名义上算是刘邦的部下，但实际上他所率领的义军，却是一股相对独立的武装。
雍齿背刘降魏后，王陵便也脱离了刘邦的队伍，加入了魏王魏咎的麾下，并奉命率兵北上平定东郡的魏国旧地。后来，章邯率兵东进，魏王魏咎兵败自杀，章邯随后又率兵北上东郡，王陵自知不敌，便又率军向西退走，并最终一路转向西南，进入了南阳郡。
由于南阳郡紧邻武关，乃是秦国的防御重点，难以生存的王陵便又南下南郡，并在此遇到了同样率领义军的戚鳃，两人遂合兵一处，逼降了南郡的西陵县。
自脱离刘邦的队伍以来，王陵转战各地，但势力始终没有什么发展，如今也不过控制着南郡的几个县，而刘邦则不然，不仅被楚王熊心封为了武安侯，以砀郡长的身份执掌一郡事务，领兵西征以来队伍更是不断扩充，两人的差距已经越拉越大。
当得知刘邦率兵进入南阳郡后，戚鳃劝说王陵前去依附，王陵虽然极不情愿，但也深知仅凭自己手中的兵马，不仅难以打开局面，甚至就连生存也是愈发困难，万般无奈这才与戚鳃便又北上归附了刘邦。
刘邦一路西进，虽然通过收拢各路义军，使得军事实力迅速增强，但也导致他麾下军队的成分十分复杂，更像是一个由各路义军组成的军事联盟。
虽然大家名义上都受刘邦的节制，但除了出自丰沛和砀郡的刘邦嫡系军队外，也有不少郦商、梅鋗这种相对独立的军队。为了确保麾下各股势力有足够的向心力，刘邦平日里也不好对他们进行严加约束，甚至就连态度都不敢太过强硬。