是时，汉还定三秦。项羽闻汉王皆已并关中，且东，齐、赵叛之：大怒。乃以故吴令郑昌为韩王，以距汉。令萧公角等击彭越。
——《史记·项羽本纪》
汉元年（前206年）五月，汉王刘邦经过一个多月的准备，得知章邯已经将军队调往褒斜道后，在韩信的建议下，决定沿陈仓道杀回关中。
于是，刘邦留丞相萧何镇守南郑，负责署理汉中、巴蜀事务，镇守后方、安抚人心，并征收巴蜀赋税，供给前线军粮，自己则亲率大军，沿陈仓古道北上关中。
由于刘邦大军一路偃旗息鼓，再加上章邯的势力向南渗透有限，而他的防御重点又在褒斜道，导致始终没有发觉刘邦已经率兵北上，等他得知消息之时，刘邦的大军已经攻破了大散关。
大散关作为关中四关之一，自古便为“川陕咽喉”，战略地位极为重要，从周朝以来便是关中地区的防御重点，直到秦国占领巴蜀之后，因为不必再担心来自秦岭以南的威胁，这才使大散关的战略地位有所下降。
虽然由于章邯将防御重点放在了褒斜道，导致大散关的防守十分薄弱，但章邯守军毕竟占据了地利，仅凭刘邦的军队，想要在狭窄的峡谷地带攻破关城，显然并非易事，若是耽搁太久，章邯援军赶到，自己必将会被堵死在这狭窄的峡谷之中。即使能够攻克，也必然要付出不小的代价，势必要对后续收复关中产生影响。
在出兵北上之前，韩信曾在汉中当地招募了不少士卒，实在不想强行攻关的刘邦，便命人在这些汉中当地的士卒中，寻访熟悉这一带地形者，询问是否有其他路可绕过大散关。一番询问下来，来自汉中的士卒赵衍献计，说有一条小路可绕过大散关直抵关中。
于是，刘邦派遣精锐士卒，跟随赵衍绕道进入关中，然后自北向南，配合大军前后夹击大散关守军，从而轻松攻破大散关，大军顺利杀出陈仓道。
章邯在得知刘邦已经攻破大散关，杀入关中之后，立即派人调遣原本驻军于褒斜道的守军增援陈仓县（今陕西宝鸡），抵御刘邦的进攻。
然而，由于章邯被刘邦修补栈道的举动所骗，根本没有料到刘邦会这么快北上，驻扎于褒斜道的守军更多是起到监视的作用，兵力并不算太多，又如何抵御刘邦的大军，结果陈仓县很快失守，败军被迫向东败退。
攻破陈仓后，刘邦率军向东迅速挺进，兵锋直指章邯的都城废丘。
章邯得知消息，急令弟弟章平率军驻守废丘以北的好畤，与废丘互为犄角，同时派人向塞王司马欣和翟王董翳求援。