呼揭军虽然英勇奋战，但终究难以抵挡对方强大的攻势，不断向后退缩，形势十分危急。呼揭王眼见局势已经无法挽回，无奈之下只得抛下自己的部众独自逃跑。刘胥则毫不手软地乘胜追击，一鼓作气攻占了呼揭王的营帐。这场战役取得了巨大胜利，按照以往的惯例，呼揭全族将被贬为奴隶，贵族们也都会被处死。然而，由于这个族群在后世的声誉实在太差，刘胥心中有些犹豫是否要留下他们。但考虑到这已是四百多年后的事情，他强忍着厌恶之情，决定在此设立卫所，并留下相应数量的卫所士兵驻守和统治。
随后，军队分成三路行动：虎贲军负责攻打广袤的坚昆；陷阵军沿着唐努山一路进攻，直至北海；而刘胥亲自率领禁卫军和护军向燕然山进发，逼近匈奴单于庭一带，试图寻找卫青、霍去病等主力部队的踪迹。
此时此刻，随行的卫所士兵们迅速行动起来，化作斥候散布各处，展开全面搜索。然而，他们所遭遇的匈奴人数却寥寥无几。根据捕获的匈奴战俘供认，单于已经将草原各部落集结起来，共同对抗汉军。
刘胥率领部队一路前行，直至燕然山附近才遭遇大批逃亡的匈奴贵族。面对这些敌人，刘胥毫不留情，率领部下奋勇杀敌，并成功俘获了一万三千多名匈奴人。原来，卫青早已攻打单于庭，霍去病则攻破了范夫人城等地，匈奴被追杀至此。
刘胥派遣斥候与追击的霍去病一部取得联系后得知，主力军已经转头前往单于庭。尽管如此，刘胥仍然决定留下一部分兵力设立卫所，负责看守俘虏。随后，他与这支汉军会合，越过匈奴河，沿着姑且水和安侯河一路寻找单于庭。
当他们在安侯河和余吾水转向，继续沿着余吾水向单于庭靠近时，大量的战场情报不断传来。匈奴儿单于詹师庐统领着剩余的三十余万匈奴主力，正在与霍去病、卫青激战于姑衍山。许多匈奴老弱携带牛羊马匹纷纷败退，逃往北海方向。
刘胥认为自己的士卒数量太少，与其去单于庭不如追杀匈奴老弱，要是碰上前往北海的张非可以一起拿下这些老弱。汉军这部按军令前去与霍去病汇合，刘胥转头回安侯河前往北海一带。
斥候一路向北搜寻，在如今乌兰乌德附近发现匈奴老弱行踪，刘胥命令斥候集结重点探索此方向并寻找陷阵军踪迹。斥候来报，整个匈奴老弱延绵在数百里范围内，人口牲畜不计其数。刘胥命部队千人一队四处攻击俘虏所遇到的匈奴人，匈奴人见到汉军追来以为单于大败，纷纷惊恐逃散毫无抵抗之力。刘胥率领部队持续追击，收获颇丰。然而，在某次袭击中，他们意外解救了一名汉人俘虏。原来是去年被俘虏的赵破奴，找来盔甲给他换上，交给他一支千人队暂时统领，继续追杀匈奴人。