然而，卫青亲率部队作战时能打出大纵深迂回包抄、疾驰700里夜袭这样的漂亮仗，但掌控全局时却出现了岔子。公元前123年，汉武帝以大将军卫青任主帅，率10余万大军发起漠南战役。结果卫青麾下诸将又犯了军机泄露、迷失路途、配合不力的老毛病，部队遭匈奴重创，前将军赵信（匈奴降将）投敌、右将军苏建（苏武之父）只身逃回，所部数万人马伤亡惨重。好在主帅卫青指挥若定，集中兵力猛攻匈奴主力，歼敌1.9万人，汉军才转败为胜。
值得注意的是，匈奴在吃了几次亏后汲取教训，采取了增派流动哨、扩大警戒范围、侦察探知汉军路线、提前预设伏兵等措施，这让汉军在漠南战役初期连遭重创。但有失必有得，正是在这场战役中，首次出征、时任剽姚校尉的霍去病崭露头角。
当时，霍去病脱离大部队，仅带800骑兵深入大漠绕到匈奴主力后方寻找目标，给匈奴来了个措手不及。他率领的这800名精锐骑兵如同一把尖刀，直插匈奴的后方。
在汉匈的正面交锋中，伊稚斜单于和卫青率领的汉军整整鏖战了数月之久。汉军先后斩杀和俘虏的匈奴兵达余人，但自身也损失不小，伤亡高达数千，还损失了多名大将。面对这种情况，伊稚斜单于改变了策略，准备暂时撤离阴山地区，向漠北转移，以此拉长汉军的战线，消耗汉军的后勤供给，再寻找机会反击。
然而，正当伊稚斜单于准备实施战略转移时，后方却突然传来噩耗——老窝被人端了。原来，年仅18岁的霍去病带着他的800精锐骑兵，长驱直入，一直深入到匈奴后方数百里，直接杀到了伊稚斜的大本营。霍去病的部队在匈奴王庭斩杀了2028人，其中包括匈奴的相国、当户等高级官员，还杀死了伊稚斜单于的外祖父，俘虏了他的姑父。伊稚斜单于听到这个消息后，悲痛万分，他从未遭受过如此耻辱，但无奈大部队已经准备撤离，且前有卫青，老窝又被端，只能忍气吞声退到漠北。