臧霸跑了，带着他的本部军马回到了泰山去了。
他履行了和李肃的承诺，在此战之中两不相帮，仅仅带领自己的军队撤退了，甚至他还留下了一封信给刘备，告诉刘备他撤退的原由。
当接到臧霸的信件时候，刘备有些懵，他想过无数次李傕破局的方法，唯独没有想到他可以找人说动臧霸。
在他的心中，臧霸同样是一个讲理想、讲信义的人，当年曹操给他许了大利，也没有挑动他。
但现在李肃竟然只说了一席话就让臧霸退军。
“现在李傕的兵马威逼我们，而臧宣高却不战自退，现在的情况对我们来说很不利，他的儿子臧艾现在正在我们的军中，不如请他写一封信给他的父亲。”糜芳建议道。
刘备摇了摇头说：“用孩子去逼迫别人的父亲，这样的事情是有仁德的人不能做的，如果我这样做了，那么和董仲颖又有什么区别呢？现在宣高因为他的本心动摇而离开了，因为他对于自己的目标迷茫了。但是我了解宣高，既然他决定两不相帮，自然会兑现他的诺言。”
“至于臧艾的问题，我并不担忧，如果他愿意继续在我军中效力，那么就让他继续效力，如果他想要和自己的父亲回到泰山去，那么我自当为他送行。”刘备又继续说道。
“我和臧宣高之交，只为义而不为利，臧宣高被董仲颖手下的话语所蒙蔽，假以时日他必然会有所醒悟，更何况如果因为他和我的理念不和我再去讨伐于他，那么我和董仲颖的做法又有什么不一样呢？”刘备的话语让周围的人很是感动，于是臧霸私自退军的影响被降低到很小。
只是刘备小看了凉州四天王，臧霸的退军只是其中的一个环节。
很快又有新的流言在刘备的军中流传，说是臧霸回转泰山之中，已经接受了秦王的册封，他开始联结徐州的豪杰，打算全据徐州。
这样的传言传的有鼻子有眼，让刘备的军中受到了动摇。