梁军大举进攻淮南吴国，到濠州东面时，听说先头部队在清口失利，各路军队都退到涧河，溃乱不成队型。牛存节断后，各位将领都放弃坐骑，徒步格斗，使各军逐渐得以渡过涧河，收聚部下败兵共八千多人，到达淮河水边时，已有四天没有进食了。牛存节训导激励各部，以抵御追击的敌寇，才得以回师。牛存节任亳州刺史，不久迁宣武军都指挥使，随后又改任宿州刺史。
淮南吴军大举攻打彭城，牛存节率领部下士兵连夜出发，直奔彭城，淮南人惊讶于他的神速，震怖惊恐而退，梁军各将都佩服他的智略胆识。不久，牛存节被免职，但很快又出任左衙都将兼马军步军教练使。牛存节任潞州马军步军都指挥使，法令严整，军民安定，当他前往皇帝行在时，士卒们哭泣相送，不绝于道。牛存节被加封金紫光禄大夫、检校司空，改任滑州左衙步军指挥使，管理邢州军政事务。
牛存节任邢州团练使，当时邢州兵士才二百人，晋人知悉后，领军入侵。梁太祖在邺城，派遣长直兵两千人奔赴支援，牛存节率勇健壮士出战，用私人财产赏赐激励战士，并州晋军紧急进攻，七天不能获胜，就退走了。梁太祖召来牛存节，慰劳他很久，厚赐给金钱布帛鞍马，加封为检校司徒。朱温担任元帅，牛存节被撤掉军职，暂任元帅府左都押衙。
梁太祖接受唐哀帝李柷禅让的帝位，任命牛存节为右千牛卫上将军，梁军进攻上党，以牛存节为行营马军步军都排阵使。牛存节自右监门上将军转任右龙虎统军，驻守洛下。梁军在上党潞州战败，晋人乘胜挺进逼近泽州，州城即将陷落。河南留守张全义召来牛存节共同商议对策，最终决定由牛存节率领本部军士及右龙虎军、羽林军等前往上党接应。
军队开到天井关，牛存节对各位将领说：“此次出征，虽然不是奉行皇上诏旨，但泽州为要害之地，不可让它失去。”这时晋人刚获胜利，兵势强盛，牛存节领军向前，连夜疾行暗至泽州，恰逢守卫女墙的人已经放火呐喊，以响应城外晋军，刺史保守衙城，不知怎么办。牛存节才进城，晋军就到了，牛存节于是分兵把守，晋军四面进攻，开掘地下通道以入城，牛存节也用隧道来对付，在地下迎战，晋军不能前进。牛存节又用强弓射击他们，中箭的人和马都被洞穿了身体，历时十三天，晋军伤亡众多，便焚烧军营而退，泽州得以保全。梁太祖多次赞叹奖励他，迁任左龙虎统军，充任六军马步总指挥使，任绛州刺史。