张归霸的英勇事迹并未就此止步。在一次战斗中，他奉命带领五百名弓箭手埋伏在壕沟内，以配合太祖的进攻。太祖率领数百骑兵逐渐逼近敌寨，蔡州人果然中计，派出精锐士兵沿着营垒追击。就在这时，张归霸伏兵齐出，犹如天降神兵，对敌军进行了猛烈的攻击。在这场突如其来的袭击中，敌军损失惨重，一千余人被歼，数十匹战马被夺。这一战，不仅彰显了张归霸的军事才能，也极大地提升了他在军中的威望。
不久之后，张归霸因战功被奏授为检校左散骑常侍，这是对他过去战功的肯定，也是对他未来军事生涯的期许。此后，他跟随太祖南征北战，讨伐郓州，作为李唐宾的副将渡过淮河，每一次战斗都立下了赫赫战功，成为了太祖麾下不可或缺的一员猛将。
文德初年（公元888年），大军逼近蔡州，贼将萧颢前来砍伐营寨，企图破坏太祖的军事部署。面对萧颢的挑衅，张归霸与徐怀玉各自率领所部兵马，从东南两门分头出击，合力杀敌。在这场激烈的战斗中，张归霸展现出了出色的指挥能力和战斗素养，他率领的兵马与徐怀玉部协同作战，将蔡州人打得溃不成军，大败而逃。等到太祖率领大军离开营寨时，敌军的威胁已经彻底消除。太祖召见张归霸，对他的表现给予了高度的评价，并赞赏他说：“从前耿弇不等光武帝就去攻打张步，说不愿把敌人留给君王。你的功劳，比耿弇还要大上三分之二。”这一评价，不仅是对张归霸战功的肯定，更是对他忠诚与勇气的赞誉。
大顺中（公元891年），郭绍宾攻占曹州，意图扩大自己的势力范围。面对郭绍宾的挑衅，张归霸毫不畏惧，率领数千兵马镇守曹州。不久之后，朱瑾率领大军前来进犯，企图一举攻下曹州。面对强大的敌军，张归霸与丁会在金乡迎击朱瑾的大军。在这场决定性的战斗中，张归霸展现出了非凡的军事才能和过人的勇气，他率领的兵马与朱瑾的大军展开了殊死搏斗。最终，朱瑾大败，张归霸擒获了贼将宗江等七十余人，曹州得以安定。这一战，不仅巩固了太祖在曹州的统治地位，也进一步提升了张归霸在军中的威望和地位。
第二年，张归霸又攻破濮州，生擒刺史邵儒，展现了其强大的战斗力和军事才能。此外，他还协助葛从周与晋军在洹水交战，生擒李克用的爱子落落；又与燕军在内黄交战，杀死仁恭兵马三万余人。这些战功的累积，使得张归霸在军中的地位不断攀升，最终累官至检校左仆射。