张归霸，字正臣，清河人也，其家族在地方上颇有声望。祖父张进言，曾于阳谷县令一职上留下政绩；父亲张实，亦非白身，有着官宦家庭的背景。张归霸自幼便与众不同，他性格洒脱不羁，不拘泥于小节，而对兵法战术却表现出浓厚的兴趣与天赋。在那个风雨飘摇的唐朝乾符年间，社会动荡不安，盗贼蜂起，四处作乱，天下大乱之象已显。
正是在这样的时代背景下，张归霸毅然决定带领自己的三位兄弟，离乡背井，投身到了黄巢的麾下。黄巢，这位乱世枭雄，正以他的勇猛和智谋，汇聚着四方豪杰，意图在这乱世之中闯出一番天地。张归霸凭借其过人的勇气和非凡的军事才能，很快便在黄巢的军队中脱颖而出，声名鹊起，成为了黄巢麾下的一员猛将。
当黄巢的大军势如破竹，攻占长安，震动天下之时，张归霸因功被封为左番功臣，这是他军事生涯中的一个重要里程碑。然而，好景不长，随着黄巢势力的逐渐衰败，中和年间，黄巢不得不带领部下逃往宛丘，以图东山再起。此时，太祖已在汴州站稳脚跟，奉诏南下讨伐黄巢，黄巢的党羽开始陷入困境，四面楚歌。
面对这样的局势，张归霸与他的兄弟们，以及葛从周、李谠等一众将领，审时度势，相继选择了投降太祖。他们的加入，无疑为太祖的军队注入了新的活力。不久之后，张归霸便因其出色的军事才能和过往的战功，被任命为宣武军中的重要职务，开始了他在太祖麾下的新征程。
光启二年（公元886年），张归霸迎来了他军事生涯中的又一次重要考验。这一年，他与蔡州将领张存在卢氏展开了一场激烈的战斗。战场上，张归霸身先士卒，英勇无畏，最终击败敌军，取得了胜利。次年夏天，他再次出征，与蔡将卢瑭在双丘交战，同样取得了辉煌的战果。紧接着，他又与秦宗贤在万胜展开激战，每一次战斗，张归霸都展现出了非凡的军事才能和过人的勇气，屡战屡胜，歼灭了大量的敌军。
在一次战斗中，张归霸的英勇表现更是令人叹为观止。当宗权派遣将领张郅前来侵犯，并在赤堈扎寨时，张归霸毫不畏惧，率兵迎战。一日，张郅派出骑兵前来挑战，张归霸在战场上奋勇杀敌，却不慎被飞来的戈击中。在这危急关头，他展现出了极高的应变能力和战斗素养，立即拔马撤退，同时一箭射出，敌人被射中颈部，应声坠落马下。张归霸则趁机骑着敌人的马返回，这一幕被在高处俯瞰的太祖尽收眼底，太祖对他的英勇表现大加赞赏，当面给予了高度的评价，并用丰厚的金帛和所缴获的马匹作为奖赏，以示对他的嘉奖和鼓励。