后梁大将李思安，将兵十万围攻潞州，想从李克用手中夺回这座失陷一年的城池，李思安修筑夹城，深沟高垒，内外重叠，把潞州围了个水泄不通，张居翰与李嗣昭率领士卒，登城拒守。朱温多次给张居翰、李嗣昭写信，劝二人投降，并许诺如若来归，定不吝爵禄之赏。张居翰、李嗣昭不为所动，焚其诏书，斩其使者，固守经年。城中军民衣服不继，赖张居翰等惨淡经营，多方运筹，民心才稍稍安定，由于晋军防守严密，梁军虽然在数量上占有优势，但在张居翰等的守御面前却一筹莫展。
晋王李克用病逝，李存勖袭位于晋阳，时年二十四岁。李存勖在张承业等人的劝说下，亲自军兵从太原出发救援潞州，后梁军没料到后唐军突然赶来，毫无斗志，争先恐后向南逃窜，一路上丢盔卸甲，道路为之堵塞。潞州城中的张居翰、李嗣昭等见救兵已到，便抖擞精神自城中杀出，里应外合，内外夹击，梁兵大败，死亡一万余人，生擒其副招讨使符道昭及将佐三百人，缴获当粟百万石。张居翰守城有功，又与李嗣昭配合默契。从此，李嗣昭每次出征，便让张居翰留后，张居翰抚绥士卒，护理百姓，一切都治理得井井有条，得到了庄宗的赞扬。
李存勖灭梁称帝，大封群臣。当时，宦官马绍宏与大将郭崇韬资格最老，功劳最大，二人当为掌兵权的枢密使，而马绍宏的资历高于郭崇韬，此人后来赐姓为李，他诬杀大臣，收受赌路，作威作福，天下人多怨之。
郭崇韬怕他日后掌权难于驾驭，便奏请资历比自己低的张居翰同掌枢密，另委马绍宏为宣徽使，马绍宏埋怨不已。郭崇韬专权跋扈，又嫉恨宦官，因此张居翰虽备位枢密使，不过是随人俯仰而已，手中没有任何权力。每次商议国家大事，张居翰都不发表自己的意见，只是唯唯诺诺，十分低调。这样，他才得以保全性命，没有遭到郭崇韬的迫害。