不久之后，徐怀玉被召赴河中（今山西永济），补任为晋、绛、同、华五州的马步都指挥使。这是一个极其重要的职位，它意味着徐怀玉将负责这五个州的军事指挥和调度。在这个岗位上，他继续发挥着自己的才能和领导力，为朝廷的军事事业做出了新的贡献。
天佑三年，即公元906年，徐怀玉被授予左羽林统军的职位。随后，他又转为右龙虎统军，率领六军之士前往泽州（今山西晋城）。然而，他们很快便遭遇了晋军的猛烈攻击。面对敌人的昼夜冲击和地道战术，徐怀玉并未慌乱。他率领亲兵在隧道中迎敌杀敌，展现出了惊人的勇气和智慧。最终，在徐怀玉的带领下，六军之士成功击退了晋军的进攻。
开平元年，即公元907年，后梁建立，徐怀玉被授予曹州刺史的职位，并加封为检校司徒。这是对他多年来为朝廷立下的赫赫战功的肯定，也是对他未来更大的期待。第二年，他又被任命为晋州刺史，继续为朝廷的边疆稳定贡献自己的力量。
然而，徐怀玉的军事生涯并未因此画上句号。同年秋天，晋军大军压境，已经登上了城墙。在这危急关头，徐怀玉再次展现出了他的英勇和智谋。他挑选了五十多名亲兵，拥着他们冲下城墙杀敌。他的英勇行为激励了士兵们的斗志，最终使晋军退却。战后，他更是拿出自己的家财来奖赏战士们，赢得了士兵们的衷心拥护和尊敬。
同年中，晋军再次来袭。这一次，徐怀玉率领军队在洪洞（今山西洪洞）与敌人展开了激战。在这场战斗中，他再次发挥出了出色的指挥才能和战斗精神，成功击败了敌人。这一胜利不仅巩固了后梁的边疆安全，也进一步提升了徐怀玉在军中的地位和威望。
三年之后，即开平三年（公元909年），徐怀玉被正式任命为鄜坊（今陕西富县与坊州一带）节度使、特进、检校太保。在这个新的岗位上，他继续发挥着自己的才能和领导力。他积极练兵修缮城墙，使得百姓颇为安定。他的治理才能和军事才能再次得到了朝廷和百姓的广泛认可。后来，他又被加封为检校太傅，成为了朝廷中的一位德高望重的老臣。
然而，命运总是充满了变数。在乾化二年（公元912年），当庶人友珪篡位后，河中的朱友谦拒绝服从命令，并派兵袭击鄜州。徐怀玉由于没有防备，很快被河中的军队俘虏并囚禁在公馆中。这是他人生中的一次重大挫折，也是他军事生涯中的一个遗憾。
当友珪派康怀英率军围攻河中时，友谦担心徐怀玉会发生变化（可能指投降或反叛），于是将他杀害。这位才气刚勇、在战场上从未退缩过的战将，就这样走完了他波澜壮阔的一生。