继承爵位后，徐辉祖迅速展现出了自己的军事才能和领导力。他没有沉浸在京城的安逸之中，而是主动请缨，北上山西、北平等地，这些地区紧邻蒙古草原，是明朝北部防线的前沿阵地，战略位置极为重要。徐辉祖在那里大力整顿军纪，加强军事训练，提升部队战斗力，同时强化边防建设，确保边境的安宁。这一系列举措不仅有效抵御了北方游牧民族的侵扰，更为明朝的北方边境筑起了一道坚固的屏障，展现了他作为军事统帅的卓越能力和深远的战略眼光。
完成北疆的军事部署后，徐辉祖班师回朝，随即被任命为中军都督府事，这一职位使他直接参与到中央的军事决策中来，标志着他在军事体系中的地位再次跃升。在中军都督府，徐辉祖不仅负责调遣兵马、规划战略，还积极参与到军事改革和政策制定中，成为明太祖朱元璋身边不可或缺的军事顾问。他的意见和建议，往往能够直接影响到明朝军事政策的走向，对增强国家军事实力、维护边疆稳定起到了决定性的作用。
四、建文时期的重臣与挑战
建文帝登基后，面对复杂的宫廷局势与来自北方的威胁，急需一股可靠的力量来稳固朝纲，徐辉祖因其家族背景、个人才能以及对皇室的忠诚，自然而然地成为了建文帝信赖的重臣。他被加封为太子太傅，这不仅是对其个人声望与能力的进一步肯定，也是建文帝强化中央集权、笼络勋贵势力的重要举措。在这一时期，徐辉祖不仅是新政权的核心支持者，更扮演着智囊与守护者的角色，积极参与到一系列内政外交和军事防御的决策之中。
然而，好景不长，建文帝的叔叔燕王朱棣以“清君侧”为名发动了靖难之役，这场内战不仅考验着建文政权的稳固，也将徐辉祖推向了历史的前台。作为南军的重要将领，徐辉祖在战争中展现出了非凡的勇气与智慧。特别是在白沟河之战中，面对燕军的强大攻势，徐辉祖临危不乱，巧妙调度兵力，成功掩护了南军统帅李景隆的撤退，避免了更大规模的溃败，这一行动充分体现了他作为军事指挥官的冷静判断与战术灵活。
随后，在齐眉山之战中，徐辉祖更是率军取得了对燕军的重大胜利，这场胜利不仅在一定程度上遏制了燕军的南下势头，也极大地鼓舞了南军的士气，证明了徐辉祖在逆境中的领导力和战场指挥能力。他坚持抵抗燕军，不仅基于对建文帝的忠诚，更出于对国家稳定和道义原则的坚守，即便面对亲人（其妹嫁与朱棣）也在所不惜，这种立场鲜明、大义灭亲的行为，使他成为忠臣典范，载入史册。