此后，朱升备受朱元璋器重，连年被征召问策，助朱元璋克饶州，下处州，捣江州，尤在鄱阳大战中，知彼知己，以先发火器、次发弓弩、再短兵击之等计，大败陈友谅，创造了以少胜多的范例。蒙朱升“三策”，朱元璋南征北战十余年，朱升被征召入京充当谋臣，先后被授侍讲学士，知制诰、同修国史、翰林学士，并与诸儒制定祭祀斋戒礼、宗庙时享礼，编纂防止“内嬖惑人”、干预朝政的《女诫》，并为朱元璋撰写了颁赐李善长、徐达、常遇春、李文忠、邓愈、刘基、陶安、范常、秦中、陈德等功臣的诰书，“明兴仪礼、作乐、国史、女诫、征伐之仪，皆升为之”。朱元璋曾有七言两句御联：“国朝谋略无双士，翰林文章第一家。”朱升为明初政坛的稳定起了重要作用。
明朝建立后，朱元璋论功行赏，大封功臣，朱升在和朱元璋打交道的过程中，早就隐隐感到朱元璋猜疑刻薄，杀戮功臣是早晚的事，如果要了朱元璋所赐的爵位，十之八九会引来杀身之祸。于是就在大家还都沉浸在封公封侯的美梦之中时，朱升正式申请“告老归乡”，又顾虑儿子朱同难保平安无事，老泪纵横地向皇帝请求赏赐“免死券”。朱元璋被朱升哭得挺感动，就送了朱升一个顺水人情，用免死券慰藉他，没想到，后来儿子朱同刚到任礼部侍郎一个月，便被牵连进郭桓一案，受诬入狱，最后，陈尸街头。
71岁的朱升以年迈和“祭扫祖茔”为由，告老还乡辞官隐居，朱元璋感其功绩，意欲重封，但朱升执意退隐。朱升第二次退隐时，并未回老家休宁，也没有去原隐居地安徽歙县石门，“两河兵合尽红巾，岂有桃源可避秦”，“偕夫人涉江沂淮抵东海转西溪而筑室于南龙港庄”。
朱升离开南京后，南京爆发血腥之灾，朱元璋在20年不到的时间里，由于看到功臣占据高位，儿孙十分文弱。为保万代江山，害怕开国元勋扰乱，制造了一系列冤案。他将原封的64名国公、列侯、大将杀了34个，受株连的十几万人，先后杀死、毒死、逼死刘基、徐达等功臣。而朱升却因及早抽身得以保全。
晚年，朱升诗一首“乱后送人归越”是一种生命的感悟：“百战一身存，生还独有君。越山临海尽，吴地到江分。暮郭留晴霭，荒林翳夕曛。归途当岁晚，霜叶落纷纷”。朱升还写过一首临终诗：“留心垂半世，藏体付千年。海内风尘息，城南灯火偏。亲朋何用哭，含笑赴黄泉。”