太宗既践阼，加芝特进。昌武元年秋，又加开府仪同三司。二年二月，议伐西域，人多以路遥兵老，不能克之，芝独曰：“西域孤县已久，今中土已定，若假陛下之威，凭关右之众，王师西乡，当可摧枯拉朽，未有不克之理。”帝从之，终克西域。
七月，殁于洛阳。帝闻而叹息，曰：“此天夺柱国。”时年六十七，谥曰文襄。
初，芝每读前史，常有纵横之志，乃自荐于兵部，遂常居帷幄之任。高帝圣王之征，兵马粮草、军用调度，多出其手。凡戎马之事，咸有参预。又博览群书，着《典论》辩考十卷、《先梁河南实录》四十卷、《名门录》二十五卷，文赋百计。时人谓其文武全才，旷世不出。
三子：长子路，文有父风，好诗，终不仕，有诗集三十五卷存于世，溺水死。次子蹈，早卒。幼子迹，官至工部尚书，罹赵氏难。
路四子，名并不显，惟第二子陆，以祖荫为清河太守。迹三子，长次并同死于赵氏，幼子俊时随从兄在琅琊，故免，官至济阴太守，以祖之显，特赐持节，太守有持节，自其方有故事。
俊长子昌，有才华，善算术，至于工部侍郎。次子彻，西京司空也，事近不录。
史臣曰：文者经纶，武者定邦。笔筹并举，惟我文襄。