唐太宗即位后，十分看重李百药的才名，召为中书舍人，赐爵安平县男。除礼部侍郎，参与修撰《五礼》及律令，撰写北齐史书，迁太子右庶子，辅佐皇太子李承乾。起初，太子对学习经籍颇有兴趣，后来耽于享乐，嬉戏过度，于是百药便作《赞道赋》一文，对李承乾漫游无度的行为数有匡正。唐太宗见到此赋，非常赞赏，对李百药说：我在东宫见到你献的赋，以历来储君成败之事告诫太子，很是精辟切实，我选你辅佐太子，非常称职，希望能善始善终，赐给李百药彩绢五百段。
李百药，曾直言上谏唐太宗取消封建，为唐太宗所采纳。《北齐书》完封上进，得到嘉奖，加散骑常侍，行太子右庶子，赐物四百段，俄除宗正卿。《五礼》及律令撰成，进封安平县子，这是李百药一生中最惬意时期，才能得到充分发挥，官爵显赫，生活安定，对唐太宗尽心竭力，以报知遇之恩。
百药以才学和操行闻名于世，受到各方面名流的敬重，为人沉静寡言，乐于引进青年，提携后进，又不喜聚敛财富，所得俸禄，多散分亲友。不但在史学上有突出成就，而且文学上也造诣颇深，着有文章13篇、文集30卷。除了擅长文章外，还很善于写诗，尤其擅长五言诗，传世之作有诗20余首，通俗易懂，“虽樵童牧竖，并皆吟讽”，可见影响之广。唐太宗晚年曾作《帝京篇》，让也进入晚年的百药以此题另作一篇。文成，唐太宗极为赞叹：“卿何身之老而才之壮，何齿之宿而意之新乎！”
贞观末年，因年老执意辞官，回归故里，在京师胜业里府第去世，时年八十五。