虞世基转任秘书监，赐爵永兴县子，太宗器重他的博识，常常在处理军政大事的间隙，召世南在一起谈经论史。虞世南虽然容貌怯懦，弱不胜衣，但性情刚烈，当政得失，直言敢谏。太宗曾对侍臣说：“朕借闲暇的时间与世南商讨古今政事，有一个字的差错，未尝不惆怅恼恨，他恳切诚挚到这种程度，朕用他用得好啊。群臣都像世南这样，天下还愁有什么不能治理。”
陇右山崩，大蛇多次出现，山东及江淮多次遭大水，太宗问“天变”，虞世南以晋朝以来历次山崩为例，借机劝谏太宗遵循道德义理，并希望太宗不因功高而自满、不因太平已久而骄傲松懈，始终如一。太宗听后敛容反省，认为此言对自己有警醒作用，康国进献狮子，太宗命虞世南为其作赋。太上皇李渊驾崩，虞世南一再劝阻太宗筑陵墓厚葬，使太宗有所收敛，他还严正劝阻太宗不要恣于游猎而疏于政事，这些都对当时的“贞观之治”起着积极的作用。
虞世南又上表请求辞官归居，太宗优诏允许，仍授银青光禄大夫、弘文馆学士。虞世南在长安逝世，享年八十一岁，太宗闻讯后为他在别第举哀，痛哭悲伤，下手诏给魏王李泰说：“虞世南对朕忠心一体，拾遗补阙，无日暂忘，实为当代名臣，人伦准的。朕有小失必犯颜直谏，而今亡故，朝廷上下，无复人矣！”赐东园秘器，陪葬昭陵，赠礼部尚书，谥号文懿。唐太宗命阎立本画二十四功臣图于凌烟阁，皆真人大小，虞世南名列其中，位于第二十名。
虞世南逝世几年后，唐太宗曾在夜里梦见虞世南，像平生一样。第二天，太宗下令说：“礼部尚书、永兴文懿公虞世南，德行淳朴完备，文章是辞赋的宗师，早晚尽心，志在忠益。忽然去世，转眼过了几年，昨因夜梦，忽见其人，并且进谏直言，有如平生之日，追怀他留下的美德，很增悲叹，应当供给冥钱，申明朕的思旧之情，可在他家设五百僧斋，并为他造天尊像一座。”
虞世南，善书法，与欧阳询、褚遂良、薛稷合称“初唐四大家”，日本学界称欧阳询、褚遂良、虞世南为“初唐三大家”。所编的《北堂书钞》，为唐代四大类书之一，是中国现存最早的类书之一，原有诗文集三十卷，已散失不全。