长孙无忌再次受到了天大的雷击，李世积这小子这会加封受赏的，可谓是荣誉满身，但是呢，这一会，我长孙无忌就想问了，李治你的舅舅坟头草这会儿是不是老高了？
好家伙，合着是不是你们都姓李，所以你们才是一家人？
亲舅舅和你不一个姓，还真显着是外人了呗！
长孙无忌只觉得自己对李唐的一片赤胆忠心此刻瓦凉瓦凉的。
【到唐高宗时，李积已经是三朝老臣了，李积在高宗朝一直官运亨通。
之后，长孙无忌、褚遂良等老臣相继出事倒台，李积依然如鱼得水。
李积能够二次画图凌烟阁，位列三公，这些都说明李积越老越世故，越老越知道顺从唐高宗李治。这也不处处体现了李世积的格局高、有智谋。
这一点也许跟李世积的家庭出身有关。他出自大富之家，奴仆无数、存粮堆积如山；但李家并不是为富不仁之辈，李世积和父亲李盖都乐善好施，经常赈济贫困，即使跟自家毫无亲属关系的陌生人，也都大度的进行救助，颇有些“侠”的作风。
李世积投奔瓦岗后，考虑到“兔子不吃窝边草”，劝说翟让不要在家乡附近劫掠，转而前往“商旅之会，御河在中，舟舰相属”的荥阳、梁郡。
通过抢劫来往船只，瓦岗队伍发展迅速，规模扩张到上万人，也因此被出自关陇贵族的李密看中。
公元617年瓦岗军袭夺黎阳仓，其实是出自李世积的建议。当时正值中原地区爆发洪灾，朝廷赈灾不及时，每天饿死的百姓多达数万人；徐世积向李密建议：“天下大乱，本为饥馑。今更得黎阳仓，大事济矣。”
饥饿加速了隋王朝的覆灭，但也成了起义军手中的武器，瓦岗军先后占领回洛仓、黎阳仓，成了他们一度傲视中原的最大资本。
公元618年，李密败给王世充后投奔李渊，但此时的李世积仍在坚守他辖区内的黎阳等十多个郡，与当时李唐占据的关中、河东地区并不相接。
不久后，曾经的瓦岗同僚魏征前来分析形势，李世积决定归顺李渊。
但他认为，自己镇守的十多个郡并不是自己的，而是是李密的，所以他不能用这些资本为自己寻求富贵：“吾若上表献之，是利主之败，自为功以邀富贵也，吾实耻之”，所以他派使者前往长安，把辖区内所有人口、库府、兵马、粮草等数据报告给李密，请他献给李渊。
李渊得知后感叹道：“徐世积不背德，不邀功，真纯臣也！”由此对其赐姓李，并委托其和郭孝恪全权负责经营虎牢以东地区。