“时河南、山东大水，死者将半，隋帝令饥人就食黎阳，开仓赈给。时政教已紊，仓司不时赈给，死者日数万人。
积言于密曰：“天下大乱，本是为饥，今若得黎阳一仓，大事济矣。”密乃遣积领麾下五千人自原武济河掩袭，即日克之，开仓恣食，一旬之间，胜兵二十万余。”
其后因为瓦岗寨的领导权问题，李密与翟让之间的矛盾逐渐升级，李密在其手下的建议下，决定先下手为强，于是李密摆下鸿门宴，用计除掉了翟让。《资治通鉴》上，详细地记载了李密除翟让这一事件的过程。
“翟让司马王儒信劝让自为大冢宰，总统众务，以夺密权，让不从。让兄柱国荥阳公弘，粗愚人也，谓让曰：“天子汝当自为，奈何与人！汝不为者，我当为之！”让但大笑，不以为意，密闻而恶之。
......，密曰：“今日与达官饮，不须多人，左右止留数人给使而已。”密左右皆引去，让左右犹在。......，密曰：“听司徒进止。”让应曰：“甚佳。”乃引让左右尽出，独密下壮士蔡建德持刀立侍。
食未进，密出良弓，与让习射，让方引满，建德自后斫之，踣于床前，声若牛吼，并弘、摩侯、儒信皆杀之。徐世积走出，门者斫之伤颈，王伯当遥诃止之。单雄信叩头请命，密释之。”
李密经过鸿门宴事变后彻底掌握瓦岗寨的大权，无所顾忌的李密，难免有些骄傲，徐世积可能看出李密不似先前，就出言讽刺李密，李密很不开心就让徐世积去镇守黎阳。
《资治通鉴》上说：
“初，李密既杀翟让，颇自骄矜，不恤士众；仓粟虽多，无府库钱帛，战士有功，无以为赏；又厚抚初附之人，众心颇怨。徐世积尝因宴会刺讥其短；密不怿，使世积出镇黎阳，虽名委任，实亦疏之。”
等到李密被王世充打败后，李密就想去黎阳投奔徐世积，结果却被他手下人提醒，小心徐世积会报复李密。
《资治通鉴》说：“密将如黎阳，或曰：“杀翟让之际，徐世积几死，今失利而就之，安可保乎！”
李密细想想，人家说的也有点道理，他一害怕，就改变了战略转移的方向，便带着一两万人西去关中投奔了李渊。】
“李密想当年也是一代枭雄人物，与我家同出于关西八柱国之家啊！”李世民有些感怀的回忆道。
现在大唐里面除了李靖、李世积外，甚至就连魏征、许世宗等当初都是瓦岗寨的人，所以对于李世民的话，往常喜欢杠精的老魏头却恰恰相反的因为避嫌没有接话。
而负责大唐修史工作的总编、大唐的枢相房玄龄，同时老房也是秦王府真正的嫡系核心老人，他的顾忌就少很多了。