唐高宗更改官制，李义府改任司列太常伯、同东西台三品，他奏请皇帝，将祖父改葬到永康陵侧，并征调七县民丁，昼夜不停的运土修坟。满朝王公争相馈赠奠仪，送葬队伍绵延七十里，极尽奢华，唐高宗封皇八子李旭轮为殷王，命李义府兼任殷王府长史。
李义府升任右相，仍旧主持铨选，他在皇帝面前谄言自媚，出外则肆意乱法，百官尽皆畏惧，无人敢言其过。唐高宗对此略有所知，告诫他道：“听说你的儿子、女婿多有不法之事，我都为你掩饰，你该对他们多加管教。”李义府勃然变色，问道：“是谁告诉陛下的？”高宗道：“你知道就行，不必问我是怎么知道的。”李义府也不谢罪，扭头便走，唐高宗虽未追究，但也深为不满。
不久，李义府请术士杜元纪望气，杜元纪道：“您的宅第有冤狱造成的怨气，如果积蓄二千万钱，可以将怨气压制。”李义府深信不疑，更加急切的搜刮钱财，还趁哭吊亡母之时，与杜元纪微服出城，时人都认为李义府在窥测灾异，图谋不轨。这时，李义府又向长孙无忌之孙长孙延索取七百贯，授给他司津监的官职，结果被右金吾仓曹参军杨行颖告发。
唐高宗将李义府下狱，命刑部尚书刘祥道联合御史台、大理寺一同审讯，并由司空李积进行监督。不久，唐高宗下诏，将李义府长期流放巂州，其子婿也都遭到流放，朝野对此无不称庆，有人甚至写了篇《河间道行军元帅刘祥道破铜山大贼李义府露布》，张贴在交通要道上。
唐高宗封禅泰山，大赦天下，但却不许长期流放的罪囚返回，李义府忧愤不已，发病而死，时年五十三岁，至此，担心他再度起复的朝士方才安心，李义府的妻子、儿女遇赦，得以返回洛阳。
武则天称帝后，念及李义府此前的辅助之功，追赠他为扬州大都督，后赐实封三百户，唐睿宗继位后，又将李义府的实封收回。