刘武周部将黄子英、宋金刚入侵太原，行军总管姜宝谊、李仲文相继战死，唐高祖为此忧虑不已。裴寂主动请缨，要求率军征讨，被任命为晋州道行军总管，还得到便宜行事的特权。因宋金刚据城抵御，遂驻军度索原，当时唐军营地缺水，山涧水路又被敌军掘断。裴寂只好移营，以寻求水源，宋金刚却趁机出兵，唐军大败，死伤惨重。裴寂疾驰一昼夜，方才逃回晋州，而晋州以东的城镇则全部丢失，宋金刚又进逼绛州，裴寂只得上表请罪。唐高祖下诏慰谕，又让他镇抚河东。
宋金刚攻陷浍州，军威大振，裴寂生性怯懦，没有将帅之才，缺乏扞御之策，只是命虞泰二州百姓进入城堡，又将他们的积蓄焚毁，结果却使百姓不安，人心思乱。夏县百姓吕崇茂趁机叛乱，杀死县令，响应刘武周，还将前来征讨的裴寂击败。不久，唐高祖将裴寂召回朝中，指责道：“起兵初期，你有辅佐之功，官爵已到极点。此番抵御刘武周，兵力足以破敌，却败亡至此，难道你就不感到有愧吗？”将他下狱，但不久便将他释放，对他更加优宠，此后，唐高祖每逢出巡，都要命裴寂留守长安。
麟州刺史韦云起告发裴寂谋反，唐高祖命有司调查，但却查无实据，他抚慰裴寂道：“朕能取得天下，本就是您所促成的，您又岂会怀有贰心。朕之所以将您交付吏议，是想让天下之人相信您不会谋反。”他还命三位贵妃携带美食宝器，到裴寂家中饮宴，至次日方回，以示恩宠。后来，唐高祖改铸钱币，又赐裴寂自行铸钱的特权，并特聘娶其女儿为赵王李元景之妃。
唐高祖擢升裴寂为尚书左仆射，并在含章殿赐宴，裴寂趁机请求道：“当初起兵太原，臣曾与陛下约好，天下平定之后准臣辞职归田，如今四海太平，请陛下准臣退休。”唐高祖极力挽留，泪下沾襟，表示要与裴寂相偕终老，册拜裴寂为司空，赐实封五百户，命尚书员外郎每日到他府中值守。