李渊正式任太原留守、晋阳宫监，成为这一地区最高军政长官，李渊奉命率兵征讨历山飞贼甄翟儿，与甄翟儿遭遇在河西郡的雀鼠谷，李渊大获全胜。在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力，李渊之子李世民知隋必亡，暗中结交豪杰，招纳逃亡之人，网罗各种人才。
起兵反隋的队伍蜂拥而起，隋炀帝所在的江都被孤立了，晋阳令刘文静、晋阳宫监裴寂都是李世民的密友。李世民就和晋阳县令刘文静密谋起兵，起兵造反的计策确定后，李渊还不知情。李世民想实情相告，又担心李渊不听，李世民私下找到裴寂商议，裴寂就选了晋阳宫的几个美女，乘李渊喝醉酒之后，陪他过夜。然后，裴寂把李世民的谋划告诉了李渊，李渊大惊，裴寂说：“安排宫女侍奉，事情暴露后是要杀头的，我这么做就是为了要劝你下定决心起兵啊。”李世民乘机向李渊汇报了整个计划。李渊开始时坚决不同意，还表示要把李世民送去报官。过一了会儿，李渊还是答应了起兵，对李世民说：“我爱护你，怎么忍心去告发你呢！”
李渊治下驻马邑的鹰扬校尉刘武周发动兵变，杀死马邑太守王仁恭，割据马邑而自称天子。刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下，炀帝闻讯后大怒，要提李渊到江都治罪。在此危急情势下，李世民说：“事情紧急，可以举事了。”其周围的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，在很短的时间里便招到数千人。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首，又遣二子李建成、李世民率军攻杀拒命的西河郡丞高德儒。同时，李渊又设下空城计，吓退了突厥的军队，接着，李渊开始作起兵反隋的准备工作。