李渊与王威、高君雅一同在府中议事，刘文静上前报告道：“有密状告发谋反之人。”李渊让王威取状观看，刘政会不肯，道：“告的就是副留守，只有唐公可以观看。”李渊装出惊讶的样子道：“怎么会有这样的事？”他看罢密状，对王威、高君雅道：“此人告发你们谋反，应该怎么办？”高君雅大骂道：“这是谋反的人要杀我！”刘文静命人绑缚王威、高君雅，囚于别室，李渊遂起兵反隋。
李渊起兵后，自称大将军，以刘文静为大将军府司马，刘文静建议李渊改换旗帜，又请求连结突厥为援。李渊遂派刘文静出使突厥，刘文静游说始毕可汗道：“如今天下大乱，唐公为国家近戚，担心皇室毁灭，故此起兵。唐公希望与可汗兵马一同进入京师，到时百姓、土地归于唐公，财帛和金宝归于突厥。”始毕可汗当即命大将康鞘利率二千骑兵随刘文静南下，又献马一千匹，李渊盛赞刘文静，又让他率军前往潼关，抵御隋朝大将屈突通。
李渊立代王杨侑为帝，进位大丞相，刘文静改任大丞相府司马，加授光禄大夫，封鲁国公。刘文静在潼关与武牙郎将桑显和苦战，死伤数千人，他趁隋军稍怠之时，暗中派遣奇兵掩袭其后，终于大败桑显和。当时，屈突通尚有数万兵马，企图逃回东都，结果被刘文静派兵追上，最终，屈突通被俘，新安以西地区全部平定。
李渊接受杨侑禅位，建立唐朝，刘文静被任命为纳言，成为宰相，作为太原元谋功臣，还与秦王李世民、裴寂一同得到“恕二死”的特权。当时朝廷初建，各种制度尚处于草创阶段。唐高祖命刘文静与朝中学识渊博之人修正《开皇律》，以此作为通法。西秦霸王薛举进犯泾州，唐高祖任命李世民为元帅，让他率军征讨薛举，李世民以刘文静为元帅府长史。