至正二十四年（1364年），胡惟庸迁任吉安府通判。
至正二十六年（1366年），胡惟庸升任湖广按察佥事。至正二十七年（1367年），胡惟庸贿赂李善长二百黄金，于是经李善长推荐，担任太常寺少卿，不久升任太常寺卿。
朱元璋登基当了明朝开国皇帝之后，在洪武三年（1370年），胡惟庸拜中书省参知政事。
洪武六年（1373年）七月，胡惟庸任右丞相。
自从杨宪被诛后，明太祖认为胡惟庸有才干，很宠信他。胡惟庸也自觉奋进，曾以遇事小心谨慎博得明太祖欢心，进一步获得明太祖的宠信。胡惟庸为此当了多年独相，生杀废黜大事，有的不报告明太祖便独断专行。内外各部门的奏章，他都先拿来看，凡是不利于自己的，便扣下不上呈。各方面热衷功名之徒，以及失去了职位的功臣武夫，竞相奔走于其门，贿送金帛、名马、玩好之物，不可胜计。大将军徐达极恨胡惟庸的奸恶，向明太祖进言其恶行。胡惟庸于是诱惑徐达的守门人福寿，图谋害徐达，但被福寿揭发。
洪武八年（1375年）正月，刘伯温生病，明太祖皇帝朱元璋于是派胡惟庸带上医生前去探视刘伯温，可胡惟庸却暗中对刘伯温下毒。
刘伯温死了以后，胡惟庸为人更加的无所顾忌。
胡惟庸与当今的太师李善长互相勾结，将自己哥哥的女儿嫁给了李善长的侄子李佑为妻。学士吴伯宗弹劾胡惟庸，差点大祸临头。此后，胡惟庸的权势更盛。
洪武十年（1377年），胡惟庸进左丞相，位居百官之首。
胡惟庸随着自己的权势不断地增大，就日益骄横跋扈，竟然擅自决定官员人等的生杀升降，勾结中丞涂节、御史大夫陈宁等，并令陈宁坐中书省，阅天下兵马，准备谋反计划。
洪武十二年（1379年），在胡惟庸定远老家的井中，突然生出石笋，出水数尺深，献媚的人争相说这是祥瑞之兆。其实这哪里是什么祥瑞之兆，当时精通命理占卜术数的赖有福就看了出来，胡惟庸分明是离死不远。井中出笋，井谐音为尽，笋谐音为损。胡惟庸作恶多端，一家当不久尽数损伤，必不得好死。果然没多久，胡惟庸的儿子坐着的马车在街道横冲直撞 ，居然把自己摔出去，直接当场摔死。
之前那些溜须拍马的人还说胡惟庸祖父三代的坟墓上，晚上都有火光，照亮夜空。胡惟庸听了之后，很是得意洋洋。可是如今，自己的儿子横尸街道，气愤不过的胡惟庸擅自处死马夫。
明太祖皇帝朱元璋深知胡惟庸仗势欺人，违法乱纪的。明太祖朱元璋对于中书省丞相胡惟庸的“异心”，并不是没有耳闻的。之前，大将军徐达和大学士吴伯宗或暗或明都曾提醒过明太祖皇帝朱元璋。