胡亥做了皇帝以后，很少出现在朝臣面前。一方面固然有胡亥自己耽于玩乐的原因，另一方面，也是听了赵高的蛊惑。
赵高对胡亥说：“先帝始皇帝统治天下时间长，所以群臣不敢做坏事，不敢进献邪说。但是陛下您年轻，刚刚即位，恐怕朝臣会因为您年轻有所轻慢，如果您和公卿在朝廷上一起决断事务，言语不当，有了错误，就会让群臣看出陛下的不足。天子自称朕，何等尊贵，怎么能和群臣一起朝会讨论呢？”
本就无意政务的胡亥觉得赵高师傅的这个说法实在是深得朕心，于是就刻意减少朝会的次数，用各种理由拒绝朝会。臣下上奏章的时候，也不找左右丞相御史大夫商议，而是在深宫之中，召集赵高讨论，或者询问侍从的博士官、儒生的意见。但是赵高和儒生都不通政务，又哪里有什么正经的方略？
这天右丞相冯去疾、左丞相李斯和御史大夫冯劫叩宫觐见。三公齐聚觐见皇帝，这也躲不了。就在内宫召见了这几个人。冯去疾并不寒暄，展开地图，开门见山说明来意：
“关东地区的盗贼叛乱，关中竟然无兵可用，只能派少府章邯带领二十万刑徒军出征讨伐，虽然章邯所向披靡，已经平息了三川郡的叛乱，斩杀了不少叛军，但泗水以东的叛乱仍然未能平息。如果要彻底消灭叛贼，还是需要更多的军队东征。臣下以为，可以调上郡王离所部二十万大军从北线，沿草原过代郡入邯郸，与章邯会和，两路合围，一举歼灭叛军。”
胡亥看着地图，边听冯去疾的解说，点点头，“上郡又无战事，留那么多军队干什么，冯相建议甚好。”
冯去疾又补充一句：“陛下啊，眼下叛贼纷纷起兵，主要还是因为戍边、修筑阿房宫、运输粮食等劳役太苦，赋税太重。数十万劳役刑徒进入阿房宫，关中粮食供应不足，市面上粮价暴涨，长此以往，臣下等担心关中也会乱起来。兴兵平叛治标不治本，要彻底消除乱源，臣等以为，还是应该停止修建阿房宫，减少天下戍边的兵役和修筑阿房宫的劳役吧。”
胡亥挑了挑眉毛，这下他也品出味道来了，原来这三位重臣入宫，是来给自己添堵的！
“阿房宫不是从我开始修筑的，长城也不是从我开始修筑的，劳役和戍军，从先帝始皇帝时期就开始了，为什么始皇帝时代没有叛贼作乱？”
三个大臣不发一言。
胡亥越加愤怒了：“你们是指责我大兴土木耽于享乐吗？”
三位大臣不吱声。
“朕，朕修筑阿房宫难道是为了自己享乐吗？朕修建阿房宫，是为了彰显我大秦的威严，给全天下看看，我们宫室多么华美壮观，让全天下人都知道我大秦的伟大！难道我住在草屋子里，天下百姓就会尊重和信服我吗？不会，如果你们的皇帝住在草屋子里，天下百姓就会轻视皇帝、轻视我大秦，就会有更多的人叛乱！”胡亥的声音尖利起来。
“朕是大秦的皇帝，大秦是万乘之国，我身为万乘之国的皇帝，却不曾有万乘之国的军队，现在大秦的兵车也只有几千辆，这怎么能和朕的身份相匹配？怎么能和大秦的气势相匹配？”