黄霸觉得刘询早就想提拔史高了，但碍于外戚的关系不好讲出来，所以帮刘询开口。
刘询很快就批复了，内容难得的很实在，大略如下：
太尉一职本就不是常设职位，很多年没有设置了，一直由丞相兼着，而且一般只有在打仗的时候才设置，方便对军队的指挥，丞相大人今天想设太尉，难道觉得天下太安宁了？我不设太尉，用意就是偃武修文，你觉得不对吗？跟那群地方官开会，把各个郡管好，是你的职责；设置不设置太尉这样三公级别的职位，是我的事儿。再者说了，乐陵侯史高是我表叔，我想升他的官，当面告诉他就行了，丞相大人为何要管我的闲事（君何越职而举之）？
黄霸想不开啊，一片好心换来一头凉水，招谁惹谁了。
张敞是在谈工作的时候，顺手拍了一下马屁，信手拈来；黄霸却是为拍马屁而拍马屁。刘询又不是好这一口的人，黄霸也算活该。
黄霸被公开批评后，连续几次上朝都要先摘掉帽子谢罪，好几天后刘询才说你把帽子戴起来吧。
从此后黄霸再也不敢上书说闲事了。
然后黄霸老老实实做了五年听差丞相，寿终正寝。后世对他的丞相生涯评价非常一般，这也不怪他，黄霸暮年来到长安，他以为做了丞相跟皇帝就同气连枝了，然而被皇帝门生张敞轰了一炮，皇帝本人毫不留情批了一通之后，黄霸才意识到自己不过依旧是那个淮阳来的乡下老头。也是他够清醒，否则不小心被从丞相任上轰下去什么的，一世英名可就毁了。不过后世对他的地方官经历评价极其之高，甚至认为他是整个西汉最好的地方官，没有之一（自汉兴，言治民吏，以霸为首）。
我们先后讲过几个地方官了，赵广汉、韩延寿、严延年、张敞、黄霸。前三个先后都死于非命，后两个得享余生。赵广汉和韩延寿死的时候，都有老百姓送行，民意最高，身前身后怎么评价已经没多少意义。一千年后，司马光还在为他们两个的死惋惜，司马光认为这是做皇帝的刘询失察所致，白白葬送了两条大好性命；严延年之死，舆论一片沉默，但河南郡很多人怀念他，因为严延年虽然喜欢杀人，但是他对老百姓其实很好。