后来黄霸就被调到了长安做京兆尹，因为不适应长安混乱而复杂的环境，几个月后又被打回颍川做太守，这件事前文提到过。
此后黄霸的政绩考核继续全国第一，数年后，又被调回长安，任太子太傅，随即任御史大夫，就是副丞相了。
刘询第十九年，前55年，丞相邴吉病逝。
邴吉这个人，严格来讲，并无丞相之才，他没什么文化，也没有多长远的眼界，但他有丞相的肚量，具体来讲，就是不得罪人，别人得罪他也无所谓，上至同朝列位的三公九卿，下到给他开车的司机，邴吉都是以礼相待，别人做得不好，只要不是原则性错误，邴吉当没看见，更不会主动去查办或者举报了。因为邴吉很清楚，自己能做到丞相这么高，至少有一半是因为皇帝在报当年的养育之恩。所以邴吉行事才这么低调，很少主动提想法或做决定，他知道自己几两重。
刘询是个勤奋的皇帝，大略地讲，皇帝该做的事情和丞相该做的事情，都让他一个人包了。邴吉这种性格，反而成了好事，邴吉只要把皇帝交代的事情做好就行了，而老成圆滑的脾气又让他的人际关系非常好，做起事来很方便，甚至不少人都主动帮他解决麻烦。
邴吉一般被后人定位为阿谀奉承，俯仰取容之辈，但一个本不该做丞相的人被放到那个位置上，能做到邴吉这个地步已经很难得。
班固说，高皇帝时期，萧何做丞相，什么都管，曹参做丞相，什么都不管；刘询时期，魏相做丞相，什么都管，邴吉做丞相，什么都不管。君臣搭配，他们都是榜样。
四十年前，还是热血青年的邴吉，拼着脑袋不要，也要保全刘询的一条小命，他的一生在那一刻放射出最耀眼的光芒，当年保全赵氏孤儿的程婴杵臼也不过如此，邴吉身上有古义士之风。谁都年轻过，但不是每个人都能有邴吉一样的经历，有一样的经历也不一定能做出他当时的选择。邴吉拯救的那个婴儿此刻正坐在未央宫正中，汉书记载，这一时期的人们，生活水平自大汉立国以来最高。
丞相没了，御史大夫递补，这是老传统，于是才做了四个月御史大夫的黄霸就做了丞相。
黄霸非常不习惯，不是他不想做丞相，是他发现丞相做起来实在别扭。按照汉律，或者说汉帝国宪法，丞相是副皇帝---至少是这么规定的，《汉书》的百官公卿表里是这么写的---皇帝管的事情，丞相都可以管，中央各部，地方各郡，诸侯王国，国防军事，大小事情丞相都可以过问，都可以管，没人敢说这是越权。