此时期的刘大夏接替马文升担任兵部尚书。要说这位刘大夏，也是跌宕起伏，刘家也算是官宦之家，往上扒三代，祖籍山东东平，十一世祖刘宝，宋高宗时任都统制，随岳飞平定杨么起义，岳飞被害后，刘宝弃官落户于华容。刘大夏父亲刘仁宅为永乐十八年（1420年）举人，官至广西按察副使。
天顺三年（1459年），刘大夏中湖广乡试第一。天顺八年（1464年），考中进士，被选为庶吉士。成化元年（1465年），翰林院拟请留刘大夏供职，但他自己要求出任吏职，于是就任命他为兵部职方司主事，又调升兵部职方司郎中。
刘大夏虽是文官却是个军事爱好者，还是个军迷，家中收集了不少的地图，兵器之类的东西，通晓兵事，说起来那是一套一套地，还很有画面感，做人圆滑，人际关系偏好，在天顺朝时期就得宪宗欢喜，在任期间所奏复的内容，大多符合宪宗的旨意，受到历任兵部尚书的倚重。
正当意气风发之时，家中老夫过世，不得已服丧而去，直到弘治二年服丧期满，调升广东右布政使。后改为左布政使，调往浙江。直到弘治六年，黄河在张秋堤防决口，皇帝下诏博选才臣前往治理。吏部尚书王恕等推荐刘大夏，提升刘大夏为右副都御史前往。到职后，在黄陵冈疏通贾鲁河，又疏通孙家渡和四府营上游，以分水势。从胙城经过东明、长垣到徐州修筑长堤，共三百六十里长。水灾得到根治，此时刘大夏才真正进入到朱佑樘的眼中，赐玺书褒奖。召为左副都御史，任职户部左侍郎。
弘治十年（1497年），刘大夏受命兼佥都御史，前往宣府处理兵饷。临行前尚书周经对他说：“塞上有权势家族的子弟以买卖粮食谋取私利，你不要因刚直招祸。”刘大夏苦笑着说：“这样的事总要有人去处理，这处理天下事，以理不以势，待我到后解决。”当初，塞上必须粟千石方能买入、草万束才得收进。由此宦官、武臣得以操纵市场，获取厚利。刘大夏下令有粮草的，草百束、粟十石以上都准许买卖，权势之家想牟利也落了空。得罪了权势，那么刘大夏官运也就到头了，无奈之下使出了文人惯有的以退为进之策。