随着历史的演变，直到唐朝，境内设鲁郡，后又改为济州、又称济阳郡、泰宁军。
宋朝，境内仍置济阳郡、济州。宋徽宗政和八年（1118年），境内的兖州升为袭庆府。
金朝，天德二年（1150年），原来以巨野为治所的济州迁往境内的任城。
元朝，至元八年（1271年），济州升济宁府。至元十六年（1279年），境内设济宁路，置总管府，领3州7县（州又领9县）。
明朝，洪武元年（1368年），改济宁路为济宁府，仍治任城，领3州12县。洪武十八年（1385年），改府为州，只领3县。同时，兖州升兖州府，驻滋阳县，领27州县。
清朝，雍正二年（1724年），济宁州升为直隶州，领3县。雍正八年（1730年），改为散州，不再领县。乾隆四十一年（1776年），又升为直隶州，仍领3县。当时的兖州府，辖10县；它和济宁直隶州同属兖沂曹济道。中华民国，民国二年（1912年），废济宁直隶州。民国三年（1913年）1月，设岱南道。民国四年（1914年）6月，设济宁道，辖25县。民国三十五年（1946年）1月，济宁第一次解放，晋冀鲁豫军区第七纵队进驻济宁，以城区和近郊设立济宁市；9月，被国民党军队占领。民国三十七年（1948年）7月14日，山东兵团再次收复济宁，济宁第二次解放，仍称济宁市；8月，划归山东省，属鲁中南行署。1950年5月，济宁市降为县级市，改属滕县专区。1953年，滕县专区和湖西专区合并为济宁专区，专署驻地济宁市。1954年10月，济宁市曾改为省辖市，由济宁专署督导。但不久，又改为县级市，仍为专署驻地。1967年，济宁专区改称为济宁地区。1983年8月30日，经国务院批准，撤销济宁地区，改置为地级市。