泰山在其北，取临泰山而平安之意。汉置奉高县。宋开宝五年（972年），乾封县治迁岱岳镇（今泰城），为境内有县治之始。金天会十四年（1136年），奉符设泰安军，泰安得名始此。大定二十二年（1182年），泰安升军为州。清雍正十三年（1735年）升州为府，设附郭泰安县，隶山东省布政使司。民国二年（1913年），裁府留泰安县。
泰山区行政专员公署于1940年3月在莱芜县成立，始隶鲁中行署。1950年5月，泰山、泰西两专署合并为泰安专署，泰城为泰安专署及泰安县驻地。1958年6月，泰安城关镇及周围村庄划出建立泰安市；同年11月29日，泰山市与泰安县合并建立泰安市。1958年11月，撤销泰安专区；1961年5月复置泰安专区。1963年4月撤泰安市复泰安县。
1972年7月泰安专区改为泰安地区。1982年3月泰安县再次改为泰安市。1985年5月泰安地区撤销，成立地级泰安市，原县级泰安市分设泰山区、郊区。2000年4月19日，国务院批准将泰安市郊区更名为泰安市岱岳区，区政府驻地由泰安区迁至粥店街道粥店村西侧。
1997年末，全市总人口532.81万人，面积7762平方千米，市政府驻泰城，辖泰山、郊区2区、宁阳、东平2县，代管新泰、肥城2个县级市，共有7个街道、72个镇、29个乡。1998年末，全市总人口535.95万人，面积7762平方千米，共有7个街道、72个镇、29个乡。1999年末，全市总人口538.59万人，面积7762平方千米，共有7个街道、72个镇、29个乡。
2000年第五次全国人口普查，泰安市总人口5334631人；其中：泰山区615720人、岱岳区922491人、宁阳县777546人、东平县725877人、新泰市1344395人、肥城市948602人。2000年末，全市总人口540.74万人，面积7762平方千米，共有8个街道、61个镇、17个乡。2001年末，全市总人口543.08万人，面积7762平方千米，共有8个街道、61个镇、17个乡。2002年末，全市共有10个街道、61个镇、15个乡。