因境内有马鞍山，以山为名。1954年始设马鞍山镇，属当涂县。1955年成立马鞍山矿区，属芜湖专区。1956年由当涂县的马鞍山矿区和采石镇设立马鞍山市，由省直辖。1958年马鞍山市划归芜湖专署领导。1961年马鞍山市改由省直辖。1983年6月当涂县划归马鞍山市管辖。
1996年，马鞍山市面积1684平方千米，人口约114.5万人。市政府驻花山区。辖金家庄、花山、雨山、向山4区和当涂县。
2000年第五次全国人口普查，马鞍山市总人口1196916人，其中：金家庄区86261人，花山区179542人，雨山区132943人，向山区168830人，当涂县629340人。
2001年7月1日，国务院批准（国函[2001]75号）：(1)撤销马鞍山市向山区。(2)将原向山区的慈湖乡划归马鞍山市金家庄区管辖，霍里镇、濮塘镇划归马鞍山市花山区管辖，雨山乡、佳山乡和向山镇划归马鞍山市雨山区管辖。
2004年，全市乡镇由31个调整为19个，将当涂县的银塘镇划入马鞍山市雨山区。2004年底，全市户籍人口为124.39万人；其中：农业人口66.22万人，非农业人口58.17万人。共有12个街道、13个镇、6个乡。
2011年7月14日，《国务院关于同意安徽省撤销地级巢湖市及部分行政区划调整的批复》（国函[2011]84号）：将原地级巢湖市管辖的含山县，和县（不含沈巷镇）划归马鞍山市管辖。
2012年，《国务院关于同意安徽省调整马鞍山市部分行政区划的批复》（国函[2012]103号）：撤销马鞍山市金家庄区和花山区，设立新的花山区，以原金家庄区和花山区的行政区域为新的花山区的行政区域。花山区人民政府驻霍里街道秀山大道166号。设立马鞍山市博望区。将当涂县的博望镇、丹阳镇、新市镇划归博望区管辖，以博望镇、丹阳镇、新市镇的行政区域为博望区的行政区域。博望区人民政府驻博望镇工贸路1号。