因在淮河南岸，故名。1949年7月设淮南矿区，由皖北行署直辖。1950年9月（一说1951年）改设淮南市，为皖北行署辖市。1952年4月淮南市由安徽省直辖。1977年原属阜阳地区的凤台县交由淮南市领导。
1997年，面积2121平方千米，人口188.4万，市府驻田家庵区洞山。辖田家庵、大通、八公山、谢家集、潘集5区和凤台县。
2000年第五次全国人口普查，淮南市总人口2040649人； 大通区 129039人，田家庵区 404713人，谢家集区 256873人，八公山区 166452人，潘集区 400151人，凤台县 683421人。
？年，全市辖41个乡镇、19个街道，295个居委会和552个村委会。
2004年5月29日，国务院批准（国函[2004]39号：将合肥市长丰县的孔店乡划归淮南市大通区管辖，长丰县的史院乡、三和乡、曹庵镇划归淮南市田家庵区管辖，长丰县的孙庙乡、孤堆回族乡、杨公镇划归淮南市谢家集区管辖。调整前，淮南市面积2095平方千米，人口210万（2002年）。2004年底，全市辖19个街道、24个镇、23个乡。