元至治三年（1323年）析怀宁县地置潜山县。因潜山在县西北，故名。治海城。1949年属安庆专区，1988年为安庆市辖县。
1992年撤区并乡，全县设12个镇、18个乡。
1997年，潜山县面积1686平方千米，人口56.0万，辖11个镇、19个乡：梅城镇、黄泥镇、源潭镇、王河镇、余井镇、黄铺镇、水吼镇、黄柏镇、官庄镇、槎水镇、天柱山镇、油坝乡、古井乡、牌楼乡、痘姆乡、龙潭乡、杜埠乡、岭头乡、青楼乡、横中乡、五庙乡、棋盘乡、三妙乡、逆水乡、彭河乡、割肚乡、龙关乡、塔畈乡、水贵乡、后冲乡。县政府驻梅城镇。
2000年，潜山县辖12个镇、18个乡。第五次人口普查，全县总人口515261人，其中：梅城镇96950人，王河镇44212人，源潭镇29887人，余井镇21061人，棋盘镇17669人，黄泥镇17167人，槎水镇16465人，官庄镇15729人，水吼镇14055人，黄柏镇14016人，黄铺镇14817人，天柱山镇13568人，油坝乡20030人，岭头乡17017人，痘姆乡15311人，古井乡15806人，塔畈乡14505人，牌楼乡14087人，青楼乡13089人，三妙乡10838人，杜埠乡11019人，五庙乡10080人，横中乡9221人，逆水乡8583人，龙关乡8627人，后冲乡7677人，割肚乡7373人，龙潭乡6482人，水贵乡5314人，彭河乡4606人。
2004年，潜山县乡镇行政区划调整，乡镇由30个调整为16个：（1）将古井乡、牌楼乡、黄铺镇整建制合并，设立黄铺镇。镇政府驻黄泥铺。（2）将横中乡、割肚乡、水吼镇整建制合并，设立水吼镇。镇政府驻水吼岭。（3）将岭头乡、青楼乡、余井镇整建制合并，设立余井镇。镇政府驻余家井。（4）将棋盘镇、三妙乡、源潭镇整建制合并，设立源潭镇。镇政府驻下河。（5）将逆水乡、龙关乡、搓水镇整建制合并，设立槎水镇。镇政府驻桑园。（6）将水贵乡、后冲乡、官庄镇整建制合并，没立官庄镇。镇政府驻刘家新屋。（7）将彭河乡、塔畈乡整建制合并，没立塔畈乡。乡政府驻千门口。（8）将杜埠乡、龙潭乡整建制合并，设立龙潭乡。乡政府驻杜埠街。（9）保留梅城镇、王河镇、天柱山镇、黄泥镇、黄柏镇、痘姆乡、油坝乡、五庙乡。（安徽省民政厅民地字[2004]209号）（安政秘[2004]143号）（潜山县人民政府2004年12月27日）
截至2005年12月31日，潜山县辖11个镇、5个乡：梅城镇、王河镇、天柱山镇、黄泥镇、黄柏镇、黄铺镇、水吼镇、余井镇、源潭镇、槎水镇、官庄镇、痘姆乡、油坝乡、五庙乡、塔畈乡、龙潭乡。