南朝梁置霍州，又置岳安县，治今城关镇。按《安徽通志》：霍山在“霍山县西北五里，县以此名”（按，霍山“在县西北”误。据《读史方舆纪要》：霍山在“县南五里，本名天柱山，亦曰南岳山，又名衡山。”）。
隋开皇初改岳安县为霍山县。宋初并入六安县，明复置霍山县。1949年2月属六安专区（后改为地区），现属六安市。
1997年，霍山县面积2040平方千米，人口36.5万，辖9镇15乡：城关镇、下符桥镇、与儿街镇、落儿岭镇、佛子岭镇、诸佛庵镇、磨子潭镇、大化坪镇、漫水河镇、汪家冲乡、东西溪乡、胡家河乡、真龙地乡、但家庙乡、大沙埂乡、三板桥乡、桃源河乡、单龙寺乡、上土市乡、太平畈乡、白莲岩乡、黑石渡乡、白莲岩乡、道士冲乡、太阳乡。县政府驻城关镇。
2000年第五次人口普查，全县总人口332930人，其中（14个镇、10个乡）：城关镇50438人，下符桥镇17319人，但家庙镇13917人，大沙埂镇13522人，与儿街镇18837人，磨子潭镇8776人，上土市镇17467人，漫水河镇9531人，大化坪镇12305人，落儿岭镇9482人，诸佛庵镇13533人，黑石渡镇23641人，佛子蛉镇11987人，东城镇12441人，真龙地乡3907人，单龙寺乡12978人，东西溪乡9040人，胡家河乡5013人，汪家冲乡6872人，白莲岩乡12328人，桃源河乡18688人，道士冲乡10308人，太阳乡7810人，太平畈乡12790人。
2004年底，霍山县辖12个镇、4个乡。