北宋置徽州。元为徽州路。明、清为徽州府。
1949年设徽州专区，属皖南行署区，专署驻屯溪市，辖屯溪市及歙县（驻徽城镇）、旌德（驻旌阳镇）、绩溪、休宁（驻海阳镇）、祁门、黟县（驻碧阳镇）等6县。1952年徽州专区属安徽省领导，原池州专区所属太平、石埭2县及宣城专区所属宁国县划入徽州专区。1953年屯溪市改由省直辖。1955年屯溪市划归徽州专署领导。
1956年撤销徽州专区。屯溪市改由省直辖；将宁国、旌德、绩溪、歙县、休宁、黟县、祁门、石埭、太平9县划归芜湖专区。1959年将屯溪市交由休宁县领导。
1961年复设徽州专区，专署驻屯溪市。原属芜湖专区的歙县（驻徽城镇）、绩溪、旌德（驻旌阳镇）、宁国、休宁（驻海阳镇）、祁门、黟县（驻碧阳镇）、太平（驻甘棠镇）等8县划入徽州专区。1961年1月撤销屯溪市，改设为屯溪镇，划归休宁县领导；同年8月恢复屯溪市。1962年屯溪市改由省直辖。1963年撤销屯溪市，并入休宁县。
1971年徽州专区改称徽州地区，地区驻休宁县屯溪镇。辖休宁（驻海阳镇）、太平（驻甘棠镇）、旌德（驻旌阳镇）、宁国（驻河沥溪镇）、绩溪（驻华阳镇）、歙县（驻徽城镇）、祁门、黟县等8县。1974年将太平县划归池州地区。1975年复设屯溪市，属徽州地区领导。地区驻屯溪市。
1987年11月27日，国务院批准：撤销屯溪市、黄山市，设立黄山市（地级）；撤销徽州地区，所属的歙县、休宁县、黟县、祁门县划归黄山市；石台县划归安庆地区；旌德县、绩溪县划归宣城地区；设立黄山市屯溪区，以原屯溪市为其行政区域；设立黄山市黄山区，以原黄山市为其行政区域；设立黄山市徽州区，以歙县、休宁县各一部分为其行政区域。
1997年，面积9807平方千米，人口145.9万，市府驻屯溪区。辖屯溪、徽州、黄山3区和歙县、休宁、黟县、祁门4县。
2000年第五次全国人口普查，黄山市总人口1370377人；屯溪区155233人，黄山区159845人，徽州区91122人，歙县454593人，休宁县242260人，黟县93919人，祁门县173405人。
2004年底，黄山市辖3个市辖区、4个县，全市共有6个街道、50个镇、56个乡。