唐天宝四年（公元745年）设立太平县。1983年12月1日，国务院批准同意撤销太平县，设立县级黄山市，因在黄山之北，故名。以原太平县、歙县的黄山公社、石台县的广阳公社的行政区域和黄山管理局现有辖区为黄山市行政区域，由安徽省直接管辖。1987年11月27日，国务院批准：撤销屯溪市、黄山市，设立黄山市（地级）；设立黄山市黄山区，以原黄山市为其行政区域。
1997年，黄山区面积1669平方千米，人口16万，辖6镇13乡：甘棠镇、平湖镇、仙源镇、焦村镇、谭家桥镇、汤口镇、郭村乡、贤村乡、耿城乡、三口乡、新丰乡、广阳乡、永丰乡、新华乡、龙门乡、新明乡、清溪乡、乌石乡。区政府驻甘棠镇。
2000年第五次人口普查，全区总人口159845人，其中（1个街道、7个镇、12个乡）：新城街道18747人，甘棠镇19235人，仙源镇11034人，汤口镇13857人，谭家桥镇8317人，太平湖镇6135人，焦村镇9193人，耿城镇8354人，三口乡8744人，新明乡6930人，龙门乡5031人，贤村乡3321人，郭村乡2644人，乌石乡6809人，桃源乡2697人，清溪乡2435人，新华乡6052人，新丰乡6247人，永丰乡6261人，广阳乡3854人，黄山风景区虚拟镇3948人。
2004年底，黄山区辖1个街道、8个镇、11个乡。
2006年，黄山区行政区划部分调整：撤销广阳乡、清溪乡、桃源乡、贤村乡、郭村乡，将原广阳乡整建制并入太平湖镇；太平湖管委会和太平湖镇进行合署，实行四块牌子，一套人马；将原清溪乡、桃源乡整建制并入乌石乡；将原郭村乡、贤村乡整建制并入焦村镇，保留甘棠镇、耿城镇、汤口镇、谭家桥镇、三口镇、仙源镇、新明乡、龙门乡、新华乡、永丰乡、新丰乡，调整后，全区现有19个乡镇撤并为14个，撤并率为26%，撤并后乡镇平均人口由原来的0.85万人增加到1.15万人，平均面积由原来的93平方千米扩大到127平方千米。