原为歙县地。1987年划岩寺镇和潜口、呈坎、罗田、西南溪、洽舍、富溪、杨林7乡以及郑村乡的瑶村置徽州区。
1997年，徽州区面积441平方千米，人口9.8万，辖1个镇、6个乡：岩寺镇、西溪南乡、潜口乡、呈坎乡、洽舍乡、杨村乡、富溪乡。区政府驻岩寺镇。
2000年第五次人口普查，全区总人口91122人，其中：岩寺镇36061人，西溪南乡15910人，潜口乡12300人，呈坎乡12353人，洽舍乡2899人，杨村乡5227人，富溪乡6372人。
2002年，设立徽州街道；呈坎撤乡设镇。
2004年，将歙县郑村镇的上朱村划入黄山市徽州区岩寺镇。2004年底，徽州区辖1个街道、4个镇、3个乡。