唐永泰二年（766年）置祁门县，属歙州。据《续文献通考》：唐永泰初，方清伪置阊门县，后因其垒置县，以其县东北有祁山，西南有阊门，乃合名祁门。”1949年属徽州专区，1987年为黄山市辖县。
1997年，祁门县面积2257平方千米，人口18.5万，辖7镇18乡：祁山镇、安凌镇、闪里镇、平里镇、历口镇、金字牌镇、小路口镇、大坦乡、胥岭乡、溶口乡、芦溪乡、祁红乡、塔坊乡、彭龙乡、古溪乡、新安乡、箬坑乡、渚口乡、凫峰乡、雷湖乡。县政府驻祁山镇。
2000年第五次人口普查，全县总人口173405人，其中：祁山镇33945人，小路口镇6123人，金字牌镇6723人，平里镇6914人，历口镇8906人，闪里镇8605人，安凌镇4578人，大坦乡4068人，胥岭乡5288人，灯塔乡3878人，乔山乡3677人，凫峰乡9005人，横联乡4838人，柏溪乡4639人，塔坊乡7663人，祁红乡5312人，溶口乡4753人，芦溪乡5521人，渚口乡6514人，彭龙乡4823人，古溪乡5576人，新安乡6822人，箬坑乡6426人，赤岭乡4355人，雷湖乡4453人。
2004年，闪里镇政府驻地迁至铜锣湾；祁门县乡镇由25个调整为18个。2004年底，祁门县辖7个镇、11个乡。