繁峙县位于山西省东北部，东经113.2°、北纬39.2°，东隔太行山与河北省阜平县为邻。全县东西长68千米，南北宽34.82千米，总面积2369平方千米，总人口26万人（2008年）。辖3个镇、10个乡：繁城镇、砂河镇、大营镇、下茹越乡、杏园乡、光裕堡乡、集义庄乡、东山乡、金山铺乡、柏家庄乡、横涧乡、神堂堡乡、岩头乡。县政府驻繁城镇府新街。
地势由东北向西南倾斜，山多、坡广、滩大，其中石山区约占总面积的48.75%，是典型的山区县，平均海拔2000米左右。滹沱河、京原铁路与京原公路过境。名胜古迹有全国重点文物保护单位岩山寺和平型关战役遗址（与灵丘县相邻），省级重点文物保护单位三圣寺、公主寺、秘魔寺、圭峰寺、吉祥寺，均为五台山外围寺庙。