据《水经注》，武乡县，以城濒武乡水得名。西汉于今段村西北23千米故城镇置涅氏县，属上党郡，东汉改涅县。西晋始置武乡县，因境内有武山和武乡水而得名。北魏太和十五年（491）乡县及乡郡自今晋中地区榆社县境徙治今段村东5千米故县村。永安年间改涅县为阳城县，属乡郡。北魏时改南垣州为丰州，北齐改戎州，北周废，故治在今县境。
隋开皇十八年（598）改阳城县为甲水县，大业初年废。唐武德三年（620）复置，六年废。武周时改乡县为武乡县，神龙初年复改乡县，后又为武乡县。北宋属潞州，金代至清代属沁州，民国直属山西省。1947年迁今治。1949年属长治专区，后属晋东南专区（地区）。1985年5月属长治市。
1997年，武乡县辖5个镇、16个乡：城关镇、蟠龙镇、洪水镇、故城镇、监漳镇、墨镫乡、窑湾乡、韩北乡、石门乡、东沟乡、大有乡、贾豁乡、故县乡、上司乡、石北乡、涌泉乡、东良乡、分水岭乡、曹村乡、石盘乡、广志乡。县政府驻城关镇。（393个行政村）
2000年第五次人口普查，武乡县总人口196097人，其中：城关镇32062人，洪水镇16127人，蟠龙镇13927人，监漳镇10614人，故城镇11545人，墨镫乡7222人，窖湾乡4400人，广志乡5054人，韩北乡12464人，石门乡5590人，东沟乡5125人，大有乡12333人，贾豁乡10674人，故县乡4795人，上司乡8908人，曹村乡8594人，石北乡5815人，涌泉乡8469人，东良乡5735人，分南乡2570人，石盘乡4074人。
2001年区划调整后，全县辖5个镇、9个乡：丰州镇、洪水镇、蟠龙镇、监漳镇、故城镇、墨镫乡、韩北乡、大有乡、贾豁乡、故县乡、上司乡、石北乡、涌泉乡、分水岭乡。