据《元和郡县志》方山县以城在方山之下，故名。战国时为赵国皋狼邑。西汉置皋狼县，故治在今县城南18千米南村堡，属西河郡。东汉建安十八年（213）属太原郡。东汉末废。西晋永兴元年（304）今县境左国城为匈奴刘渊所都，即十六国汉。后迁都平阳，故址在今临汾地区临汾市境。
北齐天保三年（552）于南村堡（今峪口镇南村）置良泉县，属离石郡。北周建德六年（577）属石州。大象年间析离石县地置窟胡县、郡，故治在今方山县境。隋开皇三年（583）废窟胡郡，改窟胡县为修化县，属离石郡。大业三年（607）改良泉县为方山县，徙治今县城北14千米方山村。大业末年废修化县。
唐武德二年（619）于县置方州，县属之。三年废方州，县改属石州。贞观十一年（637）县治徙今圪洞南5千米古贤村。金泰和年间方山县升方州。贞眪四年（1216）徙治方山村。蒙古至元二年（1265）复为方山县，三年废入离石县。
1918年复置方山县，属冀宁道，道废后直属省。1945年徙治圪洞镇。1949年属兴县专区。1952年属榆次专区。1954年与离石县合并为离山县。1971年复置方山县，属吕梁地区。现属地级吕梁市。
1997年，方山县辖4镇7乡：圪洞镇、马坊镇、峪口镇、大武镇、开府乡、方山乡、麻地会乡、石站头乡、张家塔乡、下昔乡、店坪乡。县政府驻圪洞镇。
2000年第五次人口普查，方山县总人口135598人，其中：圪洞镇31746人，马坊镇9769人，峪口镇20860人，大武镇23205人，开府乡7554人，方山乡8159人，麻地会乡9867人，下昔乡7209人，店坪乡7413人，张家塔乡5939人，石站头乡3877人。
2001年，区划调整后，全县辖5个镇、2个乡：圪洞镇、马坊镇、峪口镇、大武镇、北武当镇、积翠乡、麻地会乡。县政府驻圪洞镇。