春秋时期为北狄所居，战国时期为赵雁门郡楼烦县属地，秦属雁门郡，汉归 陶县、阴馆县。后经历代沿革更名。唐属应州金城县。金大定七年（1167）始名山阴，意地处复宿山之北。金贞佑二年，升山阴为忠州，属西京道大同府。元后期复置山阴，属山西道大同路应州。
明称山阴县，属山西布政司大同府应州。清雍正八年（1730）直隶于大同府。1927年直隶于山西省。1946年6月24日，全县解放，属冀晋专署。建国初期属察哈尔省雁北专区。后随雁北专区划归山西省。1959年至1961年属晋北专区，后复归雁北专署。1989年划归朔州市。
1996年，山阴县面积1658平方千米，人口20万人，辖4镇17乡：岱岳镇、山阴城镇、玉井镇、北周庄镇、泥河乡、马营庄乡、吴马营乡、岱岳乡、后所乡、苑家辛庄乡、薛圐圙乡、安荣乡、偏岭乡、张家庄乡、甘庄乡、史家屯乡、冻牛坡乡、下喇叭乡、黑圪塔乡、合盛堡乡、马营乡。县政府驻岱岳镇。
1998年底，全县总人口20.4万人。辖4镇17个乡：岱岳镇、山阴城镇、玉井镇、北周庄镇、泥河乡、马营庄乡、吴马营乡、苑家辛庄乡、薛圐圙乡、安荣乡、偏岭乡、张家庄乡、甘庄乡、史家屯乡、冻牛坡乡、下喇叭乡、岱岳乡、后所乡、黑圪塔乡、合盛堡乡、马营乡。共有262个行政村。
2000年第五次人口普查，山阴县总人口217299人，其中：岱岳镇37572人，玉井镇13216人，北周庄镇12904人，山阴城镇15719人，吴马营乡5863人，史家屯乡2531人，马营乡6217人，偏岭乡3530人，冻牛坡乡2141人，下喇叭乡2983人，甘庄乡3983人，苑家辛庄乡4688人，合盛堡乡10803人，岱岳乡29556人，安荣乡6806人，泥河乡5652人，薛乡6927人，后所乡14338人，张庄乡8143人，黑圪塔乡5781人，马营庄乡15509人，山阴农牧场2437人。
2001年，撤销岱岳镇；撤销苑家辛庄乡，并入北周庄镇；撤销偏岭乡，并入马营乡；撤销冻牛坡乡，并入下喇叭乡；撤销甘庄乡，并入岱岳乡；撤销泥河乡，并入安荣乡；撤销黑圪塔乡，并入薛圐圙乡。2003年末全县总人口218958人，其中市镇人口50395人，乡村人口168599人。
全县辖3个镇、10个乡：玉井镇、北周庄镇、古城镇、吴马营乡、马营乡、下喇叭乡、合盛堡乡、岱岳乡、安荣乡、薛圐圙乡、后所乡、张家庄乡、马营庄乡，以及东城管委会、西城管委会。共有262个行政村，267个自然村。县政府驻岱岳乡。
2011年4月19日，《山西省政府关于同意山阴县撤销岱岳乡设置岱岳镇的批复》（晋政函[2011]51号）同意撤销岱岳乡，设置岱岳镇，以原岱岳乡的行政区域为现岱岳镇的行政区域。