“阿尔山”系蒙古语译音，意为“圣水”或“神泉”。建市前为科尔沁右翼前旗的一个镇。1952年建阿尔山努图克，1953年改镇，1958年成立公社，1981年复改镇。1992年12月5日，自治区人民政府批准建立阿尔山经济开发区，实行计划单列，隶属兴安盟行署。至此，阿尔山镇从科右前旗行政区划出。
1996年6月10日，民政部批复（民行批[1996]41号）：经国务院批准，同意设立阿尔山市（县级），以兴安盟科尔沁右翼前旗阿尔山镇的行政区域为阿尔山市的行政区域。
1996年?，阿尔山市面积9600平方千米，人口4.8万人，其中蒙古族5907人，另有流动人口3.4万人。辖3个街道、3个镇：温泉街道、新城街道、林海街道、伊尔施镇、白狼镇、五岔沟镇。市政府驻温泉街道辖区内。
2000年第五次人口普查，阿尔山市总人口45189人，其中：林海街道18888人，新城街道4107人，温泉街道6541人，伊尔施镇2399人，白狼镇2164人，五岔沟镇11090人。
2001年?，辖3个街道、5个镇：林海街道、新城街道、温泉街道、伊尔施镇、天池镇、白狼镇、五岔沟镇、明水镇。
2006年，撤销伊尔施镇，并入天池镇；撤销明水河镇，并入五岔沟镇。
2006年末，全市总面积7408.7平方千米。总人口49679人，其中少数民族12159人，占总人口的24.5%；非农业人口49132人，占总人口的98.9%。辖3个镇和3个街道。
2009年，阿尔山市总面积7408.7平方千米。总人口4.7万人。辖天池、白狼、五岔沟3个镇和温泉、新城、林海3个街道。
2011年，恢复明水河镇。调整后，全市辖3个街道、4个镇：林海街道、新城街道、温泉街道、天池镇、白狼镇、五岔沟镇、明水河镇。