1963年置相山区，1970年改相山区。
1996年，相山区面积83.8平方千米，人口23万，辖4街道2镇：相山东街道、相山西街道、三堤口街道、东山街道、任圩镇、渠沟镇。区政府驻相城相阳路北段。1997年设立相南街道。
2000年第五次人口普查，全区总人口299663人，其中：相南街道48951人，相山东街道42568人，相山西街道50140人，三堤口街道40224人，东山街道25196人，人民路街道24406人，刘桥街道16834人，渠沟镇31844人，任圩镇19500人。
2004年，相山区任圩镇改设为街道办事处，同时将濉溪县的3个自然村划归相山区。同年，将濉溪县濉溪镇的庆相桥、虎山北路居委会划入相山区三堤口街道办事处。2004年底，相山区辖7个街道（任圩、三堤口、东山、相山东、相南、相山西、刘桥）、1个镇（渠沟）。23个村、53个社区，总面积100平方千米，人口33万人。
2006年3月，将濉溪县钟楼乡整建制划入相山区渠沟镇。
2008年，相山区设立人民路、曲阳、南黎3个街道办事处，分别位于人民路东段、西段及人民路以南。新成立的曲阳街道办事处辖刘庄、濉河两个居委会和渠沟、任井两个村，面积约6平方千米，人口5.36万人。调整后的相山区辖10个街道、1个镇；渠沟镇辖14个村，面积约87平方千米，人口6.18万人；三堤口街道办事处辖9个居委会，面积约10平方千米，人口4.23万人。