1974年设立山城区。
1997年，山城区面积14平方千米，人口14.5万，辖5个街道。
1999年，山城区辖5个街道、2个乡：山城路街道、长风中路街道、红旗街道、汤河桥街道、鹿楼街道、鹿楼乡、石林乡。
2000年第五次人口普查，全区总人口239730人，其中：红旗街道51828人、长风中路街道33625人、山城路街道25280人、汤河街街道22037人、鹿楼街道18648人、石林乡37538人、鹿楼乡50774人。
截至2005年12月31日，山城区辖5个街道、2个乡：红旗街道、山城路街道、鹿楼街道、汤河桥街道、长风中路街道；鹿楼乡、石林乡。
2010年1月4日，经河南省人民政府批准，同意鹤壁市山城区石林乡撤乡建镇，实行镇管村体制，原辖行政区域和政府驻地不变。