原为凤台县金石乡，1949年设八公山镇。1953年撤镇设八公山区。
1996年，八公山区面积73平方千米，人口16.4万，辖3个街道、2个镇：新庄孜街道、土坝孜街道、毕家岗街道、八公山镇、山王镇，48个居委会、19个村委会。区政府驻新庄孜。
2000年第五次人口普查，全区总人口166452人，其中：新庄孜街道52748人，土坝孜街道26658人，毕家岗街道21161人，山王镇49406人，八公山镇16479人。
2004年底，八公山区辖3个街道、2个镇：八公山镇、山王镇，土坝孜街道、新庄孜街道、毕家岗街道。