古为承阳、临蒸、衡阳、清泉等县治所，为衡阳郡、州、路、府、道的行政中枢。1943年始置衡阳市，为第三区。1951年改第二区，1955年改称城北区。
1996年，城北区面积13.7平方千米，人口约20万人，区政府驻司前街，辖6个街道：人民街道、五一街道、合江街道、青山街道、蒸湘街道、潇湘街道。
2000年第五次全国人口普查，城北区总人口233674人，其中，人民路街道21985人、青山街道39665人、蒸湘街道87670人、潇湘街道33916人、五一街道30028人、合江街道20410人；此外，郊区的黄沙湾街道5368人、西湖乡27788人、松木乡17082人，衡阳县的角山乡24848人。
2001年4月4日，国务院批准（国函[2001]34号）：撤销衡阳市江东区、城南区、城北区、郊区，设立衡阳市珠晖区、雁峰区、石鼓区、蒸湘区。石鼓区因境内石鼓山而得名。辖原城北区的人民路、潇湘、青山、五一、合江5个街道和原郊区的黄沙湾街道、松木乡、西湖乡的五一、建设、友爱、江霞4个村（建设村划归五一街道管辖，五一、友爱、江霞3村划归合江街道管辖）以及原属衡阳县的角山乡。区政府驻司前街42号。原城北区的蒸湘街道划归蒸湘区。
2008年，区政府迁至衡阳市西外环路。2008年末，全区总面积112平方千米，总人口24万余人。辖6个街道、2个乡：人民路街道、青山街道、潇湘街道、五一街道、合江街道、黄沙湾街道、松木乡、角山乡。共有28个行政村、43个社区。
2011年，将衡阳市石鼓区松木乡的新安、金兰、新竹3个建制村和松木、松梅、友谊3个建制村的部分区域析出，设立金源街道办事处。新设金源街道办事处辖3个居委会、3个建制村，总面积18.7平方公里，总人口0.84万人，办事处机关驻新枫路。行政区划调整后，松木乡辖9个建制村，总面积33.1平方公里，总人口1.27万人，乡人民政府驻地不变；石鼓区辖7个街道办事处、2个乡。（湘民行发[2011]4号）