三国魏黄初元年(220)置谯国，治谯县(今谯城区)，后改为谯郡。北周改谯郡为亳州。清雍正十三年(1735)升颍州为颍州府，亳州属颍州府。据《续通典》，“遥取古南毫之名以名州”。据《后汉书》：“簿，汤所都”。杜豫曰：“蒙城西北有簿城，中有汤彖”。以古簿地而得名。“簿”与“毫”同音。 1912年改县。1986年撤县设市（县级）。
2000年5月21日，国务院批准：（1）撤销县级亳州市，设立地级亳州市。市人民政府驻新设立的谯城区。（2）亳州市设立谯城区，以原县级亳州市的行政区域为谯城区的行政区域。区人民政府驻文化巷。（3）亳州市辖涡阳县、蒙城县、利辛县和新设立的谯城区。全市共有107个乡、镇（乡级场、办事处），2625个行政村。
2000年第五次全国人口普查，亳州市总人口5078908人；谯城区1351939人，涡阳县1293192人，蒙城县1106749人，利辛县1327028人。
2004年底，全市共有3个街道、85个镇、16个乡。