菏泽”原系天然古泽，为“菏山”和“雷泽”简称。西周为曹、贯、黎、郜等国地，战国置陶郡。秦分属东郡、碣郡，西汉建元三年置济阴郡、治定陶。北魏析置北济阴郡，治单父，隋复并为济阴郡。唐武德初改郡为曹州，北宋崇宁初升为兴仁府，金天会八年复为曹州。明洪武四年降曹州为县，正统十一年复置曹州。清雍正十三年（1735年），曹州升为府，设附郭县，赐名菏泽，以古泽薮而得名。
1949年3月，华北人民政府决定将冀鲁豫第二、三、五、七专区分别更名为临河、湖西、鲁西南、运西专区；8月，平原省建立，临河、鲁西南及运西的一部分合并为菏泽专区，与湖西专区同属平原省人民政府。1952年11月，中央人民政府批准撤销平原省建制，菏泽、湖西两专区划归山东省。1953年7月20日，中央人民政府批准山东省撤销湖西专区，其所辖县分别归菏泽专区（成武、巨野二县）、济宁专区。
1958年11月12日，国务院批准撤销菏泽专区建制，所属各县划归济宁专区。1959年6月，恢复菏泽专区，辖区如旧。1967年3月，改菏泽专区为菏泽地区。1996年，菏泽地区面积1.2万平方千米，人口约820万人，其中汉族占99%以上，地区行政公署驻菏泽市，辖荷泽市和鄄城、东明、郓城、巨野、单县、成武、定陶、曹县8县。
2000年6月23日，国务院批准，撤销菏泽地区和县级菏泽市，设立地级菏泽市。菏泽市设立牡丹区，以原县级菏泽市的行政区域为牡丹区的行政区域。菏泽市辖原菏泽地区的鄄城县、单县、郓城县、曹县、定陶县、巨野县、东明县、成武县和新设立的牡丹区（1区8县）。2001年1月8日地级菏泽市正式挂牌成立。
2000年第五次全国人口普查，菏泽市总人口8097973人。其中：牡丹区1280031人，曹县1335422人，单县1050701人，成武县596339人，巨野县839438人，郓城县1025800人，鄄城县715684人，定陶县563352人，东明县691206人。
2002年末，全市共有8个街道、108个镇、42个乡。2010年末，全市常住人口828.78万人，其中城镇人口约180.23万人。