先秦

《尚书》、《尔雅》、《周礼》、《吕氏春秋》等书中，都记载有九州，虽然对九州的具体记载并不相同，但都有豫州。《周礼》记载：“河南曰豫州”。《吕氏春秋》中说：豫州在河水和汉水之间，是周的所在地。

汉朝

汉武帝元封五年（公元前106年），将全国除中央之外的地域分为十三个州刺史部，其中豫州管辖现河南东部和安徽北部一带。但这里的州刺史部只是监察区，并无治所，并非真正意义上的行政区。

东汉时期，州成为一级行政区域，其中豫州治所为谯（今安徽省亳州），辖区在河南东部和安徽西部，下辖颍川郡、汝南郡2郡，梁国、沛国、陈国、鲁国4国。

魏晋

三国的曹魏时期，豫州的治所在安城，下辖颍川郡、陈郡、鲁郡、汝南郡、谯郡、弋阳郡、阳安郡、襄城郡、汝阴郡9郡，以及梁国、沛国2国。

西晋时期，豫州治所在陈县（今河南淮阳），下辖10个郡国。

南北朝

南北朝时期，州的数量增多，地域缩小，南朝宋设有南豫州，治所在姑熟（今安徽富涂），南朝齐除南豫州外，还另设有豫州，治所在寿春（安徽寿县）。而北朝的北魏设豫州和东豫州，治所分别在汝南（河南汝南）和南新息（河南息县）。

隋朝

到了隋文帝开皇三年（583年），杨坚废除郡一级行政区划，改为州县两级体制，而隋炀帝时，又改州为郡，恢复秦朝的郡县两级体制，豫州的名称消失。