自南宋初年，杜充決黃河阻金兵南下起，黃河下游南遷，循泗、淮水道入海。元、明兩代的南北大運河，從徐州茶城到淮安一段，便利用河淮水道作為運道，人稱「河運合槽」或「河淮運合槽」。它長約500里。黃、淮水量豐富，在一般情況下，運道無缺水之患。但黃河多沙，汛期又多洪災，也嚴重威脅航運。人們認為黃河對於運河，既有大利，也有大害，有「利運道者莫大於黃河，害運道者亦莫大於黃河」的說法。但自元、明以來，黃河下游由於南遷日久，河床泥沙淤積與日俱增，決口頻仍，對於運河，發展到了害大於利的地步。於是，從明朝中後期到清初，人們竭力設法變「河運合槽」為「河運分立」，在淮北地區，陸續穿鑿了一批運河新道，甚至將會通河南段的部分運道，也予以放棄。
最早在淮北開的一條新河叫夏鎮新河。嘉靖五年(公元1526年)，黃河在魯西曹縣、單縣等地決口，沖毀了昭陽湖以西一段運河。南北漕運被阻，明朝遂決定穿鑿新河。嘉靖七年(公元1528年)，以盛應期為總河都御史，徵集近10萬夫役穿鑿。工程過半，由於盛氏督工太急，怨聲四起，又值大旱成災，為防止爆發變亂，中途停工，只好草率修復舊道，勉強通航。嘉靖四十四年(公元1565年)，黃河又在江蘇豐縣、沛縣決口，昭陽湖以西一段運道堵塞更甚。第二年，遂再度興工，穿鑿新河，由工部尚書朱衡主持，嘉靖四十六年(公元1567年)完工。這段新河，北起南陽湖南面的南陽鎮，經夏鎮(今微山縣治所)到留城(已陷入微山湖中)，長140里，史稱夏鎮新河或南陽新河。舊河在昭陽湖西，原屬會通河南段，易受黃河泛濫衝擊。新河在湖東，有湖泊可容納黃河來水，比較安全(圖3)。
繼夏鎮新河之後開的另一條新河叫泇〔jia加〕河運河。隆慶三年(公元1569年)，黃河決沛縣，徐州以北運道被堵，糧船2000多艘阻於邳州(治所在今睢寧西北)。開泇河的建議遂提出，但未被朝廷採納。幾十年後，黃河在山東西南和江蘇西北一帶再度決口、泛濫加劇，徐州洪、呂梁洪等河段屢屢斷水，情況非常嚴重。於是，在主管工程的官員楊一魁、劉東星、李化龍等人相繼主持下，除治理黃河外，又於微山湖的東面和東南面，穿鑿新河，經過多年斷斷續續施工，到萬曆三十二年(公元1604年)，全部完工。它北起夏鎮，接夏鎮新河，沿途納彭河、東西泇河等水，南到直河口(江蘇宿遷西北)入黃河，長260里。它比舊河順直，又無徐州、呂梁二洪之險，再加上位於微山湖東南，黃河洪水的威脅較小，所以它的穿鑿，進一步改善了南北水運。由於它以東、西兩泇河為主要補充水源，故名泇河運河。
最後，在明末清初，又穿通濟新河和中河。泇河運河峻工後，從直河口到清江浦(今清江市)一段運道約180里，仍然河運合槽，運河並未徹底擺脫黃河洪水和泥沙的威脅。因而河運分離的工程繼續進行，又相繼穿鑿通濟新河和中河。前者鑿於明朝天啟三年(公元1623年)，西北起直河口附近接泇河運河，東南至宿遷，長57里。後者是在清朝初年著名治河專家靳輔、陳潢擘〔bo檗〕划下修建的。康熙二十五年(公元1686年)動工，兩年後基本鑿成，後來又作了一些補苴〔ju居〕。它上接通濟新河，下到楊庄(在清江市境)。楊庄與南河北口隔河相望，舟船穿過黃河，便可進入南河。至此，河運分離工程全部告成。
河運分離工程是明朝後期到清朝前期治理運河的主要工程之一，它的完工，使淮北地區的運河基本上擺脫了黃河的干擾，保證了運河的正常航行。