在隋朝，今河南省東北部、山西省東南部和河北省大部，是又一個經濟發達、人口眾多的地區，這個區域當時有戶200多萬，在全國900多萬戶中，幾乎佔了1/4。隋朝推行租庸調製，按戶、丁徵收粟帛，徵發勞力，戶多丁多，上調的粟帛等也多。這就需要有一條糧帛南運進京的水道。隋煬帝著意開拓邊疆，積極準備用兵遼東，他以涿郡(今北京市)作為征遼基地，要將大量的軍用物資和軍事人員北運，也需要有一條從東都到涿郡的軍需供應線。自東漢末年，曹操穿鑿河北五渠後，那裡雖然形成一條縱貫南北的水道，但它以自然河道為主，深淺不一，航路不暢，難以適應隋朝經濟、政治、軍事的需要。於是，隋煬帝在完成通濟渠和山陽瀆之後，決定在黃河以北，在曹氏舊有水道的基礎上，拓展一條航運能力較大的運河，這就是穿永濟渠。
大業四年(公元608年)，「詔發河北諸郡男女百餘萬，開永濟渠，引沁水南達於河，北通涿郡。」(《隋書·煬帝紀上》)當初曹操發展河北水運時，白溝的渠首工程是「遏淇水入白溝」。隋煬帝的新渠與曹操舊渠相比，有兩個重大改進。一是沁水源遠流長，淇水無法與之相比，因此，新渠的水源遠比舊渠豐沛。這是新渠航道遠比舊渠通暢的基本因素。二是舊渠在白溝、黃河之間築有枋堰，由溝入河或由河入溝，舟船都必須盤壩或換船，這就大大降低了通航能力。新渠「引沁水南達於河，北通涿郡」，表明渠口建有分水工程，舟楫可以直接出入河渠，無須換船或盤壩，這就大大提高了通航能力。
永濟渠也可分成三段。南段起於沁水入河處，北到衛縣(治所在今河南浚縣西)。這是當時新鑿的渠道。衛縣以下經館陶、東光等地，至今天津市境與沽河會合。這是中段，它以曹操時的故道為基礎，擴展成為大渠。由今天津市到古涿郡(今北京市)為北段，系改造兩條自然河道而成。一條是古潞河下游，它位於今天津市和武清縣間。另一條是桑乾水(今永定河)下游，當時它位於今武清縣到古涿郡南郊。南、中、北三段運河共長1900里左右，大體說與通濟渠相當。這也是一條歷時很短、不到一年便完工的運河。它的寬度雖然不及通濟渠，但運輸能力很強，並且也可航行龐大的龍舟。大業七年(公元611年)，隋煬帝伐遼東，當時他就是乘龍舟到達涿郡的。伐遼東出動軍隊100多萬人，後勤供輸極大，主要就是沿這條水道北運。
廣通渠、通濟渠、山陽瀆、江南河、永濟渠，雖然是五條運河，但由於它們的規格大體一致，組成了一個由長安—洛陽兩都為中軸、成扇形、東南通餘杭、東北到涿郡的完整的運河網，實為一條運河的五個組成部分。這個運河網把我國當時經濟、政治、文化最發達的區域緊密地聯在一起，對統一國家的鞏固和繁榮，都有難以估量的作用。正是因為如此，隋煬帝興建這些工程，雖然多從他本人需要出發，並給當時廣大群眾造成嚴重災難，但後人還是給予很高的評價。唐末著名詩人皮日休便是這樣認為的，在《汴河懷古》中說：
「盡道隋亡為此河，至今千里賴通波。
若無龍舟水殿事，與禹論功不較多。」