隋初定都長安。公元604年，楊廣殺其父隋文帝奪取皇位，他便是歷史上以驕奢著稱的隋煬帝。他認為關中與山東、江南、河北等地，道路遐遠，「兵不赴急」，應將都城東遷，於是立即下詔營建東都洛陽。接著，又陸續發令穿鑿以東都為中心、通向江淮、河北等地的大運河，以加強對這些主要經濟區的聯繫和控制。
最先穿鑿的是通濟渠，鑿於隋煬帝大業元年(公元605年)。通濟渠可分西、中、東三段。西段以東都洛陽為起點，以洛水及其支流谷水為水源，在舊有渠道陽渠和自然水道洛水的基礎上擴展而成，到洛口與黃河會合。由於古陽渠又稱通濟渠，人們就把這一名稱由西段擴大到了中段和東段。中段以黃河邊上的板渚(河南滎陽西部)為起點，引黃河水作水源，向東到浚儀(河南開封市)。這一段原是汴渠上游，隋朝加以浚深和拓寬。浚儀以下，與汴渠分流，東南走向，經宋城(今河南商丘縣南)、永城、夏丘(今安徽泗縣)等地，到睢眙注入淮水。這是東段，多由自然水道拓展而成。
當時，浚儀以下所以不再利用汴河舊道而另開新渠，與如下一些因素有關。汴河東段的位置偏北偏東，隋煬帝南巡江都，南糧北運進京，都過於繞遠。況且從汴河入淮，必須取道泗水，而泗水航道曲折，又有徐州洪、呂梁洪之險，二洪「懸水三十仞，流沫九十里」(《水經注·泗水注》)，經常翻舟，航行很不安全。這是一方面。另一方面，浚儀到睢眙，地勢比較平緩，河床比降適度；同時，經此而接邗溝，與經汴相比，航程也縮短許多。再加上當時河淮之間經濟比較發達，是全國戶口最密集的地區之一 ，為加強東都與這裡的聯繫，也需鑿渠穿行這裡。
通濟渠三段全長近2000里。它不僅渠道長，而且因為要航行皇帝的龍舟，龍舟長200尺，上建四層重殿，高45尺，所以必須鑿得又寬又深。深度多少，不見記載，寬度規定為40步。隋朝一步六尺，即渠寬為240尺，宛如一條大河。此外，通濟渠還有一批附屬工程，如夾渠修築平整的御道，以便數十萬縴夫和軍隊行走；沿途修建數十座離宮，以便皇帝和后妃休息。整個工程由尚書右丞皇甫議負責，「發河南、淮北諸郡男女百餘萬」(《資治通鑒·隋紀四》)服役。大業元年(公元605年)三月動工，到八月便交付使用。當時隋煬帝立刻從洛口登上龍舟，帶著后妃、王公、百官，乘坐幾千艘舳艫〔zhulu逐盧〕，浩浩蕩蕩，南巡江都(圖2)。
通濟渠工程浩大，施工時間僅用半年，可以說是古今中外運河史上的奇蹟，它反映了我們祖先無與倫比的創造力。當然，他們付出的代價也是非常驚人的，由於鑿渠和造船勞累過度，據《隋書·煬帝紀》載，「役丁死者十四五」！即約有40—50萬人為此獻出了寶貴的生命。
通濟渠鑿成後，它與邗溝便成為黃河、淮河、長江三大流域的交通大動脈，南來北往的舟楫多走這一水道。特別是它對南糧北運，意義更為重大。隋煬帝在洛陽周圍建有許多大型糧倉，如洛口倉(又名興洛倉)、回洛倉、河陽倉、含嘉倉等，這些倉城都儲有大量糧食，其中洛口、回洛兩倉，即多達2600多萬石，它們中的絕大部分，便是經通濟渠從江淮一帶運來的。