唐朝的運河建設，主要是維修、完善隋朝建立的這一大型運河體系。同時，為了更好地發揮運河的作用，對舊有的漕運制度，還作了重要改革。
隋文帝時穿鑿的廣通渠，原是長安的主要糧道。當隋煬帝將政治中心由長安東移洛陽後，廣通渠失修，逐漸淤廢。唐朝定都長安，起初因為國用比較節省，東糧西運的數量不大，年約幾十萬石，渭水尚可勉強承擔運糧任務。後來，京師用糧不斷增加，嚴重到了因為供不應求，皇帝只好率領百官、軍隊東到洛陽就食的地步。特別是武則天在位期間，幾乎全在洛陽處理政務。於是，有天寶元年(公元742年)重開廣通渠的工程。新水道名叫漕渠，由韋堅主持。當時在咸陽附近的渭水河床上修建興成堰，引渭水為新渠的主要水源。同時，又將源自南山的灃水、滻水也攔入渠中，作為補充水源。漕渠東到潼關西面的永豐倉與渭水會合，長300多里。漕渠的航運能力較大，渠成當年(開元二年)，即「漕山東(崤山以東)粟四百萬石」。
將山東粟米漕運入關，還須改善另一水道的航運條件，即解決黃河運道中三門砥柱對糧船的威脅問題。這段河道水勢湍急，溯河西進，一船糧食往往要數百人拉縴；而且暗礁四伏，過往船隻，觸礁失事幾近一半。為了避開這段艱險的航道，差不多與重開長安、渭口間的漕渠同時，陝郡(治所在今三門峽市西舊陝縣)太守李齊物組織力量，在三門山北側的岩石上施工，準備鑿出一條新的航道，以取代舊航道。經過一年左右的努力，雖然鑿出了一條名叫開元新河的水道，但因當地石質堅硬，河床的深度沒有鑿夠，只能在黃河大水時可以通航，平時不起作用。三門險道問題遠未解決。
通濟渠和永濟渠是隋朝興建的兩條最重要的航道。為了發揮這兩條運河的作用，唐朝對它們也作了一些改造和擴充。隋朝的通濟渠，唐朝稱汴河。唐在汴州(今開封市)東面鑿了一條水道，名叫湛渠，接通了另一水道白馬溝，而白馬溝下通濟水，這樣，便將濟水納入汴河系統，使齊、魯一帶大部分郡縣的租、調，也可循汴水西運。唐對永濟渠的改造，主要有以下兩個工程。一是擴展運輸量較大的南段，將渠道加寬到17丈，浚深到24尺，使航道更為通暢。二是在永濟渠兩側鑿了一批新支渠，如清河郡的張甲河，滄州的無棣河等，以深入糧區，充分發揮永濟渠的作用。
對唐朝政府來說，大運河的主要作用是運輸各地糧帛進京。為了發揮這一功能，唐後期對漕運制度作了一次重大改革。唐前期，南方租調由當地富戶負責，沿江水、沿運河直送洛口，然後政府再由洛口轉輸入京。這種漕運制度，由於富戶多方設法逃避，沿途無必要的保護，再加上每一舟船很難適應江、汴(泛指運河)河的不同水情，因此問題很多。如運期長，從揚州到洛口，歷時長達九個月。又如事故多、損耗大，每年有大批舟船沉沒，糧食損失高達20%左右，等等。安史之亂後，這些問題更為突出。於是，廣德元年(公元763年)開始，劉晏對漕運制度進行改革，用分段運輸代替直運。規定：江船不入汴，江船之運積揚州；汴船不入河，汴船之運積河陰(鄭州市西北)；河船不入渭，河船之運積渭口；渭船之運入太倉。承運工作也雇專人承擔，並組織起來，10船為一綱，沿途派兵護送等。分段運送，效率大大提高，自揚州至長安40天可達，損耗也大幅度下降。
除漕運租、調外，大運河還大大促進了沿線許多商業城市的繁榮。如揚楚運河(即隋朝的山陽瀆)南端的揚州和北端的楚州(治所在山陽縣，今為淮安市)，汴河上的汴州(今開封市)和宋州(今商丘市)，永濟渠上的涿郡等。揚州因為位於揚楚運河與長江的會合處，公私舟船，南來北往，都要經過這裡，是南北商人的集中地，南北百貨的集散處。它「十里長街井市連」，在全國州一級的城市中，位列第一，超過成都和廣州，人稱「揚一益二」。汴州位於汴河北段，經過濟水，東通齊魯；經永濟渠，北聯幽冀；經黃河，可達秦晉，迅速發展成為黃河中下游的大都會。後來，梁、晉、漢、周、北宋五代都建都於此，其主要原因，就是因為它是一個水運方便的繁華城市。