大都一帶的對外水上交通，古已有之。隋朝有永濟渠。不過，永濟渠的北段主要由桑乾水改造而成。桑乾水的河道擺動頻繁，歷史上又有無定河之名，清朝康熙帝期望它不再改道，才命名為永定河。唐朝的某個時候(史文沒有記下具體年代)，由於桑乾水的改道，永濟渠已經通不到涿郡了。金朝，中都(今北京市)有一條名叫「閘河」的人工河道，由都城東到潞河，可以漕糧。金後期，迫於蒙古汗國的威脅，遷都洛陽，閘河逐漸淤塞。
元朝初年，為了解決大都——通州間的糧運問題，在至元十六年(公元1279年)，採納郭守敬的建議，在舊水道的基礎上，拓建成一條重要的運糧渠道，叫阜通河。阜通河以玉泉水為主要水源，向東引入大都，注於積水潭。再從潭的北側導出，向東從光熙門南面出城，接通州境內的溫榆河。溫榆河下通白河(北運河)。玉泉水的水量太少，必須嚴防泄水。運河河道比降太大，沿河必須設閘調整。為了上述兩個目的，郭守敬於40多里長的運河沿線，修建了七座水壩，人稱「阜通七壩」。阜通七壩聞名大都，民間則稱這條運河為壩河。壩河的年運輸能力約為100萬石上下，在元朝，它與稍後修建的通惠河，共同承擔由通州運糧進京的任務。
元朝初年，在大都除鑿壩河外，還鑿了一條名叫金口河的運道。金口河初開於金，後來堵塞。元朝在郭守敬主持下，於至元三年(公元1266年)重開。它以桑乾水為水源，從麻峪村(在今石景山區)附近引水東流，經大都城南面，到通州東南的李二村與潞河會合。這是一條從營建大都的需要出發，以輸送西山木石等建築材料為主的水道。由於金口河的比降更大，流水湍急，河岸常被沖塌；又由於桑乾水泛濫時有可能循金口河東下，危及大都的安全，後來郭守敬又將它堵塞。
起初，元朝南糧運輸入都，雖然實行海運、河運並舉，由於海運屬初創，船小道遠，運量不算太大；而河運又有黃河、御河間一段陸運的限制，運量很少。兩路運到通州的糧食總計才100多萬石，由通州轉運入京的任務，壩河基本上可以承擔。但後來，因為海運不斷改進，採用可裝萬石的巨舶運糧，也摸索出比較徑直的海道，再加上濟州、會通兩河的穿鑿，漕糧的數量又逐步增加 。這樣，大都、通州之間，僅靠壩河轉運，就比較困難了，於是有第二條水運糧道通惠河的穿鑿。
至元二十九年(公元1292年)，新河工程正式開工，以都水監郭守敬主其事。開拓水源是興建這條運河的關鍵。郭守敬通過實地勘查，知道大都西北山麓，山溪泉水很多，只要將它們彙集起來，新河的水源問題，便可基本解決。於是，他從昌平縣的白浮村起，沿山麓、按地勢向南穿渠。它大致說與今天的京密水渠並行，沿途攔截神山泉(白浮泉)、雙塔河、榆河、一畝泉、玉泉等，彙集於瓮山泊(昆明湖)。瓮山泊以下，利用玉河(南長河)河道，從和義門(今西直門)北面入城，注於積水潭。以上這兩段水道是新河的集水和引水渠道。瓮山泊和積水潭是新河的水櫃。集水渠和水櫃為新河提供了比較穩定的水量。
積水潭以下為航道，它的徑行路線為，從潭東曲折斜行到皇城東北角，再折而南下，沿皇城根徑直出南城，沿金代的閘河故道向東，到高麗庄(通縣張家灣西北)附近，與白河會合。從大都到通縣一段，為了克服河床比降太大和防止河水流失，修建了11組復閘，有壩閘24座，並且派遣閘夫、軍戶管理。這些壩閘，起初為非永久性工程，用木料製作，後來改成永久性的磚石結構。
由引水段和航運段組成的這條新河共長160多里。經過一年多的施工，主體工程建成。它被忽必烈命名為通惠河。通惠河的建成，大都的糧運問題基本解決。積水潭成為重要的港口，「舳艫蔽水」，盛況空前。