起初，會通河的範圍較小，僅指臨清——須城(東平)間的一段運道。後來，範圍擴大，明朝將臨清會通鎮以南到徐州茶城(或夏鎮)以北的一段運河，都稱會通河。會通河是南北大運河的關鍵河段。明洪武二十四年(公元1391年)，黃河在原武(河南原陽西北)決口，洪水挾泥沙滾滾北上，會通河1/3的河段被毀。大運河中斷，從運河漕糧北上被阻。
永樂元年(公元1403年)，定北平為北京，準備將都城北遷。永樂帝鑒於海運安全沒有保證，為解決遷都後的北京用糧問題，決定重開會通河。永樂九年(公元1411年)，他命工部尚書宋禮負責施工，徵發山東、徐州、應天(南京)、鎮江等地30萬民夫服役。主要工程為改進分水樞紐、疏浚運道、整頓壩閘、增建水櫃等。其中有些工程在當年即告完成。
改進分水樞紐。元朝的濟州河，以汶、泗為水源，先將兩水引到任城，然後進行南北分流。由於任城不是濟州河的最高點，真正的最高點在其北面的南旺，因此，任城分水，南流偏多，北流偏少。結果，濟州河的北段，河道淺澀，只通小舟，不通大船。分水樞紐選址失當，是元朝南北大運河沒有發揮更大作用的主要原因。宋禮這次治運河，對它作了初步改進。他除維持原來的分水工程外，又採納熟悉當地地形的汶上老人白英的建議，在戴村附近的汶水河床上，築了一條新壩，將汶水余水攔引到南旺，注入濟州河。濟州河北段隨著水量的增多，通航能力也就大幅度地提高了。
幾十年後，人們對這一分水工程又作了比較徹底的改進，即完全放棄元朝的分水設施，將較為豐富的汶水，全部引到南旺分流，並在這裡的河床上建南北兩壩閘，以便更有效地控制水量。大體上說為三七開，南流三分，南會泗水，北流七分，注入御河。人們戲稱：「七分朝天子，三分下江南。」
疏浚河道。可分兩個部分。一是將被黃河洪水沖毀的一段運道，改地重新開鑿出來。舊道由安山湖西面北注衛河，新道改從安山湖東面北注衛河。改道到湖東，黃河泛濫時，有湖泊容納洪水，可以提高這段水道的安全程度。又因為這裡的地勢西高東低，運道建於湖東，便於引湖水補充運河水量。二是展寬浚深會通河的其他河道。一般說，要將它挖深到13尺，拓寬到32尺。這樣，即便是載重量稍大的糧船，也可順利通過。
整頓壩閘。南旺湖北至臨清300里，地降90尺。南至鎮口(徐州對岸)290里，地降116尺。會通河南北的比降都很大 。為了克服河道比降過大給航運造成的困難，元朝曾在河道上建成31座壩閘。這次明朝除修復元朝的舊壩閘外，又建成七座新壩閘，使壩閘的配置更為完善，進一步改進了通航條件。由於會通河上壩閘林立，因此，明人又稱這段運糧河為「閘漕」。
除上述工程外，為了更好地調劑會通河的水量，宋禮等人「又於汶上、東平、濟寧、沛縣並湖地」，設置了新的水櫃。
經過明朝初年的大力治理，會通河的通航能力大大提高，漕船載糧的限額，每船由元朝的150料 ，提高到明朝的400料；年平均運糧至京的數量，由以前的幾十萬石，猛增到幾百萬石。明初成功地重開會通河，加強了永樂帝遷都北京的決心，並宣布停止取道海上運輸南糧。