自宋朝起，太湖流域便成為我國最重要的產糧區，有「蘇湖熟，天下足」的說法。元朝以大都為都。都城官兵、百姓眾多，糧食的消耗量極大，每年需要調入外糧200多萬石。太湖流域成了大都用糧的主要供應地。
起初，南糧北運，元政府採用雙管齊下的辦法進行。一條管道是海運。糧船從江蘇太倉劉家港起錨，出長江口沿海岸北上，繞過山東半島，駛入渤海灣，傍岸到直沽(今天津市)，然後再循白河(今北運河)達通州(今北京市通縣)。海運有優點，如運量大，節省人力和費用，但海難較多，常有船舶漂失，不及河運安全。
另一條渠道是河運。將江南糧食裝船，沿江南運河、淮揚運河(揚楚運河)、黃河、御河(衛河，相當於永濟渠中段)、白河抵通州。這條運道問題較多。黃河為西東走向，北上糧船須向西繞到河南封丘，航程很大；從封丘到御河，還有200多里，無水道可以利用，必須改成車運，道路泥濘，車行困難。
元朝統治者迫切需要有一條徑直而安全的水道，從大都直達江南。為實現這一願望，關鍵問題是山東地區能否穿鑿運河，只要在這裡鑿出一條渠道，南北直運問題便可迎刃而解。忽必烈派傑出的水利名家郭守敬深入當地調查，得出肯定的答案後，便在至元十九年(公元1282年)，委派兵部尚書奧魯赤組織人力，在濟州(今濟寧市)境內施工。第二年完成，這便是濟州河。它南起濟州魯橋，北到須城(治所在今東平縣)安山，長150里左右。這裡地處魯中山地西緣，與其南北相比，地勢稍高。建設這條運河，解決水源問題和比降問題，都是工程的重點和難點。
汶水和泗水是運河附近兩條稍大一點的河道，都發源於魯中山地。前者向西向北流，是大清河的上源。後者向西向南流，是淮水的支流。兩者之間，還有一條小水叫洸〔guang光〕水(一說洸水為汶水汊流)，其流域地勢又比汶、泗略高。於是，建設者們分別在汶、泗上游各建一座攔河壩，將汶、泗兩水集中於洸水，沿洸水河道至任城(在今濟寧市境)進入新開的濟州河。濟州河一部分水南流，回到泗水故道，下通淮水；一部分水北流，回到汶水故道，汶水下通大清河。濟州河的穿鑿，溝通了淮水和大清河。汶、泗兩水，雨季、旱季水量的差異較大，為了以豐補歉，保證濟州河常年都有一定的水量，建設者們又於河旁修築一些水櫃，進行調劑。
由於濟州河位於魯中山地西緣，比南面的泗水河道和北面的汶水河道都高，因此，南北河床的縱比降都偏大。比降偏大，不僅航行困難，而且河水也容易流失。濟州河本來水源不足，過多的河水流失，便會導至斷航。為了解決這個問題，建設者們在比降較大的河段上，修建了一批閘門，無船時，閉閘保水，來船時，開閘通航。
大清河原是古濟水的下游，它下注渤海。這樣，南來漕船便可循泗水、濟州河、大清河、渤海、白河，直達通州了。不過，大清河也不是一條理想的水道，除其本身水量不足外，又有潮水頂托和河口多沙等問題，漕船常常受阻。人們認為，南北之間內河航運還有進一步改進的必要，於是，又有會通河工程的興起。
首先建議穿鑿這條運河的是壽張(治所在今山東梁山縣西北)縣尹韓仲暉和太史院史邊源。經朝廷派人深入現場調查，確認切實可行後，命江淮行省斷事官忙速兒、禮部尚書張孔孫、兵部郎中李處選負責施工，征丁夫三萬人服役。至正二十六年(公元1289年)開工，南起須城安山，接濟州河，北到臨清，與衛河會合，長約250里。行船的渠道工程，當年鑿成，解決比降、保水等問題的壩閘，則在以後陸續完工。這段新鑿的運道，初名安山渠，後來，因為它是條「古所未有」的「通江淮之運」的水道，南糧可以直達京郊，忽必烈十分高興，正式賜名為「會通河」。
魯西一帶，地勢高於南面的江蘇和北面的河北，是南北大運河的河脊，水源又比較短缺，工程十分複雜，但人們還是千方百計地建成濟州、會通兩河，使南北水運聯成一線，在我國運河史上具有劃時代的意義。當時兩河雖然因為技術上的原因，還不能通航較大的船舶，因而也沒有取代海運，成為南北漕運的主要渠道，但它卻為明代完成這一任務奠定了基礎。