在我國歷史的早期，帝王們選擇自己的都城時，往往要把目光投向長安。因為它位於八百里秦川中心，土地肥沃；平原四周又有大山環抱，退可以守，進可以攻。就是因為這些原因，當隋文帝楊堅結束魏晉南北朝的分裂局面後，也以長安作為這個統一王朝的都城。
魏晉南北朝時期，政局動蕩，關中經濟情況難以與盛極一時的西漢相比。西漢僅鄭白渠即可灌溉農田四萬多頃。魏晉南北朝時，這裡有許多灌溉工程因無暇維修而湮廢。因此，隋定都長安後，仰仗東糧西運的程度，遠遠超過西漢。這就決定了隋在立國不久，便著手穿鑿長安——黃河間的運糧渠道。
西漢時，因渭水運量很少，曾在長安黃河間鑿過一條名叫漕渠的運河。後來，因東漢定都洛陽，糧食西運任務大減，漕渠由於失修，不久報廢。隋朝只好重開新渠。隋開皇元年(公元581年)，隋文帝命大將郭衍為開漕渠大監，負責這一工程。他「部率水工，鑿渠引渭水，經大興城(長安城)北，東至於潼關，漕運四百餘里，關內賴之，名之曰富民渠」。(《隋書·郭衍傳》)富民渠雖發揮重要作用，但因倉促成渠，渠道淺窄，航運能力有限，難以滿足日益增加的東糧西運的需要。隋開皇四年(公元584年)，只好再次動工，加以改建。
這次改建，要求鑿得深寬順直，可通「方舟巨舫」。舫是一種兩舟相併的船，體積大，容量多。《戰國策·楚策》說：「舫船載卒，一舫載五十人，與三月之糧。」要通航這樣大型重載的舫，渠道必須又深又寬。改建工程由傑出的工程專家、大興城的設計者宇文愷主持。動工之前，他先派「工匠巡歷渠道，觀地形之宜」(《隋書·食貨志》)，以便在實地調查的基礎上，將渠道布置得更為合理。在上下共同努力下，工程進展順利，當年即峻工。新渠仍以引渭水為主要水源，自大興城至潼關，長300餘里，命名為廣通渠。廣通渠的運量大大超過舊渠，對緩和關中糧食的緊張情況，有重要作用。隋開皇五年(公元585年)，關中大旱，但是無災。當時所以旱而無饑荒之災，與發放300多萬石廣通倉的糧食有關。廣通倉在廣通渠旁的華州(今華縣)，這裡的糧食，就是沿廣通渠從東方運來的(圖1)。
從潼關以東運糧入關，廣通渠以下一段水路是黃河。黃河有三門砥柱之險，砥柱為兩個石島，兀立河心，堵塞航道，形成神門、鬼門、人門三條險道，神、鬼二門無法通舟，人門雖可勉強航行，但風險很大，經常船沉人亡。三門砥柱是當時東糧西運的「瓶頸」。於是，又有隋開皇十五年(公元595年)，下令「鑿砥柱」。不過，在當時的技術條件下，「鑿砥柱」的工程很少進展，只好半途而廢。