五嶺山脈中的越城嶺和都龐嶺之間，有一個谷地，谷地中有兩條自然河道，一條是湘江上游的海洋河，另一條為粵江水系中的始安水。如果在兩水之間鑿一條運河，就可溝通長江和粵江，便可解決秦軍的糧運問題。不過，在此穿鑿運河，在工程上說，既有有利的一面，也有不利的一面。有利的是海洋河和始安水的距離很近，最近處只有1.5公里。不利的是海洋河和始安水間橫亘著高約20—30米、寬約300—500米的小山阜；而且整個谷地地勢的坡度也較大。監御史祿等決定克服困難，興建這條運河。經過幾年的努力，到秦始皇三十三年(公元前214年)，工程基本建成。這條運河的最早名稱已經難以考查，後來人們相繼稱它為秦鑿渠、零渠、靈渠、興安運河等。
在古代，我國南方有一個人數很多的越族，他們活躍在江、浙、閩、贛、粵、桂等廣闊的土地上，其中分布在粵、桂等地的越人叫南越 。戰國時期，南越與楚國已有一定關係，吳起在楚變法時，即將湘南、粵北、桂東北的蒼梧併入楚國的領土。秦滅楚後，進一步向南發展，進軍南越腹地。當時由於五嶺 的阻隔，交通不便，糧秣運輸困難，於是，秦始皇二十八年(公元前219年)，命監御史祿負責穿鑿運河，以解決軍隊的給養問題。
南渠可分上下兩段，上段自小天平向西北走向，到興安縣北，接始安水，長約4.5公里。這一段系鑿岩成渠，全部由人工開成，寬度雖較小，約7—14米，但工程比較艱巨。下段沿始安水、零水向西，至今溶江鎮附近，接灕江，長約30公里，是在始安水和零水的基礎上拓展而成，寬約10—60米。南渠全長30多公里，落差29米，河床比降很大，渠道上不設輔助工程，不便舟楫上下。後人推測，為了便於通航，當年可能已在沿渠建有原始陡門。陡門現稱船閘，平時關閉，隨著舟楫的前進而順序打開，從而可以減少航行的困難。我國的正式陡門，至遲形成於唐朝，其雛形有人認為可以上溯到修建靈渠時代。靈渠是世界上最早的有閘運河。
靈渠由分水工程、南渠、北渠三部分組成。分水工程建在水量比較豐富的海洋河上，其具體位置在今興安縣東南二公里處的分水村。這裡不是離始安水最近的地方，所以舍近取遠，選址於此，是因為此地的河床較高，大抵與始安水相當的緣故。分水工程呈「┚」形，似木工的曲尺，角尖對著海洋河的上游。平時，它攔截海洋河水，阻止河水流入原來的河道，將其一分為二，七分進北渠，三分入南渠。這座曲尺形的分水工程，後人稱為人字堤，就是今天大、小天平的前身。大、小天平屬滾水壩性質的工程，洪水時，水可從壩上漫出，流入故道，以減輕天平本身及南、北渠道的壓力。後來，在大、小天平的頂端前面，又建鏵嘴，以提高分水功能和保護天平。據考證，鏵嘴是唐朝增建的。
1936年和1941年，粵漢鐵路和湘桂鐵路相繼建成，靈渠才讓位於現代化交通工具。它在1956年最後停運，改作農田灌溉和城市供水工程，並成為桂林地區重要的名勝古迹，供人觀賞。
北渠從大天平向北，到今洲子上村附近回到湘江故道，長約3.5公里。北渠經過的地帶，是個山間小平原，這裡的地面雖然較少溝壑，但坡度偏大，採用直線渠道，與南渠一樣，也會流水過急，不便航行。為了減少這段渠道的比降，建設者們採用曲線渠道，形如蛇行。巧妙地用伸長渠的長度，以達到減少比降、利於通舟的目的。
春秋戰國時，我國運河工程首先興起於長江中下游及黃、淮之間。到秦、漢時期範圍擴大了，南到五嶺，西至關中，北及幽燕，都鑿有運河。靈渠便是其中之一。
對靈渠構造上的巧奪天工，航運上的舟行便捷，宋人范成大深有感觸，曾作詩加以歌頌：
靈渠工程處處閃爍著建設者的聰明睿智。靈渠全長雖然不到40公里，是一條小型運河，但因為它溝通了長江、粵江兩大水系，其地位卻十分重要。它不僅在秦朝，而且在以後2000多年中，都是內地和嶺南的主要交通孔道，對促進兩地經濟文化的交流，對加快嶺南的開發，意義都非常重大。
狂瀾既奔傾，中流遇鏵嘴。
分為兩造開，南漓北湘水。
至今舟楫利，楚粵徑萬里。
人謀奪天造，史祿所經始。