在原始社會裡，生產力水平很低，人們大都聚集在有水的地方，依靠漁獵為生。水是人類生活的必需品，但有時它也給人類帶來很大的危害。在同水打交道的過程中，人們逐漸認識了水的某些特性。如「利涉大川，乘木有功也」(《易經》)，意思是騎著木頭有利於過大河，懂得了「水能浮起木頭」的道理。隨著社會生產力的發展，生產工具也在不斷改進，人們已有可能「編木為筏」，與此同時還能利用火燒和石刀、石斧的砍鑿，把大原木挖空，做成獨木舟，這樣人們就能方便地在水上活動了。至於古代傳說中提到黃帝的大臣共鼓、貨狄發明舟，部落首領顓頊〔zhuanxu專虛〕發明漿、篙，帝嚳發明舵和櫓，堯發明纖繩等等，從根本上說，這些都是人民群眾的創造。
商朝的甲骨文上有「舟」字，當時已經有木板船了。據甲骨卜辭記載，在商代後期，航運往往被奴隸主用作鎮壓奴隸反抗的工具。商王武丁時期，王室的奴隸曾大批逃跑，武丁下令乘船追擊。這些船費了九牛二虎之力，前後用了15天，終於把奴隸捕捉回來。這個事件從一個側面反映了商代航行技術的狀況。到了周朝，水運有了進一步的發展。水路交通不僅利用自然河道，而且還開鑿運河。春秋時期，最先開鑿運河的是陳、蔡、楚等國。當時，為了改善陳、蔡兩國間的交通，它們鑿了一條不長的運河，將淮河的兩條支流沙水和汝水連貫起來。楚國也鑿了一條從都城郢(今湖北江陵北)到漢水的水道。不過，其中比較重要的和著名的運河有吳國溝通太湖和長江的胥河、溝通長江和淮河的邗〔han含〕溝和溝通淮河和黃河的荷水，以及稍後的魏國溝通黃河和淮河的鴻溝。
春秋末年，闔閭、夫差父子相繼為吳王時，吳國在伍子胥、孫武等人的幫助下，逐漸強盛起來。吳國為了攻打楚國，於公元前506年開挖了胥河，船舶可以從蘇州通太湖，經宜興、高淳，穿石臼湖，在蕪湖注入長江，大大縮短了從蘇州到安徽巢湖一帶的路程。吳大敗楚國後，繼而又攻破越國，迫使越王勾踐臣服於吳。取得兩次重大的勝利後，夫差認為吳國在長江流域的霸主地位已經確立，決定進一步用兵北方，迫使北方諸侯也聽從他的號令，於是在公元前486年「秋，吳城邗，溝通江淮」(《左傳·哀公九年》)，又修通了邗溝。古邗城在今揚州市西北郊蜀岡一帶，其遺址經發掘，周約六公里。構築邗城的目的，是在江北建立起進軍北方的基地。鑿邗溝是便於向北運送軍隊和糧食。邗溝後人又稱山陽瀆，據《水經注·淮水注》的記載，它從邗城西南引長江水，繞過城東，折向北流，從陸陽、武廣兩湖(分別位於今高郵縣東西)間穿過，北注樊梁湖(今高郵縣北境)，又折向東北，穿過博芝、射陽兩湖(位於興化、寶應間)，再折向西北，到末口(今淮安市東北)入淮河。邗溝渠線所以比較曲折，主要原因是要利用湖泊，以便減少工程量。從此，吳國軍隊通過這條運河從長江直接進入淮河，可以從水路上攻打齊國，進兵中原大地。這條運河全長約150公里，它開通後大大便利了南北航運，為後來江淮運河的發展奠立了初步基礎。據史書記載，邗溝是我國，也是世界上有確切紀年的第一條大型運河。鑿邗溝後的第三年，即公元前484年，吳軍與齊軍大戰於艾陵(今山東泰安市南)，齊軍幾乎全軍覆滅。吳國打敗齊國後，決定再開一條運河，進軍中原，以軍事力量為後盾，迫使原來北方諸侯首領晉國就範。那時，黃淮之間的東部，有兩條較大的自然河道，一條是濟水，原黃河的岔道；一條是泗水，最終流入淮河。泗水與濟水很近，只要在兩河間開一條運河，吳國的軍隊就可以從淮河進入泗水，通過運河轉入濟水，上溯濟水，可達中原腹地。於是在公元前482年，吳國夫差就在今山東省魚台縣東和定陶縣東北之間鑿開一條新水道，因其水源來自荷澤，故稱荷水。荷水同胥河、邗溝一樣，都是吳國為了政治、軍事需要而開鑿的，但在後來長時間中，對加強黃河、淮河和長江三大流域的經濟、政治、文化的聯繫，起到了重要作用。
公元前475年到前221年，是我國歷史上的戰國時期。最先進行變法的魏國成為這一時期七國中最先強盛起來的國家。魏惠王在位時(公元前369年—前319年)，為了與列國角逐，遷都於大梁(今河南開封西北)。遷都後，魏國多次動工開鑿以大梁為中心的運河，這就是歷史上著名的鴻溝。鴻溝先在河南滎陽把黃河帶有較多泥沙的水引入圃田澤(在今河南省中牟縣西，已湮)，使水中的大部分泥沙沉積在圃田澤中，既減輕下游渠道的堵塞，又使圃田澤起到水櫃的作用，調節鴻溝的水量。然後引水向東，繞過大梁城的北面和東面，向南與淮河支流丹水、睢水、渦水、穎水等連接起來，許多自然河道連結成網，船隻可以暢通無阻。鴻溝的開鑿，不僅在黃河、淮河、濟水之間，形成了一個相當完整的水上交通網，而且由於它所聯繫的地區都是當時我國經濟、政治、文化最發達的地區，所以在歷史上影響很大。