相傳早在商朝末年，我國即已鑿成一條規模可觀的運河，它的名字叫泰伯瀆，是周太王的長子泰伯將王位繼承權讓給其弟季歷、避地到荊吳(太湖流域)後穿鑿的。它位於今無錫市東南。
春秋時期，開鑿的運河漸多，有的為陳、蔡兩國所開，在今淮水上游；有的為楚國所開，在湖北、安徽境內；有些為吳國所開，在太湖流域和長江、淮河、黃河之間。吳國鑿的這批運河，無論對當時及後代，都有深遠的影響。
吳國首建於商末周初的泰伯，長期默默無聞。到春秋末年，闔閭、夫差父子相繼為王，由於當時的太湖流域有了初步開發，又有伍子胥、孫武等人的襄助，國力逐漸強大。它首先對南方地區的兩個鄰國越國、楚國發動戰爭。為了在戰爭中便於運兵和運糧，公元前6世紀末至公元前5世紀初，在太湖流域，利用自然河道的基礎，陸續鑿成三條運河。一條叫胥浦，北起太湖東面，南到杭州灣。這是一條從對越戰爭的需要出發而穿鑿的運河。另一條叫胥溪，位於太湖西面，是溝通太湖、長江間的運河，便於吳船向西進入楚地。還有一條由吳(江蘇省蘇州市)北上，到今江陰西部與長江會合，便於吳船經此騷擾長江下游的楚地。吳在大軍伐楚以前，對楚採用聲東擊西的「疲楚」戰術，這一戰術就是利用後兩條運河，或向西擾楚，或向北擾楚，使楚軍防不勝防，疲於奔命。「疲於奔命」的典故即源於此。這些運河的穿鑿，不僅促進了區域性的統一，而且還為後來的江南運河奠定了初步基礎。
周敬王十四年(公元前506年)，吳軍大敗楚師於柏舉(湖北麻城縣東北)。12年後，即周敬王二十六年(公元前494年)，它又敗越師於夫椒(太湖西洞庭山)。經此兩戰後，楚國一蹶不振，越國也臣服於吳。吳王夫差認為自己在長江流域的霸主地位已確立，決定用兵北方，以便強迫晉、齊、魯、宋等黃河流域的諸侯俯首聽命。築邗城、穿邗溝，都從用兵北方的需要出發而興建的工程。
周敬王三十四年(公元前486年)，「秋，吳城邗，溝通江淮。」(《左傳·哀公九年》)邗，就是古揚州，在今揚州市西北郊蜀岡一帶，遺址周長約九公里。這是揚州建城的開始。吳國築邗城，目的是在長江北岸建立進軍北方的基地。鑿邗溝旨在便於運送軍隊和糧秣。據《水經注·淮水注》載，這條邗溝從邗城西南引進江水，經過城東，再向北流，從陸陽、廣武兩湖(兩湖分別位於今高郵縣東部和西部)中間穿過，北注樊梁湖(今高郵縣北境)，又折向東北，連續穿過博芝、射陽兩湖(兩湖位於興化、寶應間)，再折向西北，到末口(今淮安市東北)入淮。邗溝的線路比較曲折，所以如此，目的在於利用當地的眾多湖泊，以便減輕施工的負擔。這是我國、也是世界有確切穿鑿紀年的第一條大型運河，長約150公里。
鑿邗溝後的第二年，即公元前484年，吳師與齊師大戰於艾陵(今山東泰安南)。齊師幾乎全軍覆滅，主將國書及其以下五大夫，或者戰死，或者被俘，損失革車800乘 。打敗齊師後，吳準備再開一條運河，以便進軍中原，以軍事力量為後盾，迫使當時北方諸侯首領晉國就範。這條運河就是荷水。
黃、淮之間的東部，有兩條較大的自然河道，一條是濟水，是黃河的汊道，首起滎陽，向東流經荷澤(今山東定陶東北，已淤)、大野澤(又名巨野澤，今巨野縣北，已淤)，折向東北，注於渤海。一條是泗水，發源於魯中山地，西南流入淮水。泗、濟兩水相距不遠，只要在它們中間開一條不長的運河，吳國的軍隊便可以從淮水北溯泗水，再通過運河，循濟水直達中原腹地。周敬王三十八年(公元前482年)，夫差在泗、濟之間鑿出一條運河，它東起湖陵(今山東魚台縣北)，西到與濟水相連的荷澤。因其水源來自荷澤，故稱荷水。
當年夏天，夫差率領吳國大軍到達黃池一帶(今河南封丘縣西南)，召集北方諸侯舉行歷史上著名的黃池盟會。晉國自晉文公以後100多年中，一直是北方諸侯的首領，不肯輕易放棄這一特殊地位。因此，在這次盟會上，誰當盟主，執牛耳以盟諸侯 ，吳、晉雙方各不相讓。正當兩軍劍拔弩張時，吳王接到空虛的吳都被越軍攻破的消息，只好向晉讓步，匆忙帶兵南歸。
邗溝和荷水都是夫差從政治、軍事需要出發而穿鑿的，工程比較粗糙，邗溝的河道也較曲折，航運受到一定影響。但它們畢竟溝通了江、淮、泗、濟諸水，對加強長江、淮河、黃河三大流域的經濟、政治、文化聯繫，都有重要作用。