我國的遠洋航運事業的出現，可以追溯到遙遠的先秦時期。到了漢朝和唐朝，由於航海技術的進步，遠洋航運有了較大的發展。
據《漢書·地理志》記載，漢武帝時曾派使臣、貿易官員和應募商民，從廣東出發行船約五個月到都元國(蘇門答臘)，再行船四個月到邑盧沒國(緬甸太公附近)，又經二個多月到黃支國(印度馬德拉斯附近)，自此往南到已程不國(斯里蘭卡)。最後由黃支國返航，約八個月到皮宗(馬來半島)，又行八個月返回中國。這是我國航海船舶經南海，穿越馬六甲海峽，在印度洋上航行的真實記錄。當時，已不程國是交通中轉站，中國從此處可購得珍珠、璧琉璃、奇石異物等，中國的絲綢等則由這裡轉運到羅馬等地。東漢桓帝在位時，大秦(羅馬帝國)派遣使者航海來到中國，從而開闢了中國和大秦之間的海上通路。這是中國同歐洲國家直接友好往來的最早記錄。這種友好往來，把當時世界上兩大帝國——東方的漢帝國和西方的羅馬帝國連結起來，構成了一條貫通歐、非、亞洲的海上航線。這是繼陸上著名的絲綢之路之後，又開闢的一條海上絲綢之路。
到了晉朝，有一個重要事件在我國遠洋航運史上有特殊意義，這就是公元409年至412年東晉的著名僧人法顯從印度洋遠航歸來。西漢末年，佛教自印度傳入我國，佛教的經典也開始翻譯過來。一些外國僧人來到中國，如西晉懷帝永嘉四年(公元310年)印度僧人佛圖澄來到中國，中國的僧人也到印度去求法，最有名的是東晉後期的法顯。公元399年，法顯從長安約得同伴九人西行，歷經艱難坎坷，達到印度尋求戒律。同行僧人有的喪身異域，有的不再返回，但法顯「欲令戒律流通漢地」，弘揚佛法。最後只有他一個人從海路遠航歸國，這時他已是70歲的老人了。回國後，他除了翻譯帶回來的大量佛經外，又撰寫了記述這次求經見聞的《佛國記》一書。它是我國詳細記述古代中亞以及印度、斯里蘭卡南海諸國政治、經濟、宗教、歷史、地理、風土人情等情況的第一部著作，也是我國有關1500年前中印遠洋航行的紀實之作，史料價值極高，對促進中國同印度、尼泊爾等國的相互了解和文化交流，起了重要作用。
唐朝與各國的海上交往達到了全面繁榮時期。唐都長安發展成為國際性的大城市。海外各國的使者、留學生、留學僧、商人不斷地到中國來，學習中國先進的文化、政治典章制度，進行貿易。這是唐代國家強盛、物產豐饒、科技發達、文化領先的必然結果。中國人在海外被稱為「唐人」。「唐人」也常常乘海船前往海外。唐代開闢了多條海上航線，加強了對海外的經濟文化交流及友好往來。與盛唐同時，8世紀中期西方崛起了地跨歐、亞、非三洲的阿拉伯帝國。我國史書稱之為「大食」帝國。其邊境東部的北段與唐朝邊境相接。阿拉伯人擅長航海，長期同中國有著廣泛的經濟文化交流。據不完全統計，從唐高宗永徽二年(公元651年)阿拉伯國家首次派人入唐，至唐德宗貞元十四年(公元798年)的148年間，阿拉伯對中國正式派遣使者39次之多，平均三年多就有一次。阿拉伯商人、伊斯蘭教士也多次從海道到唐朝經商、傳教。到唐中期，海上絲綢之路的文化貿易來往進入新的高峰。這條海路的起點我國南方的廣州，港口桅檣林立，旌旗飄揚，巨舶進進出出，從廣州開出的遠洋船隻每天就有10餘艘。在這裡中外各國商賈雲集，市場熙熙攘攘。唐德宗貞元時(公元785年—805年)宰相、地理學家賈耽(公元730年—805年)所著《廣州通海夷道》一文紀錄了這條海上航線的所經之處。這條航線從中國廣州開始，過海南島東南，沿南海的印度支那半島東岸而行，過暹羅灣，順馬來半島南下，至蘇門答臘島東南部，航抵爪哇島。再西出馬六甲海峽，經尼科巴群島，橫渡孟加拉灣至獅子國(今斯里蘭卡)，再沿印度半島西岸行，過阿拉伯海，經霍爾木茲海峽抵波斯灣頭阿巴丹附近，再溯幼發拉底河至巴士拉，又西北陸行到底格里斯河畔的阿拉伯帝國都城巴格達。如果繼續西行，除陸上通往地中海外，還可由波斯灣再出霍爾木茲海峽，沿阿拉伯半島南岸西航經阿曼、葉門至紅海海口的曼德海峽，南下至東非沿海各港口。賈耽所記這條航線從廣州出發至巴士拉用90餘天。從巴士拉向西航行至東非坦尚尼亞的達累斯薩拉姆用48天。唐代遠洋海船能航行於西太平洋和北印度洋水域，可知唐代遠洋航行能力之強。唐人將航船泊岸之處盛產之象牙、犀角、珍珠、寶石、珊瑚、琉璃和乳香、龍涎香等各種香料，以及玳瑁等物大量收購後輸往中國，而中國的絲綢、瓷器、茶葉、鐵器等物產也遠銷亞非各國。唐代的海外貿易盛況達到了空前的程度。
宋代海外貿易興盛，遠遠超過前代。北宋中期西夏崛起於寧夏，控制了河西走廊。宋與西方各國的往來通道只能走海路了。宋代和西方各國通商，據《嶺外代答》、《諸蕃志》(趙汝適著，成書於公元1225年)等書記載，就有50多個國家和地區。其中重要的除高麗與日本外，還有交趾、占城、真臘(柬埔寨)、蒲甘(緬甸)、勃泥(加里曼丹北部)、闍〔she蛇〕婆(爪哇)、三佛齊(蘇門答臘島的東南部)、大食、層拔(黑人國之意，在非洲中部的東海岸)等，遠遠超過了唐代的活動範圍。據《嶺外代答》說，與中國來往密切的國家，第一是大食國，其次是闍婆國，第三是三佛齊國，然後才是其他各國。這些國家大都在亞非航路沿線。宋代遠洋航船已能橫渡印度洋，溝通了從中國直達紅海和東非的西洋航線，這標誌著我國航海事業已達繁榮時期。宋代指南針的發明及應用，是我國航海技術的一件劃時代的大事。指南針是我國四大發明之一。世界上最早記載指南針應用於航海導航的文獻是北宋宣和年間(公元1119年—1125年)朱彧〔yu玉〕所著《萍洲可談》。作者追記隨其父朱服於公元1094年至1102年任廣州高級官吏的見聞。書中寫道：「舟師識地理，夜則觀星，晝則觀日，陰晦則觀指南針。」「識地理」是說當時舟師已掌握了在海上確定海船位置的方法。除了採用觀日航海、觀星航海的導向方法外，在天氣陰晦即能見度低的情況下還可利用指南針導航。這種方法是我國首創的儀器導航方法，也是航海技術的重大革命。指南針的應用與天文導航二者配合使用，更能促進航海天文科學的發展。中國使用指南針導航不久，就被阿拉伯海船採用，並經阿拉伯人把這一偉大發明傳到歐洲。恩格斯在《自然辯證法》中指出：「磁針從阿拉伯人傳至歐洲人手中在1180年左右。」公元1180年是我國南宋孝宗淳熙七年。中國人首先將指南針應用於航海比歐洲人至少早80年。指南針經過改進，加上方位刻度盤，更便於使用，這就是羅盤。中國海船開始使用羅盤進行導航約在公元1225年。在這一年趙汝適寫的《諸蕃志》中明確記載：「舟舶往來，惟以指南針為則。晝夜守視惟謹，毫釐之差，生死系矣。」這裡所說的已不是一般的指南針，而是羅盤了。若無羅盤上的指向刻度，便不可能做到「守視惟謹」，分辨「毫釐之差」了。羅盤針應用於航海，說明我國導航技術在宋代居於世界的領先地位。它的西傳，為公元1492年哥倫布發現「新大陸」，創造了前提條件。應用羅盤以後，人類就可以真正擺脫了海岸的束縛，而能夠馳騁在更加廣闊的大洋上了。