利用磁鐵的指極性製造指南儀器，是我國古代的一項偉大發明。在先秦的典籍中，就有「先王立司南以端朝夕」(《韓非子·有度篇》)的記載，「端朝夕」也就是正四方。在王充《論衡·是應篇》中，更記有「司南之杓，投之於地，其柢指南。」「司南之杓」是用天然磁鐵琢磨成杓狀，「地」是一種標有24個方位的地盤，「柢」就是杓柄，也就是把杓狀磁鐵放在地盤上，它的柄會指向南方。但是，天然磁鐵琢磨不易，且會失磁，故未能推廣使用。
大約在唐末或宋初，人們發明了人工磁化方法，製造出了指南針。指南針最初是由風水先生髮明的，他們用鐵針摩擦磁鐵，使其磁化，而成指南針。據沈括《夢溪筆談》記載，最初的指南針有四種裝置方式，即水浮法，把磁針橫貫燈芯草，讓它浮在水面；放在碗唇上；放在指甲上；用絲線拴在磁針中心，懸掛起來。當時，人們已經發現了地球的磁偏角。後來的指南針裝置法，一般是在地盤(古時又叫羅盤或羅經盤)中心挖一圓洞，內盛水，放進橫貫燈芯草的磁針，就成為水羅盤。明末之前，普遍使用的都是這種水羅盤。
指南針的最大業績，是它大大地促進了航海事業的發展。我們的祖先很早就在海上活動，山東大黑山島發現的母氏社會遺址，反映了先民們在六七千年前就開始了海島生活。秦始皇時，徐福帶數千童男童女東渡日本，開創了大規模遠航的先河。漢唐時，我國的商船已活躍於太平洋和印度洋上，與東北亞、東南亞、南亞、西南亞以至非洲東海岸的眾多國家有著頻繁的海上交通關係。在指南針應用於航海之前，海上遠航是靠觀測日月星辰來辨別方向的。如果遇到陰雨天氣，茫茫的大海之中水天一色，只好隨波逐流，聽天由命了，迷失方向的事故是經常發生的。指南針的出現，為航海者提供了可靠的全天候導航手段。我國大約在11世紀末開始把指南針應用於航海。
指南針在航海中的應用，引起了航海技術的重大變革，開創了一個人類航海的新紀元。李約瑟博士說，這是「航海技術方面的巨大改革」，它把「原始的航海時代推至終點」，「預示計量航海時代的來臨」。我國宋元時期航海事業的高度發達，明初的鄭和下西洋，以及歐洲人大航海時代的到來，都與指南針的發明和應用密切相關。
中國的指南針大約在12世紀下半葉由海道傳至阿拉伯，再傳入歐洲。同時可能也由陸路傳到中亞地區，再傳至歐洲。歐洲人在應用過程中對指南針裝置進行了改進，發明了有固定支點的旱羅盤，有如我們現在常用的一樣。旱羅盤在16世紀下半葉時回傳中國，從而逐步取代了水羅盤。