早在我國遠古時代，就有關於「海外仙山」的種種美麗動人的神話傳說。如《列子·湯問篇》中記載，夏朝末年，有一個名叫夏革的人對成湯(商部落的首領)講述了這樣一個神奇的「秘聞」：說是在茫茫無邊的大海之上，在那十分遙遠的地方，有五座美妙無比的仙山，它們分別叫「岱輿」、「員嶠」、「方壺」、「瀛洲」和「蓬萊」。這些仙山上居住著「仙聖之種」。成書於戰國時代的我國最古老的一部重要地理文獻《禹貢》，在講到揚州時提到「島夷卉服」，意思是說：大禹時代，東南方的海島上居住著身穿麻質衣服(卉服)的「島夷」。這些充滿神話色彩的故事與傳說，說明早在航海技術十分原始落後的遠古時代，我們的祖先就已經對我國東、南部沿海一帶存在著許多島嶼，有了一種朦朦朧朧的認識。
這些動人的神話傳說，吸引著古人一次次地不顧風險，試圖探尋到這些神秘仙島的蹤跡。司馬遷《史記·封禪書》中記述，戰國時代的齊威王、齊宣王、燕昭王，就曾派人入海尋訪神話傳說中的「蓬萊」、「瀛洲」等，但都沒有下落；至於秦始皇派方士徐福率童男童女數千人(一說五百)，入海尋「蓬萊神仙」、求長生不老葯的故事，更是家喻戶曉、婦孺皆知。據說徐福等人因求仙不得，「不敢還」，最後漂泊到「夷洲」定居下來 (《後漢書》卷八五)。
古代神話傳說中的「蓬萊」、「瀛洲」、「方壺」和「島夷」等究竟是指哪些地方？歷來眾說紛紜，有人說是指台灣、澎湖諸島，有人說是指浙江舟山、或海南島、或琉球、或菲律賓群島，也有說是指日本等，莫衷一是，因證據缺乏，迄無定論。
在我國史籍中，台灣的名稱幾經變遷。漢代稱「夷洲」或「東鯷〔ti提〕」，三國時稱「夷洲」，自隋迄元則稱「流求」、「琉求」、「流虯〔qiu求〕」、「留仇〔qiu求〕」或「瑠球」。明初，現在沖繩島上的中山國王察度遣使入貢，受封為藩屬。明王朝以為他們是從福建東南方海上來的，應該就是史書上記載的「流求」，故稱該島為「琉球」。後來發現他們不是從東南沿海那個面積更大、更靠近大陸的「流求」來的，為加以區別，改稱有通貢關係的琉球為「大琉球」，而把實際早有接觸往來的台灣稱作「小琉球」。在明代官書中，這種以大稱小、以小稱大名不副實的稱呼，一直沿用了很長時間。
明代中期以後，隨著航海技術的進步和海上交通的發展，赴台謀生的閩人越來越多，民間對台灣的稱呼十分複雜。他們以各自的見聞所及，觸景生情，給台灣起過各種各樣的名稱。比如商船上的水手，當他們從福建駛向日本，橫渡台灣海峽時，必須以台灣北部的一座高山為瞭望定向的標誌，因這座山的形狀酷似一個罩雞的籠子，故稱之為「雞籠山」。起初它只是個山名，後來逐漸變為台灣北部沿海的通稱。又如福建漁民到台灣西部海面捕魚時，常在一個可以避風的港口曬補魚網、修理船具，他們就稱這個港口為「魍 〔wang網〕港」，後來又轉音為「笨港」、「北港」，並漸漸成了台灣中部沿海的通稱。此外，還有大雞籠、大員、大圓、大冤、台圓、大灣、台窩灣、台灣等等不同的稱呼，而官方則稱「東番」、「東番諸山」或「東番諸島」以示和四川境內的「西番」相區別。鄭成功驅荷據台後，稱台灣為「東都」，其子鄭經繼位後，又改稱「東寧」。
那麼，「台灣」的名稱究竟是如何使用起來並最終確定下來的呢？據連橫《台灣通史》說：「台灣原名『埋冤』，為漳泉人所號。」明代閩南人入台墾殖，因「天氣所虐，居者輒病死」，死後連屍骨都難得運回故鄉安葬，「故以『埋冤』名之」，其後又因「埋冤」不吉利，而閩南話「埋冤」與「台灣」音同，故改稱「台灣」云云。這種說法未免牽強附會，不足為信，但也說明了大陸人民為開發台灣的確是歷盡了千辛萬苦。
目前大多數學者認為，「台灣」一名是從「台窩灣」演變而來的。台窩灣原是台灣原住民平埔族中的一個族群名，聚居於今台南安平一帶，附近多海灣，大陸商船常來此地與他們交換貨物，久而久之，人們就將其族名當作地名稱呼起來，並簡稱為「台灣」，後來逐漸成為全島的通稱。明末，連官方文書也開始使用「台灣」這一名稱，但正式確定使用「台灣」的稱呼，則是清朝政府。1683年(清康熙二十二年)，鄭氏政權敗亡，清政府統一了台灣，次年設「台灣府」，隸屬於福建省管轄。自此，台灣正式定名，一直延用至今。1885年(光緒十一年)，清廷決定台灣升格為省，命劉銘傳為首任台灣巡撫。於是，台灣成為中國的第20個行省。
顯然，台灣地名的演變和確定，是和海峽兩岸關係的不斷密切以及島內社會經濟文化的不斷開拓發展緊密聯繫在一起的。
在正式定名之前，外國人對我國台灣也曾有過各種不同的稱呼。如16世紀中葉，日本倭寇曾一度竄入台灣南部騷擾活動，見島上白沙青松，風光明媚，氣候宜人，與日本播州灣海濱高砂的景色相似，於是稱台灣為「高砂」，後又由高砂轉音為「高山」，故古代日本稱我國台灣為「高砂國」或「高山國」。此外還稱「大惠國」、「多伽佐古」等。1544年(明嘉靖二十三年)，有一隊葡萄牙商船從澳門出發去日本國做生意，途經台灣海峽時，見台灣島上林木青翠、飛瀑若練，景色秀麗，驚呼讚歎為「Ilha Formosa！」，意思是「美麗之島」。從此，「福摩薩」(Formosa，美麗島)的稱呼便不脛而走，隨著西方航海家的足跡傳遍世界。時至今日，一些西方學者和出版物仍習慣稱我國台灣為「福摩薩」。但是，作為中國政府法定的名稱，「台灣」則一直為世界各國所公認。