在短短的三個月之內，中國學術界燦爛星河中最亮麗的巨星相繼隕落，台島各界及海內外學人為之哀戚。為使科學事業不致因巨星隕落而停滯，同時也儘快掃除密佈於學人心頭上的陰霾，在胡適業歸道山不久，台灣當局再度任命李濟為「中央研究院」代院長。李推託一番，最後表示個人服從組織，拿起雞毛撣子，把故院長鬍適坐過的那把有些灰塵的椅子掃了掃，躬身坐了上去。
李濟自1948年年底拒絕他的學生與陶孟和等人三番五次勸阻，毅然決然地押著他視若生命的國之重寶渡過波浪滔天的台灣海峽，毫髮未損地在基隆港安全登陸後，國民黨大勢已去，兵敗如山倒，一批批官僚、政客、奸商、投機分子、游兵散勇與流氓、乞丐等各色人物，像蝗蟲一樣嗡嗡叫著，蜂擁至這座孤懸於汪洋大海中面似燒烤地瓜狀的島嶼。
因地小人多，時局混亂，來台人員大多無處安身。李濟率領押船的部分史語所人員，勉強在台大醫學院教室中搭個簡單的床鋪暫住下來。時台大教室少而簡陋，其擁擠之狀從石璋如回憶中可以見出：「人多的可以住一間教室，人少的就兩家住一間教室，我就跟蕭綸徽家共住一間教室。教室有前後二門，蕭走前門，我走後門，兩家中間用帳子拉起來隔開。公家只給一家做了一張方形大床，上頭可以擱兩張榻榻米，全家人就擠在一起，睡在上頭。這就是我們的住。李濟先生比我們早來一段時間，家眷多，也住在台大醫學院。雖然我們到這裡很苦，可是我們從基隆下船一早來到台大安頓行囊之後，休息到第二天，史語所三組的同仁就在李濟先生的帶領下，步行到圓山作遺址調查去了。」
在遷台的最初幾年，儘管孤懸一島，前程堪憂，李濟曾有過「心情迷亂，考古興趣傷失殆盡」的情緒，但很快振作起來，並以一個國際級學者的風範和文化良知，重新投入學術中去。除領導並參加了著名的圓山貝冢發掘，還參加了台中瑞岩泰雅族的體質人類學調查，組織對桃園尖山遺址發掘、環島考古調查，整理安陽殷墟出土陶器、青銅器等事宜。再之後，李濟率領一幫弟子開始對中國上古史展開研究。此時的李濟與許多學者不同的是，他以一個傑出的人類學者的身份和地位，而不是以一個狹隘的考古專家的身份與角度，來觀察上古人類活動與創造文明的歷程與成果，充分展現了其在學術上的磅礴大氣與深刻洞見。對於這段史實的考察研究以及最縈繞於心的問題，台灣大學為其重刊的文章中，李濟以後記的形式作了如下說明：
治中國古代史的學者，同研究中國現代政治的學者一樣，大概都已感覺到，中國人應該多多注意北方。忽略了政治的北方，結果是現在的災難。忽略了歷史的北方，我們的民族及文化的原始，仍沉沒在「漆黑一團」的混沌境界。兩千年來中國的史學家，上了秦始皇的一個大當，以為中國的文化及民族都是長城以南的事情；這是一件大大的錯誤，我們應該覺悟了！我們更老的老家——民族的兼文化的——除了中國本土以外，並在滿洲、內蒙古、外蒙古以及西伯利亞一帶，這些都是中華民族的列祖列宗棲息坐卧的地方；到了秦始皇築長城，才把這些地方永遠斷送給「異族」了。因此，現代人讀到「相土烈烈，海外有截」一類的古史，反覺得新鮮，是出乎意料以外的事了。
李濟所說的「現在的災難」，當是指晚清以後的軍閥及蔣介石集團沒有注重中國北部的經營，因而有了外蒙古在蘇俄扶持下悍然獨立，國民黨受共產黨軍隊的重擊而敗退台灣的事實。面對這一無法挽回的慘劇，李濟以他非凡的識見告訴他的同行並附帶警示逃亡台島的政客們，越是在這樣艱難困苦的境況中，作為具有思想的政界和學術中人，就越要把眼光放得長遠與開闊，不要拘泥於一個小小的台灣島或中國大陸，特別是「我們以研究中國古史學為職業的人們，應該有一句新的口號，即打倒以長城自封的中國文化觀；用我們的眼睛、用我們的腿，到長城以北去找中國古代史的資料，那裡有我們更老的老家」。如此的學術境界和氣魄，如張光直所說：「除了個人的胸襟，更代表了在上古史研究中的一種實事求是的科學態度。」
1953年秋，李濟在菲律賓舉行的第八屆太平洋科學會議上所作專題報告《安陽的發現對譜寫中國可考歷史新的首章的重要性》，文章再次指出：「中國是一個大陸國家，因而這片土地上無論發生什麼變化都是大陸規模的。中國的文化和種族史的宏大堪與整個歐洲的文化和種族史相比擬。只有從這樣的角度來觀察，並以此為依據來研究，才能在中國古代史及其考古遺存的闡釋上取得真正的進展。」
對於李濟思想所散發出的光芒，十年後，有個叫李敖的台大歷史系畢業生，曾作了這樣的評價：「在中國考古家由早到黑髮掘古物的時候，沒有人會想到這種『無聊的』烏龜殼研究會有什麼用，但是這三四十年來的古史研究，竟使我們發現我們民族的臍帶究竟在什麼地方，使我們民族的心胸遙遠的跑到長城以北、玉門關以外，這對民族自信心的鼓舞，總比空頭口號家的『大哉中華』來得實際有效吧？」而「這種想像——一個以國家為基點的學術研究的想像，在中國學人中是鳳毛麟角的，因為這需要一種博大的透視力、遠景的描繪、計畫的構想和對純學術以外的熱情。在這些條件上，李濟是現存老一輩學人中比較接近的一個。例如，他在四十年前就注意到中國民族的移動問題；三十九年前就注意到中國苦力的勞動量問題；三十八年前就注意到外人發掘古物必須留在中國的問題；二十九年前就注意到古物一律不得私人藏有的問題……這些觀點和構想，都是很博大的，都是超乎一般普通學者教授們的『管』見的。這些博大的觀點，自然使具有它們的人，逐漸能從本行的專業，發衍為『科學的東方學正統』，再從而在中國全面的有組織的推進科學思想，以使中國真正達成現代化。」
在所有謬論充棟的李敖言論中，這段論述算是少有的人話。其實，早在1934年李濟發表的《中國考古學之過去與未來》一文，就體現了這一思想脈絡和文化識見，而李濟作為大師之「大」，除了他對考古材料縝密的考證，主要還是體現在他的胸襟、學術眼光與對整個人類文明過去與未來的清醒認識。在考古人類學領域，李濟在初出茅廬，像「剛出籠的包子」滿身熱氣騰騰地走入田野的時候，便極富創建性地提出了如下主張：
一、古物國有，任何私人不得私藏；二、設立國家博物院，獎勵科學發掘，並有系統地整理地下史料；三、設立考古學系，訓練考古人才。
為實踐這三項主張，李濟在清華國學院第一次田野考察發掘西陰村時，就做出了「古物國有」的示範性表率。從他涉足古物那一天始，直到去世，據他的同事、親友及弟子們說，家中沒有一件古物，晚年書房裡只有五隻木雕的猴子，這是因為李濟屬猴，在台北參加了一個猴屬同鄉會而特別製作的。生前藏有近二萬冊圖書無一善本，死後分別捐贈給北京和台灣兩岸的科學、教育機構。
有人認為李濟正是為了實踐他倡導的第二個主張，在史語所創辦的早期，才積極協助傅斯年籌辦中央博物院，並一度出任籌備處主任。只是其間遭逢八年抗戰和顛沛流離，使這一理想未能充分實現。所幸的是，來到台灣後，他的第三個主張和理想得以順利實施——這便是創辦台灣大學考古人類學系。
初到台灣的李濟在朱家驊、傅斯年等人支持下，克服種種困難與阻力，於1949年創辦了台大考古人類學系，並於秋季正式招生。李氏除繼續擔任史語所考古組主任，還兼任該系系主任之職，並聘請史語所同仁董作賓、芮逸夫、石璋如、凌純聲、高去尋等到該系任教。——這是中國科學界第一次在本國土地上把訓練職業考古學家列入大學計畫之內的典範，從而開創了大學教育體系設立考古專業的先河，為中國考古學繼往開來作出了劃時代 貢獻。儘管這一學科創辦之初，限於當時的條件和大眾對這一「烏龜殼研究會」和「刨死人骨頭」工作的陌生與偏見，招生很少，但總算為考古學的未來播下了種子。當時除一個叫喬健的學生自動轉系來到考古人類學系外，首屆畢業生僅有李亦園、唐美君二人。第二屆學生共招收三人，分別是張光直、林明漢、任先民。以後學生漸多，有許倬雲、宋文熏、尹建中、連照美等。這些學生走出台大後，隨著歲月的淘洗磨鍊，大多數成為蜚聲中外的考古人類學家。其中李亦園、張光直、許倬雲等大有青出於藍而勝於藍之勢。
1954年，中國大陸以「漢字落後論」為前提，根據毛澤東在1951年所作「文字必須改革，要走世界文字共同的拼音方向」的指示，延續了幾千年的正體字全部廢止，以拉丁化拼音文字取代正體字的聲浪遍及宇內。這年9月22日，李濟致信正在美國哈佛大學就讀的張光直，說道：「中國學術在世界落後的程度，只有幾個從事學術工作的人，方才真正的知道。我們這一民族，現在是既窮且愚，而又染了一種不可救藥的、破落戶的習慣，成天在那