胡思杜自殺44天後的1957年11月4日，經台灣當局「中央研究院」選舉，由蔣介石任命胡適為「中央研究院」院長。大陸批胡運動與台灣政治集團的內部傾軋，陰差陽錯地使漸入老境的胡適又得到了一次出頭的機會。
1958年4月2日，68歲的胡適告別夫人江冬秀離開紐約辦理私務，8日乘機獨自一人飛抵台北，時已定居台北的胡祖望夫婦、孫子胡復，連同台灣當局要員等500多人到松山機場迎接，場面頗為壯觀。
4月10日上午9時，裝扮一新的胡適來到南港史語所考古館出席「中央研究院」院長就職典禮並發表演說。胡稱自己幾十年來與「中央研究院」一直保持親切關係，因為不僅自己是「中央研究院」歷史語言研究所的通訊研究員，也因為「中央研究院」是許多老朋友心血的結晶，自己對它有不可推卸的責任云云。就職典禮結束後，旋即召開研究院第三次院士會議，以壯聲勢。為顯示對學術界的尊重並給胡適裝點面子，蔣介石攜「副總統」陳誠、張群等一干大員專程趕到南港，親自出席院士會議並致辭。蔣介石認為，既然「中央研究院」為學術之最高機構，當責無旁貸地擔負起複興民族文化的大任，認為「目前大家共同努力的唯一工作目標，為早日完成『反共抗俄』使命，如果此一工作不能完成，則吾人一切努力均將落空，因此希望今後學術研究，亦能配合此一工作來求其發展」。蔣氏在講到胡適「最令人敬佩者即為其個人之高尚品德」後，話鋒一轉，再度將學術研究與政治聯繫起來，謂：
今日大陸上「共匪」以仇恨與暴力，為其一切倒行逆施之出發點，其目的在消滅我國家之傳統歷史與文化，而其重點則為毀滅我民族固有之倫理與道德，因此胡適先生之思想及其個人之德性，均不容於「共匪」，而必須予以「清算」，即為「共匪」摧毀我國倫常道德之一例……意想不到的是，蔣介石期望「教育界、文化界與學術界人士，一致負起恢複並發揚我國固有文化與道德之責任」的說辭，令身旁的胡適大為不快。特別是蔣不合時宜地提出「五四運動」與「打倒孔家店」有功有過，對胡適提倡的「五四價值」、「自由主義」等說辭，於褒中暗含了譏諷、挖苦，而對胡適與台灣島上的雷震等輩搞出的《自由中國》雜誌，且傳言胡在台要組建一個「反對黨」等名堂極不贊成。這一說辭搞得入會者如芒在背，惶恐不安，胡適原本笑容可掬的臉陰沉下來。
此前的胡適儘管在美國生活並不舒心，九年後又因各種風雲交錯重返台灣從國民黨手中謀得一個響噹噹的鐵飯碗，但他並不認為這個飯碗是蔣介石所賞賜便俯首聽命，自輕自賤。待蔣介石講完，梅貽琦向來賓作了一個簡短的致辭後，已是悶氣積胸，頗為惱怒的胡適在最後答謝詞中，毫不客氣地對蔣的言辭進行駁斥，據當時在場的「中央研究院」民族研究所青年才俊李亦園回憶說：
胡院長就職時蔣老總統特別親自來了，來了之後還講話，在他的講話中不知為什麼忽然說到共產黨在大陸坐大可以說與五四運動的提倡自由主義不無關係，這樣的說話對胡先生來說當然是非常尷尬的，因為五四運動跟他有密切的關係，他是重要的推動者。結果老總統講完之後，胡先生站起來繼續答話，他的答話讓大家臉色都凝住了，他一開始就說：「總統你錯了」，在當時那麼威權的時代，他這樣講使全場的人臉色都變白了，氣氛非常緊張，老總統卻很有風度地主持完會議，只是在胡院長任內就未再來過南港了。這一件事，胡院長的表現可以說確實為中央研究院在追求學術自由與獨立上樹立了一個里程碑。
關於這一場景，當時也在現場的石璋如回憶稍有不同，石說：蔣介石那天講了很久，場面熱烈，胡院長一發言就說「總統你錯了」，台下立即鼓掌。在座的學者們認為胡適是個有骨氣、有擔當的人，因為若不是胡適，在蔣介石面前「沒有幾個人敢說這句話的」。
胡適所說的「總統你錯了」，主要是指不應把學術研究與政治捆綁在一起，「反共抗俄」的所謂「使命」，也不應由「中央研究院」這樣的研究機構來承擔。胡適說道：「我個人認為，我們學術界和『中央研究院』挑起『反共復國』的任務，我們做的工作還是在學術上，我們要提倡學術。」
面對蔣介石指責五四運動提倡自由主義與打倒孔家店的問題，胡適自是耿耿於懷，並予以反駁。胡說：「對於打倒孔家店一事，恐怕總統是誤會了我的意思。我所謂的打倒，是打倒孔家店的權威性、神秘性，世界任何的思想學說，凡是不允許人家懷疑的、批評的，我都要打倒。」蔣介石一聽其言，立即怫然變色，站起身便要走，坐在他旁邊的一位隨行官僚（一說張群，另一說陳誠），悄悄伸手拉住老蔣的衣角示意其坐下，蔣強按怒氣勉強坐下，待典禮一結束便迅速離去。
遙想當年，胡適在一篇名為《介紹我自己的思想》一文中，曾向中國的少年讀者宣稱：「從前禪宗和尚曾說，『菩提達摩東來，只要尋一個不受人惑的人。』我這裡千言萬語，也只是要教人一個不受人惑的方法。被孔丘朱熹牽著鼻子走，固然不算高明，被馬克思列寧史（斯）大林牽著鼻子走，也算不得好漢。我自己決不想牽著誰的鼻子走。我只希望盡我的微薄的能力，教我的少年朋友們學一點防身的本領，努力做一個不受人惑的人。」這一點，胡適本人確是做到了。對於這一說法，世人有不同評論，如胡在美國的學生、史家唐德剛就說過，胡適不知不覺地被他的老師杜威這個糟老頭子牽著鼻子走了一輩子。唐氏之說或可再討論，但至少胡在蔣介石集團之間大體的是做到了。
1959年，作為新任「中央研究院」院長、學界領袖胡適，公開反對蔣介石連任「總統」，對蔣氏為謀求連任而冒天下之大不韙，置黨章國法於不顧，欲強行「修憲」的做法更是大加聲討。按1948年制定的《中華民國憲法》，每屆總統任期六年，連任不得超過兩次。當年擬定《憲法》的張君勱等人考慮到一個沒有限期的總統，等同於王朝世襲，因而特別加以限制。跑到台灣的國民黨政權仍以中華民國正朔自居，因而當年這部《憲法》仍然發生效力。1954年蔣介石獲得第二次連任，到1959年年底已是五年，眼看大限已至，下次選舉應該自動退選，但蔣介石與國民黨內部一部分拍馬溜須者竟置《憲法》於不顧，公然支持蔣介石參選，並欲修改《憲法》。為此，胡適在1960年2月20日公開發表聲明，反對蔣介石違背《憲法》三次連任「總統」，並拒絕即將召開的「國大」主席團主席之職。對於胡氏的「犯上」舉動，蔣介石大不痛快，其子蔣經國更是異常惱怒，甚至有「收拾」胡的打算，只是忌諱胡適所具有的儒林盟主地位和非凡的國際影響而遲遲不敢動手。端坐在台灣「中央研究院」院長椅子上的老胡適，在強烈呼籲並制止蔣介石連任「總統」的同時，並未忘掉一介書生的本色，於繁雜的公務之餘，仍窩在書房對研究了大半生的神會和尚繼續窮究細研。1960年2月9日，胡適在「中央研究院」歷史語言研究所演講他的新作《禪宗史的假歷史與真歷史》。20日，出席「國民大會」第三次會議。3月10日夜，所著《神會和尚語錄的第三個敦煌寫本：南陽和尚問答雜征義——劉澄集》終於脫稿。正是這部耗損了胡適大量心血的著作，使其在脫稿的當夜即心臟病複發，延至19日，病情加重，不得不入住台大醫學院診治，直至4月5日小痊出院。
1961年1月28日，台北「國家長期發展科學委員會」舉行第五次全體委員會議，時台海危機已趨平緩，台島內的科技經濟在美國的大力援助、扶持下，已擺脫了戰後陰影開始復甦，國民黨對台灣的統治地位更加穩固。正是這諸多的緣由，胡適在致開幕詞中興緻勃勃，充滿樂觀與信心地說道：「這是一個起點，一個有希望的起點。在這樣艱難的情形之下，我們能夠有一億一千萬台幣用在『長期發展科學與技術的研究』的開山工作上面，我們至少可以說科學已開始得到『重視』，開始得到『資助』了。我們當然不可感到滿足，我們至少應該感覺我們的責任之大。我們應該感覺古人說的『任重而道遠』五個字的意義。」又說：「兩年的工作，只做了一點探路的工作，開路的工作。從今天起，我們可以平心靜氣想想這條『遠路』的藍圖了。」這是胡適晚年精神最好，內心充滿希望與夢想，體力也呈迴光返照狀最為充沛的時期。自此之後，便是「夕陽無限好，只是近黃昏」了。
這年的2月25日夜，胡適心臟病複發，急送台大醫院救治。4月22日，病情好轉並出院，遷居台北福州街26號台大招待所療養，6月25日回到南港「中央研究院」上班。可惜好景不長，7月間又患急性腸炎，大鬧水瀉。9月3日，胡適在致好友李書華信中帶有哀惋之情地說：「我是2月25日夜抬上汽車，抬進台大醫院的急救處的。我在醫院住了56天，出院後就在台北借房子住了兩個月（因為南港附近沒有醫院）。到七月初又因腸炎，大鬧水瀉，瀉的水分幹了