1949年9月，隨著國軍退卻與解放軍節節勝利，未受中共高層喜歡的原清華哲學系主任馮友蘭知趣地提出辭職。根據吳晗等人的意見，由與中共交情尚好的金岳霖繼任清華哲學系主任。幾個月後，老金官運亨通，又被任命為清華文學院長兼校務委員會委員，並有幸參加了《毛選》一卷的英文版翻譯定稿工作。
1952年院系調整，全國六所大學（即北京大學、清華大學、燕京大學、南京大學、武漢大學、中山大學）的哲學系合併為北京大學哲學系，老金調任北大哲學系主任。1953年3月5日，聲震寰宇的斯大林撒手歸天，毛澤東前往蘇聯駐中國大使館弔唁。3月9日，毛髮表了《最偉大的友誼》一文，以此悼念斯大林。老金覺得無產階級最重要的領袖去世了，思想上「開始有保衛黨的要求」。是年，在朱伯昆、任繼愈根據上面指示具體操作下，老金加入了中國民主同盟，後曾任民盟中央常委等要職。
據老金說：「解放初，張奚若忙得不可開交，梁林參加國徽設計工作也忙得不亦樂乎。我好像是局外人。有一次在懷仁堂見到毛主席，他對我說：『你搞的那一套還是有用的』，這我可放心了，我也就跟著大夥前進了。」
老金的心一放下，不是跟著「大夥前進」，而是後來者居上，衝鋒在前，健步如飛，很快超越了梁思成、林徽因等「大夥」，達到了同行們仰慕的高度和深度。
據當時北大哲學系學生羊滌生等人回憶：那時的老金已年近花甲，視力衰退，精力大不如前。但「在這段時期里，金老擔負繁重的行政、教學科研工作，又要孜孜不倦學習馬列主義，還要以他切身經歷教育同學，和與同事促膝談心，互相幫助，共同進步。金老不服年老，始終保持著高昂的革命激情。因為金老已下定決心，終身獻給黨的教育事業。金老的一次發言是我們永遠難忘的，他緊捏著拳頭，捶著桌子，鏗鏘有力地說：『我決心在黨和毛主席的領導下，做一個真正的人民教師！』語言剛勁有力，激情奔放，它打動了在座的師生，大家含著熱淚迎上去表示歡迎，這時金老早已熱淚盈眶。」
1955年春，老金奉調到中國科學院哲學研究所籌備會，9月被任命為中國科學院哲學研究所副所長兼邏輯研究組組長。老金晚年在回憶從清華到哲學所這段生活時曾說：「解放後調整到北大。周培源先生說要我做北大的哲學系主任。我說我不幹，還說艾思奇擺在那裡，不去找他，反而來找我。周培源說：『要你做，你就得做。』我就做起系主任來了。不久就有人當面大罵我一頓。這樣的事，在舊社會不是開除他，就是我辭職。在新社會怎麼辦呢？不知道。結果他不走，我也不辭。事也辦不了，更談不上辦好辦壞。」又說：「到了哲學所，另一副所長張鏞說我應該坐辦公室辦公。我不知『公』是如何辦的，可是辦公室我總可以坐。我恭而敬之地坐在辦公室，坐了整個上午，而『公』不來，根本沒有人找我。我只是浪費了一個早晨而已。這以後沒有多久，哲學所的同志作出決議。解除我的行政職務，封我為一級研究員。顯然，他們也發現我不能辦事。如果我是一個知識分子的話，我這個知識分子確實不能辦事。」
據查，老金所說的解除職務一事是他的糊塗或者誤會，當時的哲學所沒有，也無權解除老金的行政職務，只是決定老金不必每天到所坐辦公室辦「公」了。
據可考的資料顯示，老金申請加入中國共產黨的具體日期是1956年9月29日，他在志願書上寫道：「中華人民共和國成立後，人民確實站起來了。……在這樣一個人口眾多的大國里，我認為我們非有相當多的人無條件地服從黨的領導、接受黨的任務不可。我要求把自己投入到這個偉大的革命建設潮流中，因此，我申請入黨。」同時，老金還寫道，有幾本馬列的書對自己影響很大，如《實踐論》、《唯物論與經驗批判論》、斯大林的《辯證唯物主義和歷史唯物主義》、《馬克思主義和語言學問題》等等。
鑒於老金的思想境界已臻化境，12月11日，中國科學院黨委批准其為中共預備黨員。從此，老金「從民主、愛國主義，轉變為共產主義，終於成為共產主義先鋒戰士」。
由一名自由知識分子一夜間變成「戰士」的老金，深知自己腦海里還殘存著當時仍在中山大學任教的陳寅恪所堅守不移的那種不合時宜的「獨立之精神，自由之思想」，於是，下定決心要洗心革面重新做人，主動放棄青壯年時代立志研究的邏輯哲學，開始「如饑似渴地學習馬列主義、毛澤東思想，認真解剖自己，以提高思想覺悟」，並與「舊的自己」和自己搞的那一套哲學體系毫無保留地、徹底地決裂。同時公開表示：「學好馬列主義、毛澤東思想，一年不行，用二年；二年不行用五年；五年不行用十年；十年不行用二十年！」
誓要做一個黨指向哪裡就打到哪裡，刀山火海也敢闖的無產階級先鋒戰士。
1956年除夕，毛澤東請金岳霖、章士釗等幾位儒生兼同鄉吃飯。席間，毛對老金道：「數理邏輯還是有用的，還要搞。希望你寫個通俗小冊子，我還要看」。據老金後來撰文回憶說，自這一次開始，至「文革」爆發前的十年間，毛主席一共請他吃過4次飯，還知道他是湖南人，並專門用筷子夾給他幾個炒得黑紅、個頭較小的尖辣椒品嘗。對於這4次吃飯，老金終生念念不忘，即使到了晚年思維頹衰得過去的事都已忘卻，對此事卻牢記心懷。每向人言及，總是神情無比得意和自豪——或許，這是老金一生中最感榮耀的事情之一吧。
和毛主席一起吃過飯的老金，立志改造思想與世界觀的決心雖大，但又總擺脫不了自由知識分子的名士氣與頭腦中固有的思想、生活觀念。新式的馬列主義、毛澤東思想學了好長時間也沒有學好。在中央實行的思想改造運動之時，老金曾誠惶誠恐地檢討說：「在日本佔領北京之前，我有一次碰見錢稻孫，他那時是清華的圖書館長。我表示非抗日不可。他說萬萬抗不得，抗，不只是亡國，還要滅種。我很想打他，可是受了『不能打』這一教訓的影響，沒有打。」老金檢討畢，滿以為自己在民族立場上是站得住腳的，結果遭到聽眾一頓劈頭蓋臉的反駁和指責，大意是：「蔣介石讓美國船在長江自由航行，你一句反對話都沒有說」等等。老金的「洗澡」算是白洗，仍然灰頭土臉，不能擠入純潔的無產階級隊伍中來。幾十年後，金岳霖在回憶往事的時候還說：「我不得不承認在這一點上，我確實喪失了民族立場。群眾的眼睛是雪亮的。」
晚年的老金曾對人說，他在1949年以前共寫過三本著作，「比較滿意的是《論道》」。這本書是他一生中最看重的一部。可當政治風潮來臨的時候，老金再也不敢說「滿意」，而要視之為狗屎堆了。1958年2月，老金寫了一篇2萬多字的文章，按照馬列主義觀點，對自己一世英名之作《論道》進行嚴厲的批判，可能批判得還不夠火候，此文遲遲未得發表。老金一看文章不能發表，索性一不做二不休，來個破釜沉舟，直接向他的上級黨委寫起檢討書，以示痛心疾首與洗心革面的決心。老金說：自己頭腦的資產階級思想阻礙了邏輯組對辯證邏輯的學習和研究，「我口頭上贊成學習辯證邏輯，可是骨子裡是另外一件事。」關於辯證法或辯證邏輯和形式邏輯的關係問題，就好些舊邏輯學家說，仍然「茫然」。辯證法「好像懂得一些」，辯證邏輯他們「大都不懂」，既然如此，二者的關係「就很難討論」云云。
1959年5月，金岳霖在這年的《哲學研究》第5期，發表《對舊著（邏輯）一書的自我批判》，再次對自己過去的哲學觀進行嚴厲的批判。年底，哲學研究所根據上級部署開展「反右傾運動」，老金即刻寫了一篇長文《自我檢查》，除了對自己原來的哲學觀進行批判，還對現實中加入中共之事有些神經質地提出疑問和交待，說自己入黨動機不純，「很可能用自欺的方式來欺人。」老金冷不丁地拋出的這個檢討，搞得各級黨組織頗為驚恐與糊塗，以為他背後有什麼來頭，或在思想深處潛伏著什麼不可告人的目的，只得對其言行更加提心弔膽地注意，並對其加大考察力度。好在老金只是和尚念經一樣，按照經卷的意思隔三差五地對自己批判一次，沒有做什麼出格的事和發表與時代相背的言論，這樣到了1960年9月29日，即新中國成立11周年紀念日前夕，中科院黨組織討論決定，將老金預備黨員中的「預備」二字拿掉，正式批准為中共黨員。
老金成為中共正式黨員的事傳到毛澤東耳中。年底，毛澤東請老金到家中吃飯，在座的客人有章士釗和程潛，均為湖南人。老金去的最晚，一進門，毛向章、程介紹說：「這是中共黨員金岳霖。」一句話說得老金心潮澎湃，感動得熱淚盈眶。席間，毛對金說：「你的檢討（南按：一年半前老金髮表的《對舊著（邏輯）一書的自我批判》一文）我看了。在新的情況下，對舊的東西就有點討厭了。不過……」毛沒有說下去，其他人也沒有追問。後來老金回憶說：「毛主席