晚年金岳霖曾擔任哲學所的副所長，不多久，哲學所就開會，解除他的行政職務，評為一級研究員。金岳霖認為一級研究院當然是高級幹部。一次，金岳霖生病住進了首都醫院，醫院將他安排在一間前後都是玻璃通透明亮的大病房。金岳霖怕光，所以他想要一個單間，首都醫院不同意，因為他不是高級幹部。後來金岳霖就轉入了郵電醫院。出院後，他向梁思成、林徽因的兒子梁從誡提及此事。林告訴金岳霖，他根本不是高級幹部。金岳霖才恍然大悟。
晚年金岳霖和林徽因的兒子梁從誡一家住在一起。而梁從誡叫他「金爸」，梁家後人以尊父之禮相待。金岳霖很依賴梁從誡，他不時會提高嗓門喊保姆：「從誡幾時回來啊？」隔一會兒又親昵地問：「從誡回來沒有？」難怪他不時顯出一種欣慰的神情。