林太乙回憶，1938年，林語堂總共收入三萬八千美元，全家開支及接濟國內難民、親戚花去一萬二千美元。林語堂對中國貨幣有信心，1939年初，他用一萬六千美金兌換了十萬銀元，存在中國銀行；後又用兩萬三千美金兌換十三萬銀元，分別存七年、十年、十四年，預備每個女兒22歲時，都可以領得十萬銀元。誰知隨著抗戰的深入，國內通貨膨脹越來越厲害，林語堂的幾萬美金變成廢紙。
1943年，林語堂到西安孤兒院看孤兒們的歌舞表演，其中一位會跳舞又會彈鋼琴的12歲女童引起了他的注意。他當即認養了這個叫金玉華的小女孩，並於抗戰勝利後，幾經周折將她帶到美國。但因為金玉華哥哥及廖翠鳳的反對，他未能收養金，只能任她回國。為此，林語堂傷心不已。
1947年，林語堂終於將「明快」中文打字機研發成功，他因此花去十幾萬美元。然而，由於印表機造價昂貴，且中國正進行內戰，沒有一個商人願意生產。林只好賣掉了紐約的公寓和傢具，用於償還債務。此時，他準備去巴黎聯合國教科文組織任職，就在準備離美時，他收到了美國稅務局發來的信函，要求他繳清歷年欠繳的個人所得稅3萬多美元，否則不能離境。幸好好友借給他一筆錢，再加上及時收到的《蘇東坡傳》的版稅，才解了他的燃眉之急。
1954年，林語堂應新加坡華僑的邀請，出任籌建中的南洋大學校長。林語堂帶著次女林太乙夫婦協助其辦校，雄心勃勃。但到新加坡不久，林就發現學校的工程並沒有按照他的計畫進行，而且，經費嚴重不足，發起人、橡膠業巨富陳六使承諾認捐的170萬美元變成了40萬美元，其他人則不願支付認捐的款項。接著，有小報造謠說林是美國特務，浪費大學的錢，甚至說他英文蹩腳。林收到匿名信，聲稱他不辭職就要他的命。林家只能從為校長提供的獨立住所搬進了公寓，林太乙告訴幼兒園的老師，除非她親自去接女兒，不能讓孩子跟其他人走，廖翠鳳嚇得精神差點崩潰。英國政府只能派一名便衣保鏢跟著林語堂。接著，董事會拒絕林參加會議，並對林經費的使用提出質疑，甚至要求他開列準備購買的九萬本圖書的書名和作者清單。林對此忍無可忍，一周後與隨其而來的11名教職員提出辭職，離開了新加坡。
黎東方回憶，他和林慶年奔走幾天，促使林語堂與新加坡華僑會主席陳六使坐下將事情談開來。不料，剛開始談話，林語堂便用一連串的「我問你」，將陳嚇得由客廳退至廚房，從廚房由後門悄悄溜走了。黎說，這是林語堂的「真」，這種真是人格上的成功，但從事業上來說又當別論。
由於報紙歪曲事實，林語堂對新加坡的報紙耿耿於懷，尤其是《南洋商報》。林離開新加坡時，《南洋商報》的採訪主任余敬豪在機場採訪他，林問余是哪家報社的，聽余回答是《南洋商報》，他頓時怒火中燒，雙方緊握成拳，在余面前揮舞著喊道：「好！《南洋商報》，看這個！」
抗戰期間，林語堂的長女林如斯回到國內參加抗戰，與軍醫汪熙凱相識相戀。抗戰勝利後，二人準備結婚。不料，就在訂婚的前一天，林如斯與一個美國同學的哥哥狄克私奔。當時，林家已經廣發請柬，請親友來參加長女的訂婚宴，林頗為難堪。狄克是一個廣告公司老闆的兒子，初中便被學校開除，沒有工作，長相平凡，但頗有口才。林語堂認為狄克靠不住，很為女兒擔憂。果然，日後林如斯生活極不安定，常常遷居。1955年，林如斯與狄克離婚，兩年後，生病入院。據林太乙回憶，這種病大概是官能性的毛病，由於腦部構造損壞所致。此後，林如斯「徘徊在接受現實與脫離現實之間」，好的時候便去工作，壞的時候則沉浸在自己的世界裡，無論林語堂夫婦如何勸解都無濟於事。後來，年邁的林語堂夫婦只能讓女兒住在身邊，便於照顧。1971年，林如斯投環自盡，林語堂傷心不已，五年後，他亦撒手人寰。林太乙說：「姐姐掏去了他的心靈。」
1933年，蕭伯納到上海，在宋慶齡的住宅與史沫特萊、蔡元培、魯迅、宋慶齡、伊羅生、林語堂合影。這張照片多次刊於報端，但林語堂與伊羅生都被抹去了。直到宋慶齡去世，新華社重新發布這張照片時，才恢複了照片的原貌。