為了儘快還清「明快打字機」欠下的債，不願受約束的林語堂居然接受了聯合國科教文組織美術與文學組主任之職。
離美赴法前，林語堂吩咐廖翠鳳賣掉了大部分家私，先還部分欠款。啟程前兩天，他突然收到美國稅務局的來信，說他必須繳清3萬多美元的個人所得稅才能離開美國。「我的天啦！」林語堂頹然地坐下，雙手直拍額頭。他領了《蘇東坡傳》的部分版稅，又向盧芹齋借了錢，才得以啟程前往巴黎。
科教文組織的工作薪水高，可實在是累人。忙不完的會議、寫備忘錄、應付人事問題、準時上下班，林語堂已經50出頭，精力、體力上都吃不消，每日回家，靴子一脫躺在沙發椅子上，動也不肯動。短短兩年，心力交瘁的林語堂慢慢顯出老相來，頭髮脫落、禿頂，身體乾瘦得像縮了水的皺皮桔子。
1949年，林語堂不堪忍受，便辭去了科教文的工作，搬到法國南部坎城的一幢小別墅「養心閣」里修養。那是盧芹齋的私產，本是設計給4個女兒住的，但是女兒女婿各自忙事業，誰也不來，房子空閑著，由一對園丁夫婦料理。
「養心閣」坐落在小山坡上，不遠處便是碧波粼粼的地中海，院子里種滿了高大挺括的棕櫚樹和色彩艷麗的九葛丹，有胭脂紅、磚紅色、銅橙色等，蜜蜂在其間嗡嗡作響。「久在樊籠里，難得返自然」，林語堂喜歡上這裡的環境，恢複了寫作生涯。
傍晚時分，他到露天的咖啡館喝一壺濃郁的咖啡，或是在岸邊看漁人滿載而歸的喜悅，彷彿回到了年幼時的坂仔，日出而作，日落而息。這裡的生活花費低，又有新鮮的魚類、瓜果蔬菜，林語堂忘卻了巨額的欠款和外界的喧囂，很安靜，很閑適。
翠鳳經過這幾年的奔波，心灰意冷，躲進了自己的小世界，每天只是重複地念叨：「我們沒有錢了，我們欠人家錢。我們從這裡搬走之前，一定要把椅套洗乾淨還人家。」林語堂心疼地抓住她的手說，「鳳啊，我們從頭來過。你別擔心，我這枝邋遢講的筆還可以賺兩個錢。」
林太乙陪著父母在坎城住了一些日子。一天午後，兩人在花園裡曬太陽，林太乙突然問：「阿爸，人死後還有沒有生命？」
「沒有。」林語堂看看四周，堅決地說，「你看這花園裡處處都是生命，大自然是大量生產的。有生必有死，那是自然的循環。人與蜂有什麼分別？」
他又引用了蘇東坡的一首詩：
人生到處知何似？
應似飛鴻踏雪泥。
泥上偶然留指爪，
鴻飛那復計東西。
林太乙望著父親鬢白的頭髮，炯炯有神的眼睛，心裡一陣凄涼，她想起父親寫過：「我愛春天，但它太嫩了。我愛夏天，但它太傲了。所以我最愛秋天，因為秋葉泛黃，氣度醇美，色彩富麗，還帶著一點悲哀的色調，以及死亡的預感。它金黃的艷色不道出春天的無邪，不道出夏天的權威，卻道出了晚年的成熟和溫靄智慧。」成熟是時光的消逝，過去了，就永不會再回來。
「人生既然這麼短暫，那麼，活在世界上有什麼意義呢？」太乙無可奈何地問。
「我向來認為生命的目的是要真正享受人生，」林語堂說，「我們知道終必一死，終於會像燭光一樣熄滅，這是件非常好的事情。這使我們冷靜，而又有點憂鬱；不少人並因之使生命富於詩意，但是最重要的是：我們雖然知道生命有限，仍能決心明智地、誠實地生活。」
他默然半晌，接著說：「蘇東坡逢到悲哀挫折，他總是微笑面對。」
林太乙不期然地對上父親的眼，她知道父親的所指，外在的困頓都不能叫這位老人低頭，微笑樂觀，一切終會雨過天晴。
在坎城，林語堂一連寫了《唐人街》、《老子的智慧》、《美國的智慧》等書。雖然銷量不太理想，但畢竟是賺了錢，慢慢把欠銀行和盧芹齋的錢還清了。
隨後，全家人又遷回了紐約。林語堂常常要到哥倫比亞圖書館查資料，不方便用自己的名字，太乙幫他辦了張借閱證，化名林語珠女士。
20世紀50年代初，林太乙和丈夫黎明從模里西斯回美國，工作難找，就和林語堂商量辦本和《西風》類似的文藝類刊物，取名《天風》。紐約生活不易，林語堂的生活壓力也很大，欣然同意了。他們借了《中央日報》在唐人街辦公室的一張寫字檯作營業點，辦公基本上在林太乙的家裡。
林太乙的女兒還小，常常傷風，她忙完工作忙家裡，累得夠嗆。林語堂不忍心女兒吃苦，從編輯、校對到包裝、開車送到郵局去寄等粗重體力活都一手包辦。
1953年，他出版了長篇小說《朱門》，寫「回漢衝突、腐敗政治，愛人的智慧」，因為和早前的《京華煙雲》、《風聲鶴唳》都表現了相同的人生理想和文化理想，所以被譽為「林語堂三部曲」。這本書的銷量很好。
同年，林語堂和賽珍珠夫婦絕交了。
20年前，是賽珍珠發現了林語堂，並幫助他走向了國際文壇。林語堂對這份人情常懷感恩，拒絕了其他出版商的高薪誘惑，把歷年來的著作一本不落地交給庄台公司出版，成了公司的台柱子。發明「明快打字機」那會兒，賽珍珠拒絕幫忙，林語堂雖然覺得自尊心極受打擊，但是轉念一想可能是美國人的思維在起作用，鬱結了一段時間也就忘卻了。一次偶然的機會，他發現賽珍珠夫婦在版稅上耍了很大的花招。按照當時的慣例，書的海外版和翻譯版，原出版公司抽10%，而庄台公司竟然抽達50%，有5倍之多。他的書被譯為十幾國文字，海外銷售量巨大，這許多年來，吃的版稅虧真不知有多少。而且，書的版權還屬於庄台公司。
簽約時，林語堂和賽珍珠的友誼正稠，對庄台根本不設防，連契約書都沒有細看就簽了合同。整整過了19年他才幡然醒悟，「朋友開書局也是為賺錢的。」正如郁達夫所說：「林語堂生性憨直，渾樸天真……惟其憨直，惟其渾樸，所以容易上人家的當。」
林語堂最不堪朋友的欺瞞，不怒則已，一怒驚人。他委託律師向賽珍珠夫婦索要著作權，態度強硬，一點迴旋的餘地都沒有。華爾希又驚又怒，賽珍珠甚至打電話給林太乙，問「你父親是不是瘋了？」
幾個月之後，林語堂要到南洋大學當校長，打電報給賽珍珠辭行，賽珍珠沒有回覆。林語堂痛心無比：「我看穿了一個美國人。」
20載的跨國友誼至此義斷情絕。
賽珍珠去世後，幾個養子為了爭奪她留下的700萬美元遺產，拿她不為人知的隱私說事，這大概是她做夢也沒有想到的吧！
如斯的婚姻是林語堂的另一件心病。
林如斯是廖翠鳳結婚4年才懷上的頭一胎，生產時難產，母女倆險些都丟了性命，所以夫妻兩人很寶貝這個來之不易的女兒。如斯從小就聽話，成績好，又漂亮，像個小大人，處處能幫父母手，沒讓林語堂費半點心。
如斯從陶爾頓學校畢業後對父母說，她不願因為是林語堂的女兒而享受特殊待遇，她要回國，雖然沒有念過醫學，但還是可以盡一份力。林語堂嘉許女兒報效祖國的宏願，出面聯繫了昆明軍醫署，讓她在舊識林可勝醫生手下做事。不久，如斯認識了汪凱熙醫生，林語堂夫婦都很滿意這個年輕上進的小夥子，雙方家長商定好，讓他們回美國就結婚。
誰知就在大辦訂婚宴的前一天，文靜內斂的如斯突然和一個美國青年狄克私奔了。聽到這個消息，林家上下驚如晴天霹靂。請帖已經發出去，新朋舊知該來的也來得差不多了，一時間議論紛紛，說什麼的都有。夫妻倆只得裝出笑臉應付各種誹謗、猜測、嫉妒、流言。
狄克是個不務正業的小混混，仗著家裡有幾個錢，胡作非為，在中學時就被學校開除，靠父親養活。如斯去昆明前就認識他了，只是一般朋友，為什麼會和他私奔，林語堂想破了腦袋也想不通。
從此如斯居無定所，過的是窮困落魄的生活。她說狄克要寫作，要這樣要那樣，但沒有一件幹得好的。
林語堂不放心如斯和這樣不堪的人一起，可女兒喜歡，做父親的能有什麼辦法？他背地裡對翠鳳說：「憨囡囡，怎麼做出這樣的事來？我現在比以前更加疼她。我捨不得。」每次如斯和狄克回家，林語堂交代翠鳳什麼也不準說，還要格外整出一桌好菜，待女婿如上賓。「吃，吃啊！」夫妻倆熱情地勸，裝出喜歡的樣子，生怕女兒心裡難受。
這樁不體面的婚事很快走到了盡頭。1955年，如斯和狄克莫名其妙地離婚了。如斯生性敏感，有什麼事都悶在心裡，拋家棄父卻換來這麼個結局，她接受不了，從早到晚發獃，像沒有靈魂的木偶，扯一下動一下。狄克沒有付分文的贍養費，如斯不願意去要。林語堂勸她冷靜想想，和人爭錢固然討厭，但是人總要吃飯，總要活下去，沒有錢是不行的。如斯聽了這話，很激動地痛哭流涕，說她不要討價還價，不要和狄克有任何聯繫，她辦不到。林語堂別