父親在一九六五年，他七十歲時回台北定居，主要的理由是他對台北有一種親切之感。他在美國、歐洲住了三十多年，有一次到台北訪問，聽見人們講閩南話，非常高興。他說：「我來台灣，不期然而然聽見鄉音，自是快活。電影戲院女招待不期然而說出閩南話，坐既定，隔座觀客，又不期然說吾閩土音。既出院，兩三位女子，打扮的是西裝白衣紅裙，在街中走路，又不期然而然，聽他們用閩南話互相揶揄，這又是何世修來的福分？
我們漳州民間，窮苦者什之一，富戶劣紳亦什之一，大半耕者有其田。但是生活水準，教育普遍自不如今日之台灣。由是，每每因鄉語之魔力使我疑置身故鄉之時，又覺駭異二事。一、這些鄉民忽然都識字，而且個個國語講得非常純正，這不是做夢嗎？又路上行人，男男女女，一切洋裝、村裝婦女，我所疑為漳州婦女的，又個個打扮得那樣漂亮，紅紅綠綠，可喜娘兒一般，與吾鄉少時所見不同，由是給我一種恍然隔絕人世可遇而不可求的美夢。」
父親對台北的親切感使他決定回來定居，雙親是在陽明山租了一幢房子住。後來，蔣介石表示要為他們建築一幢房子，父親接受了。這是他生平惟一一次接受官方的恩惠，蔣介石並且請他任考試院副院長，父親婉辭了。
父親的房屋位在陽明山仰德大道。房屋是他自己設計的，沿著大道有一堵白色的圍牆，中間有一扇紅色的大門，踱過精緻的花園，穿過雕花的鐵門，是個小院子，院子中有樹，有個小魚池。房屋右邊是書房卧房，中間是客廳飯廳，陽檯面對綠色的山景。他說，「宅中有園，園中有屋，屋中有樹，樹上有天，天中有月，不亦快哉！」
父親在台北的日子過得很快樂，他忙著寫作，為「中央社」寫的專欄名為「無所不談」。
原來，一九六四年秋，馬星野先生在巴拿馬擔任「大使」五年之後，受命出任「中央通訊社」社長。十一月中旬，他自巴拿馬返台，路過紐約。某一晚上，在宴席上，他向父親提出請他為「中央社」寫專欄。父親允予考慮。他自一九三六年赴美專著英文書籍，中文寫作此調不彈已三十年。現在有機會復操舊業，他「不免見獵心喜，欣然答應」。馬氏從台北寫信給他說，專欄內容，無所不談，沒有限制。父親即以「無所不談」四字做專欄的稱呼。他在該欄第一篇「新春試筆」中說：「承星野兄之好意，囑我撰稿。政治既不足談，惟談文藝思想山川人物罷了。我居國外，凡三十年，不教書，不演講，不應酬，不投刺，惟與文房四寶為老伴，朝於斯，夕於斯，樂此不疲，三十年如一日。星野兄叫我擁重兵，征西域，必謝不敏。叫我揮禿筆，寫我心中所得，以與國內學者共之，則當勉強。」
此專欄自一九六五年二月十日開始發稿，每月四篇。在台灣，有十三家報紙訂戶，在國外，有港、菲、泰、美洲（紐約、舊金山、多倫多）等十二家報紙訂用，同時刊出。「無所不談」的讀者，當在五百萬人左右。父親一共寫了一百八十多篇。後來，台灣文星書店彙編出版，為第一第二兩集。（一九七四年，開明書店出版《無所不談》單行本。）下集中，父親有篇自序，說：「這些文章，第一部分是主張『溫情主義』，反對宋明理學。希望大家能明孔孟並非程朱，程朱也並非孔孟。又一部分，是講讀書的旨趣，及正當方法。大部分，是比較輕鬆幽默的文字，這種文字，庄諧並出，台灣還沒有人敢寫。」
一九六九年，父親繼羅家倫為台灣筆會會長。次年六月，亞洲作家第三次大會由中國主辦，在台北召開。身為筆會會長，父親身當其沖，責任艱巨。事務由王藍、殷張蘭熙、姚朋負責處理。參加會議的國家和地區有十八個，出席代表一百三十多人，大多是國際知名的小說家、詩人、劇作家和散文家。
父親代表東道主致開幕詞，他說：「這是一個考驗人類靈魂的時代，但也不必憂愁。一個懷疑自己的文化，絕不能繼續存在。」他希望亞洲的作家要「分辨永恆的真理與短暫的時間，存古創新，堅定地站在人性的基礎上，抵抗各種邪說的狂風。」
在最後一天的會議中，日本代表佐藤亮一就翻譯問題發言。這位翻譯過一百本書的名教授曾將父親的《京華煙雲》等作品譯為日文，他讚美父親的作品「優美絕倫」。他說，他在翻譯過程中，有時不免為同情書中主角的悲慘命運而淚隨筆下。
同年，七月底至八月初，國際筆會第三十七屆大會在漢城召開。父親是韓國筆會所邀請的貴賓，韓國各大報幾乎都把父親到達的新聞刊在第一版。父親在國內數十年前有「幽默大師」之名，這次大會的主題：「論文學中的幽默」，好像是為他而設的。在他演講結束之後，掌聲如雷。作家姚朋（彭歌）回憶說，當時他想我們文壇上，作家能為世界各國人士所敬慕的，恐怕只有一個林語堂了！
父親在陽明山居住的歲月，更為香港中文大學編纂《林語堂當代漢英詞典》，在一九六五年底父母親到香港來看我們時，就與中大校長李卓敏談到他終生的抱負，即編纂一部適應現代需要的漢英詞典。當時只有兩種漢英詞典在國際間流行通用。一是一八九二年翟理斯（HerbertA.Glles）編的《漢英詞典》（「ese-EnglishDiary」），以及一九三二年麥氏（R.H.Mathews）編的《麥氏漢英大辭典》（「Mathews,ese-EnglishDiary」）。這兩部字典已經不足以應付當代的需要。一九六七年春，父親受聘為中文大學的研究教授，主持詞典的編纂工作。資料的收集、查核、抄寫等工作，由一小組人員在台北擔任。
在台北雙城街的辦公室工作人員有馬驥伸、黃肇珩，他們擔任收集資料、查核，後來添了陳石孚，他在英文方面有所貢獻。
父親認為編詞典的工作「如牛羊在山坡上遨遊覓食，尋發真理，自有其樂。」事實上，這分工作的龐大艱難，也許連他自己都沒有料到。
他擬了詞典的藍圖，即編輯體例的概念，與馬驥伸、黃肇珩商量，要他們仔細研究，提出意見。最初六個月，大概都花在體例問題上，父親不憚繁瑣，一再提出修正意見，經過討論，最後決定了「大樣」。這時，編輯小組開始試稿。他們幫父親選擇中文單字和詞句，加以注釋，寫在單張的稿紙上面，並依國語注音符號的次序排列起來。這一切作好之後，把稿子交給父親，由他審定，再譯成英文。
每天七八個，甚至十個、十二個小時，他都坐在書桌前，用手寫出每個字和每個詞句的英文意義。這種繁重的工作成年累月地進行。凡在草稿中有疑問，他必反覆問明出處、用法。偶爾觸發靈感，想到佳妙詞語，他便撥電話問辦公室的同仁，是否已採錄。譯到得心應手，他會將紙片交司機送到雙城街，供大家共賞。所有原稿自始至終他都一一過目、修改，並且一校再校。
工作雖然忙碌，但日子也過得很快樂。家裡有傭人，母親不必再自己操勞家務。早上有人挑剛剛從山上砍下來的竹筍來賣，中午殺一隻雞燉湯吃，那是幾十年來沒有嘗到的美味！進城吧，到圓環去吃蚵仔煎、炒米粉，或是去「一條龍」吃餃子。要不然換換氣氛，到統一大飯店的咖啡室飲一杯咖啡，吃一塊奶油蛋糕。
他也喜歡逛街，有一回他跨進五金店的門，買了一把鎚子、一圈銅絲，和不少可用而不必要用的鋼鐵器物，原因很簡單，起初倒無意要買什麼。可是店主是一口真正的龍溪話，普通的閩南話，都有多少縣分的腔調不同，生為龍溪人，聽到真正的故鄉的音調，難免覺得特別的溫情。他們一談談到漳州的東門，又談到江東大石橋，又談到漳州的鹼水桃、鮮牛奶，不覺一片兒時的歡欣喜樂，一齊湧上心頭。誰無故鄉情，怎麼可以不買點東西空手走出去？於是他們做一段小交易，拿了一大捆東西回家。
在台北，父親有許多老朋友，也交了許多新朋友，黃季陸、羅家倫、吳大猷、劉紹唐、查良釗、蔣復璁、沈剛伯、毛子水、李濟、吳經熊、張大千、錢穆、徐吁、劉甫琴、沈雲龍、謝冰瑩、阮毅成、錢思亮、何容、黎東方、陳石孚、魏景蒙、葉公超，只不過是許多朋友中的幾位。故宮博物院院長蔣復璁常到家裡來訪。有一次，父親在書房工作，傭人進來說，「蔣院長來了。」
「請他等一等」，父親說，過了一段時間才走到客廳，赫然發現是行政院長蔣經國，他事先沒有通知就來了。以後他也再來過幾次。
比較年輕的朋友有王藍、姚朋、殷張蘭熙、馬驥伸、黃肇珩……數也數不完。
台灣的作家、畫家、詩人和文藝青年在文藝中心的大廳，為父親舉行「幽默之夜」盛會，有一百二十人來到。父親以姓林自豪，把林則徐、林黛玉、林肯都扯上了。司馬中原、林海音、楚戈、段彩華、孫如陵、朱橋等當夜都妙語如珠。
父母親住在台北時，我住在香港，常到台北去看他們，雙親精神奕奕；不像七十多歲的人。有一次，我去台北住幾天之後，雙親送我到松山機場