林語堂說：「影響我最深的，一是我的父親，二是我的二姐，三是漳州西溪的山水。最深的還是西溪的山水。」
在《八十自述》中，林語堂又一次說：「童年之早期對我影響最大的，一是山景；二是家父，不可思議的理想主義者；三是親情似海的基督教家庭。」
林語堂在自傳體小說《賴柏英》中說：「人若在高山裡張大，高山會使他的觀點改變，融入他的血液之中……」
林語堂出生在大山中的一個小村，5歲之前，他沒有離開過這個村子。他常和五個兄弟、兩個姐姐到稻田或河岸，去遠望日落的奇景，並互相講神鬼的故事。兒時林語堂常幻想一個人如何才能走出這四面皆山的深谷。林語堂回憶說：「童時，我對於荏苒的光陰常起一種流連眷戀的感覺。」
林語堂自陳有戀母情節，兒時他喜歡撫摸母親的乳房，一直到十歲還和母親同睡。新婚前夜，他要求和母親同睡，因為那是他能與母親同睡的最後一夜。
二姐林美宮聰明美麗，成績優秀，她很想上大學。但林家的經濟能力有限，林父供養兒子們上大學已經很困難，再無力負擔女兒的學費。二姐出嫁前一天的早晨，掏出四毛錢給林語堂，說：「你要去上大學了。不要糟蹋了這個好機會，要做個好人，做個有用的人，做個有名氣的人。這是姐姐對你的願望。」第二年林語堂回鄉時，二姐已因鼠疫去世，死時懷有八個月的身孕。林語堂總有一種感覺，彷彿自己在替二姐上大學。他說：「我青年時代所流的眼淚，多是為二姐而流的。」晚年，他對外孫們談及二姐，依舊淚下。
對於第一次離開坂仔村去漳州的夜景，林語堂記憶深刻。是夜，船泊在岸邊的竹林下，竹葉飄飄打在船篷上，林蓋著條氈子躺在船上聽船家講慈禧太后幼年的故事。對岸船上高懸紙燈，水上燈光掩映可見，人聲亦一一可聞，如泣如訴的笛聲隨風傳來……林語堂說：「我在這一幅天然圖畫之中，年方十二三歲，對著如此美景，如此良辰，將來在年長之時回憶此時豈不充滿美感么？」
林語堂喜歡北京，1936年赴美前，他特地從上海北上，到北京中山公園「來今雨軒」，在太湖石座前方，欣賞朱欄玉砌，芍藥圃燦爛盈枝的花朵。
在電影院中，林語堂聽到鄰座兩位女孩用閩南語交談，「恍如回到家鄉，一樂也」；聽見臨院婦人用不乾不淨的閩南語罵孩子，「一樂也」。
在美國居住30年，林語堂不喜歡穿西裝，也始終沒有加入美國國籍。他說：「在美國住了二、三十年公寓式的樓房，遊子心與高高在上的住屋一樣，老有凌空找不著根的感覺。許多人勸我們入美國籍，我說這兒不是落根的地方；因此，我們寧願年年月月付房租，不肯去買下一幢房子。」身居異國的高樓大廈，他卻愈來愈思念純樸幽美的閩南故鄉，說：「少居漳州和坂仔之鄉，高山峻岭，令人夢寐不忘。」
晚年，林語堂在蔣介石的邀請下定居台灣，他說：「我處處聽到鄉音，我們像回到漳州老家。」
1962年，林語堂隻身到香港看望次女林太乙夫婦，林太乙說：「他好像在尋找什麼。」女兒女婿帶他到新界落馬洲。這裡有許多遊客從山上眺望遠處，看看中國大陸，林語堂也眯著眼睛，仔細地看著。女兒問他坂仔的山是什麼樣子，他說：「高山。香港的山好難看，許多都是光禿禿的。」到了山頂，他看見四面環水，又說：「環繞著坂仔的山是重重疊疊的，我們把坂仔叫做東湖，山中有水，不是水中有山。」林太乙這才知道：「原來他在尋找那些環繞著他的快樂的童年的山陵。」