林語堂有個年輕的書童叫阿芳。
阿芳剛到林家年僅15歲，小孩兒脾氣，林語堂對純真的孩子毫無招架之力，奴大欺主，阿芳漸漸坐大，鬧得林家一點規矩都沒有。林語堂讓他去買火柴，他一去就是兩個小時，回來卻帶了一隻新布鞋和送給小孩的蚱蜢，就是沒有火柴。飯後，他把簸箕丟在飯台上，掃帚留在衣櫃中，自己卻跑到花園裡捉蚱蜢。要是輪到阿芳預備早餐時，廚房裡一定是不絕於耳的「乒——乒——乓」，一個星期打碎的碗碟比其他傭人一年打碎的都要多。翠鳳教訓他：「阿芳你今年18歲了，做事也得正經一點。」阿芳臉紅了，低著頭不說話。林語堂一直有個理論，臉紅是作不得假的，忙護著說：「阿芳還小，分不清楚工作和遊戲，你不要罵他。」家裡其他的傭人因而都讓著阿芳，林語堂卻認為這是阿芳的天才所致。
阿芳確實聰明機靈。林語堂從英國帶回來的那台不完整的打字機是他的命根子，誰也不許動。阿芳看中了那玩意，趁著兩個小時的打掃時間，翻來覆去地擺弄，嘀嘀嗒嗒的聲音便從書房不斷地傳出來。有一回，打字機平空壞了，林語堂修了好一陣都沒有修好，氣得他把寵愛的小男僕狠狠地責罵了一頓。阿芳依舊低著頭，不言語。下午，林語堂去散步，回來後阿芳就對他說：「先生，機器修好了。」一試，果然好了！林語堂因為打字機被翠鳳數落了好一陣子，又沒有其他的同好可以切磋，喜出望外，以為發現了一個知音，不再把他當普通的傭人使喚。
阿芳對其他機械也很有天賦。修理電鈴，接保險絲，懸掛鏡篋，補抽水馬桶的浮球等，這些原本都是林語堂的工作，阿芳卻無師自通地會了。林語堂樂得逍遙，再也不用擔心讀《柏拉圖》時得奉旨去修理自來水馬桶，或是文章做得高興，突然有人從廚房裡喊：「堂！水管漏了。」
更讓林語堂吃驚的是，阿芳居然會在電話上用英語、國語、上海語、安徽語、廈門語罵人。廈門話難學難懂，連林語堂那些語言學專家的朋友都叫苦不已，平常人更不消說。而且阿芳不知道哪裡學來一口漂亮的英語，教一遍就會，他說「Waiterminit」（等一會），流暢連貫，而不像一般大學生說「Waitameenyoot」。「阿芳實在是天才！」林語堂常常對家裡人說，很有伯樂相中千里馬的自豪之意。他告訴阿芳，願意出2/3的學費讓他去念英文夜校。但阿芳不願念書，上了幾天就逃之夭夭。林語堂又感嘆地說，天才都是恨學堂的。
後來，林家又請了一個20出頭的洗衣婢女，阿芳越發的無法無天，成天和新來的婢女調笑戲謔，該做的工作沒有一件做得好的，打掃的時間拖延到3個小時，每天例行的擦皮鞋草草了事。林語堂教訓了一次、兩次、三次，都沒有結果。林語堂顏面無存，下定決心要整飭家紀，把所有的傭人召集來，板著臉警告說：「阿芳，如果明天六時半皮鞋不給我擦亮，放好在卧房前，定然把你辭退。」好好先生的男主人大發脾氣，傭人面有懼色。林語堂安然就寢，沾沾自喜地對翠鳳說，家裡的紀綱恢複了！
第二天早晨，林語堂六點就醒了，靜聽門外的動靜。結果是新來的婢女送皮鞋過來了，「我是叫阿芳帶來的。你為什麼替他帶來？」林語堂故作氣憤，厲聲問。
「我正要上樓，順便替他拿來。」那女僕恭而有禮地回答。
「他自己不會帶來嗎？是他叫你的，還是你自己作主？」
「他沒叫我，我自己作主。」
林語堂心知肚明，阿芳鐵定還在夢遊周公，但女僕婉辭替阿芳辯護，反而顯得自己小家子氣，他訕然一笑，這家紀就隨他去吧，老子說「無為而治」是有道理的。
不久之後，林語堂從外面回來突然發現女僕在換床單，他奇怪地問，這床單不是兩天前換上的嗎，怎麼又換新的了？女僕神色慌張，支吾了半天也沒說出個所以然來。林語堂情知有異，連問之下，才了解女僕和阿芳有私情，利用主人外出在房間里幽會。廖翠鳳氣得火冒三丈，一定要趕走阿芳，連帶著把氣撒到了語堂身上，說，要不是他的縱容，阿芳怎麼會有那麼大的膽？阿芳可憐兮兮地看著林語堂，語堂心立馬軟了，勸說翠鳳消消氣，從輕發落。翠鳳被丈夫一攪和，這事糊裡糊塗地就過去了。
然而阿芳不成器，不僅繼續和女僕勾勾搭搭，而且夥同把林家的銀器物什偷出去賣，還在外盜竊，東窗事發後，進了監獄。得到這個消息，翠鳳白了丈夫一眼，語堂張張嘴，想說點什麼，還是徒然地垂著頭進了書房。
林家有這樣自由主義的男主人，僕人們一再造反也不奇怪。夫妻倆到無錫去旅遊，本來說好了隔天再回來，翠鳳挂念不足歲的小女兒，半夜趕火車回來，卻發現廚子和清掃的老媽子睡在了他們的床上。翠鳳大為惱火，把里里外外消毒，累得夠嗆。老媽子沒臉見人，主動收拾包袱走人。
「廚子也不能留！堂，你不準說情！」翠鳳知道語堂的心思。
「可是，他做的八寶鴨實在好吃。」林語堂一臉討好地拽著翠鳳的衣角，磨蹭著替廚子求饒。
「不行！再這樣下去，這個家一點樣子都沒有了！」翠鳳下定了決心，板著臉進了廚房。
「可是，鳳，我喜歡他的八寶鴨……」
林語堂軟硬兼施，才保住了廚子的飯碗。他還把廚子鄉下的老婆接過來，做點清掃的工作。
這又是一樁麻煩事。廚子愛賭博，輸了錢就偷老婆的薪水，老婆不讓，廚子大打出手，老婆哭哭啼啼，坐在台階上面亂踢腿，破口大罵。「短命鬼！看我不剖破你的肚腸！」廚子抓起棍子要打她。「畜生！」她回罵，兩人你掀我，我掀你攪成一團。這樣的戲碼隔一兩天就要上演，鬧得林家雞飛狗跳，不得安生。
翠鳳看得頭大，惡狠狠地說：「再打架兩人都得滾蛋！」才壓住了他們。
林太乙說：「父親心目中無惡人，信賴任何人。」這也正是《京華煙雲》最大的弊端之一，「這部小說的一個缺點，是在80多個人物中，沒有一個壞人。」