來蜨園謝家是邑中書香門第，詩禮名家，幾代都中過進士。謝家好治園林。乾嘉之世，是謝家鼎盛時期，蓋了一座很大的園子。流觴曲水，太湖石假山，冰花小徑兩邊的書帶草，至今猶在。當花園落成時正值百花盛開，飛來很多蝴蝶，成群成陣，蔚為奇觀，即名之為來蜨園。一時題詠甚多，大都離不開莊周，這也是很自然的。園中花木，後來海棠丁香，都已枯死，只有幾棵很大的桂花，還很健壯，每到八月，香聞園外。原來有幾個花匠，都已相繼離散，只有一個老花匠一直還留了下來。他是個聾子，姓陳，大家都叫他陳聾子。他白天睡覺，夜晚守更。每天日落，他各處巡視一回（來蜨園任人遊覽，但除非與主人商量，不能留宿夜飲），把園門鎖上，偌大一個園子便都交給清風明月，聽不到一點聲音。
謝家人丁不旺，幾代單傳，又都短壽。謝普天是唯一可以繼承香火的胤孫。他還有個姑媽謝淑媛，是嫡親的，比謝普天小三歲。這地方叫姑媽為「孃孃」，謝普天叫謝淑媛為「孃孃」或「小孃」。小孃長得很漂亮。
謝普天相貌英俊，也極聰明。他熱愛藝術，曾在上海美專學過畫——國畫和油畫，素描功底紮實，也學過雕塑。不到畢業，就停學回鄉，在中學教美術課。因為謝家接連辦了好幾次喪事，內囊已空，只剩下一個空大架子，他得維持這個空有流觴曲沼、湖石假山的有名的「謝家花園」（本地人只稱「來蜨園」為「謝家花園」，很多人也不認識「蜨」字），供應三個人吃飯，包括陳聾子。陳聾子戀舊，不計較工錢，但飯總得讓人家吃飽。停學回鄉，這在謝普天是一種犧牲。
謝普天和謝淑媛都住在「祖堂屋」。「祖堂屋」是一座很大的五間大廳，正面大案上列供謝家祖先的牌位，別無陳設，顯得空蕩蕩的。謝普天、謝淑媛各住一間卧室，房門對房門。謝普天對小孃照顧得很體貼細緻。謝家生計，雖然拮据，但謝普天不讓小孃受委屈，在衣著穿戴上不使小孃在同學面前顯得寒磣。夏天，香雲紗旗袍；冬天，軟緞面絲棉襖、西裝呢褲、白羊絨圍巾。那幾年興一種叫做「童花頭」的髮式（前面留出長劉海，兩邊遮住耳朵，後面削薄修平，因為樣子像兒童，故名「童花頭」），都是謝普天給她修剪，比理髮店修剪得還要「登樣」。謝普天是學美術的，手很巧，剪個「童花頭」還在話下嗎？謝淑嬡皮膚細嫩，每年都要長凍瘡。謝普天給小孃用雙氧水輕輕地浸潤了凍瘡痂巴，輕輕地脫下襪子，輕輕地用雙氧水給她擦洗，拭凈。「疼嗎？」——「不疼。你的手真輕！」
單靠中學的薪水不夠用，謝普天想出另外一種生財之道——畫炭精粉肖像。一個銅製高腳放大鏡，鏡面有經緯刻度，放在照片上；一張整張的重磅畫紙上也用長米達尺繪出經緯度，用鉛筆描出輪廓，然後用剪齊膠固的羊毫筆蘸了炭精粉，對照原照，反覆擦蹭。謝普天解嘲自笑：「這是藝術么？」但是有的人家喜歡這樣的炭精粉畫的肖像，因為：「很像！」本地有幾個畫這樣肖像的「畫家」，而以謝普天生意最好，因為同是炭精像，謝普天能畫出眼神、臉上的肌肉和衣服的質感，那年頭時興銀灰色的「寧緞」，叫做「慕本緞」。
為了趕期交「貨」，謝普天每天工作到很晚，在煤油燈下聚精會神地一筆一筆擦蹭。小孃坐在旁邊做針線，或看小說——無非是《紅樓夢》《花月痕》、蘇曼殊的《斷鴻零雁記》之類的言情小說。到十二點，小孃才回房睡覺，臨走說一聲：「別太晚了！」
一天夜裡大雷雨，疾風暴雨，聲震屋瓦。小孃神色慌張，推開普天的房門：
「我怕！」
「怕？那你在我這兒呆會。」
「我不回去。」
「……」
「你跟我睡！」
「那使不得！」
「使得！使得！」
謝淑媛已經脫了衣裳，噗的一聲把燈吹熄了。
雨還在下。一個一個藍色的閃把屋裡照亮，一切都照得極清楚。炸雷不斷，好像要把天和地劈碎。
他們陷入無法解決的矛盾之中。他們在做愛時覺得很快樂，但是忽然又覺得很痛苦。他們很輕鬆，又很沉重。他們無法擺脫犯罪感。謝淑媛從小嬌慣，做什麼都很任性，她不像謝普天整天心煩意亂。她在無法排解時就說：「活該！」但有時又想：死了算了！
每年清明節謝家要上墳。謝家的祖塋在東鄉，來蜨園在城西，從謝家花園到祖墳，要經過一條東大街。謝淑媛是很喜歡上墳的。街上店鋪很多，可以東張西望。小風吹著，全身舒服。從去年起，她不願走東大街了。她叫陳聾子挑了放祭品的圓籠自己從東大街先走，她和普天從來蜨園後門出來，繞過大淖、泰山廟，再走河岸上向東。她不願走東大街，因為走東大街要經過居家燈籠店。
居家姊妹三個，都是瘋子。大姐好一點，有點像個正常人，她照料燈籠店，照料一家人吃飯——一日三餐，兩粥一飯。糙米飯、青菜湯。瘋得最厲害的是兄弟，他什麼也不做，一早起來就唱，坐在櫃檯里，穿了靛藍染的大襟短褂。不知道他唱的是什麼，只聽到沙啞沉悶的聲音（本地叫這種很不悅耳的聲音為「呆聲繞氣」）。他哪有這麼多唱的，一天唱到晚！妹妹總坐在櫃檯的一頭糊燈籠，臉上帶著一種奇怪的微笑。姐妹二人都和兄弟通姦。瘋兄弟每天輪流和她們睡，不跟他睡他就鬧。居家燈籠店的事情街上人都知道，謝淑媛也知道。她覺得「硌應」。
隔牆有耳，謝家的事外間漸有傳聞。街談巷議，覺得豈有此理。有一天大早，謝普天在來蜨園後門不顯眼處發現一張沒頭帖子：
管什麼大姑媽小姑媽，
你只管花戀蝶蝶戀花，
滿城風雨人閑話，
誰怕！
倒不如海走天涯，
赤條條來去無牽掛，
倒大來瀟洒。
謝普天估計得出，這是誰寫的，——本縣會寫散曲的再沒有別人，最後兩句是一種善意的規勸。
他和小孃孃商量了一下：走！離開這座縣城，走得遠遠的！他的一個上海美專的同學顧山是雲南人，他寫信去說，想到雲南來。顧山回信說歡迎他來，昆明氣候好，物價也便宜，他會給他幫助。把一塊祖傳的大蕉葉白端硯、一箱字畫賣給了季匋民，攢了路費，他們就上路了。計畫經上海、香港，從海防坐滇越鐵路火車到昆明。
謝淑媛沒有見過海，沒有坐過海船，她很興奮，很活潑，走上甲板，靠著船舷，說說笑笑，指指點點，顯得沒有一點心事，說：「我這輩子值得了！」
謝普天經顧山介紹，在武成路租了一間畫室。他畫了不少工筆重彩的山水、人物、花卉，有人欣賞，賣出了一些，但是最受歡迎的還是炭精肖像，供不應求。昆明果然是四季如春，雞、乾巴菌、牛肝菌、青頭菌都非常好吃，謝淑媛高興極了。他們遊覽了很多地方：石林、陽中海、西山、金殿、黑龍潭、大理，一直到玉龍雪山。讀萬卷書，行萬里路，謝普天的畫大有進步。他畫了一些裸體人像，謝淑媛給他當模特。畫完了，謝淑媛仔仔細細看了，說：「這是我嗎？我這麼好看？」謝普天抱著小孃周身吻了個遍，「不要讓別人看！」——「當然！」
謝淑媛變得沉默起來，一天說不了幾句話。謝普天問：「你怎麼啦？」——「我有啦！」謝普天先是一愣，接著說：「也好嘛。」——「還好哩！」
謝淑媛老是做噩夢。夢見母親打她，打她的全身，打她的臉；夢見她生了一個怪胎，樣子很可怕；夢見她從玉龍雪山失足掉了下來，一直掉，半天也不到地……每次都是大叫醒來。
謝淑媛的肚子一天比一天大，已經顯形了。她撫摸著膨大的小腹，說：「我作的孽！我作的孽！報應！報應！」
謝淑媛死了。死於難產血崩。
謝普天把給小孃畫的裸體肖像交給顧山保存，拜託他十年後找個出版社出版。顧山看了，說：「真美！」
謝普天把小孃的骨灰裝在手制的瓷瓶裡帶回家鄉，在來蜨園選一棵桂花，把骨灰埋在桂花下面的土裡，埋得很深，很深。
謝普天和陳聾子（他還活著）告別，飄然而去，不知所終。