話說寶玉自此在紫檀堡住下，閑時種花喂鳥，或與寶釵吟詩作對，煮茗清談，倒也悠閑適意；寶釵卻知這般坐吃山空，久之必然不妥，遂每日得閑便與麝月做些針黹，請李老婆子帶到街市去賣了換些油米，也不過聊勝於無而已。到了年底，看看柳家結算的日子將近，這日蔣玉菡卻忽然引著馮紫英匆匆上門來，不及寒暄，便滿面愁容的道：「我聽我父親說，去年皇上在平安州遇匪的案子審了一年，也不知那裡來的消息，說是那些匪人與從前出家的柳湘蓮柳兄弟有舊，又說柳兄的祖上原與理國公柳彪是同宗，因此一紙皇旨下來，九族俱被株連，連柳芳亦削了爵，貶為庶民，產業俱沒入官，只怕玉兄的那筆款子要打水漂兒了。」
寶玉聽了，怔目呆舌，半晌不能回話。送了紫英出去，便自回房向寶釵簡略說了，寶釵卻還鎮定，勸道：「命里有時終須有，可見這筆銀子原不是咱家的。只是太太臨走發下話來，讓你收了款子便分一半去與珠大嫂子，如今出了這樣的事，須得往珠大嫂子家送個信兒去，免他惦記。」寶玉道：「自搬到這裡來，你也很少進城，我想起來，姨媽的壽誕就在左近，不如備些壽禮，往姨媽家走一趟，你也可回娘家小住幾日，權當散心，可好？」寶釵含笑道：「謝謝你想著。」果然收拾了幾樣茶果禮盒，便命老李頭雇了車子，與寶玉進城來。
先往李嬸娘處說話。此時綺、紋兩姐妹俱已出嫁，只有李嬸娘與李紈兩個相依為命，一切井臼裁剪俱是親為，又將空房租與人家居住，收些房租添補家用，日子甚是清貧。寶釵進來時，那李紈正在井邊浣洗，見了他兩個，只當是來送那筆款子的，十分歡喜。待聽說了柳家之事，大失所望，半晌嘆道：「這才是屋漏偏逢連夜雨，老天真真是不給人活路了。」寶釵極力安慰，又說了一回話，起身告辭。李紈虛留一留，因寶釵說還要回娘家探望母親，便送了他二人出來。
此後寶釵又來探望幾回，奈何那李紈生性謹慎，為人疏落，早在寧榮府得意之時已經有些秋氣，如今小家別院，不比從前，益發冷淡起來。先時寶釵偶來小坐，見他神情蕭索，開口便道艱難，還只當寡婦家原比別人惆悵易感傷，經此大難，未免風聲鶴唳些也是有的。及後來，方坐下時，便聽李紈無故抱怨房客遲交租子，度日艱難，又說起族中親戚常來借貸的事，說：「眾人聽見太太賣園子，只當有多少銀子可分，你也來問，我也來問，也不管遠的近的，親的疏的，略沾上點就要借錢。前邊東衚衕里住著的璜嫂子素向與我們並不走動，如今前后街住著，前兒忽的恃著他侄兒金榮和蘭兒曾經同過幾日學的情分找上門來，說要給侄子捐個監生，開口要借一千兩。我說沒有，他只不信，還說『蘭哥兒不用考舉，不愁銀子使。榮兒沒了銀子，可就連前程也丟了，嫂子若肯借這救命的錢，他日榮兒中了，必要加倍還回來的。』倒像是金榮若做不成舉人，便是我們的罪過一般。俗話兒說的：『須將有日思無日，莫待無時羨有時。』如今再想過上從前衣來伸手飯來張口的日子，只好做夢了。」寶釵揣度話意，方知他怕自己借貸，所以預先將些話來堵住，不覺惹氣，從此便少了來往。每日只閉居紫檀堡中，節衣縮食，安分度日。
寶玉既見收債無望，又全無入息，便同寶釵計議，欲回南邊同父母團聚。寶釵卻捨不得母親兄弟，趑趄不忍行。恰此時，忠順王亦被人蔘了一本，落了勢，蔣玉菡趁機贖身出來，也同襲人來紫檀堡定居，便又苦留下寶玉來。寶玉原也怕回到金陵受父母管束，不過因囊中乏饋方起此念，既見寶釵不計較，便樂得留下來過些逍遙日子。兩家日夕相處，頗為浹洽。
那蔣玉菡亦非稼穡之人，又不願再操琴瑟生涯，且與寶玉脾氣相投，便相約要做個隱居士，今日邀朋飲酒，明朝陌上觀花，便又結交了許多三教九流的朋友，不上兩年已將積蓄敗得盡了。起初還有北靜王、馮紫英等人不時接濟，及後來北靜王派了巡邊，馮紫英亦領命出征，兩家日子便日告艱難窘縮，遂只得靠當賣祖遺過起日子來。先還只拿些用不著的古董字畫去當，從前千方百計搜覓而來者，如今十不抵一的折些油米白面，這也是世事常情，自不必說；漸次便至寶釵妝奩，也只如以米易粟，那大戶人家嫌舊了不時新，小家貧門又覺奢華不實，那裡論得到買時的價錢，且終究也支持不了多久；便又打算到裙襖衣服上，更是杯水不能澆火。有時寶玉羞噁心起，便也思量謀個差使做，及至託了幾個朋友，也有薦作幕賓的，也有應承長隨的，他卻又都不如意，婉辭謝絕了。臨到節下，幾乎連冬衣也備不齊，蔣玉菡只得當了行頭，換些棉紗布料來交與襲人裁剪；寶玉閑時便畫幾張畫託人代售，或是書春聯，題扇面，也只顧得上頓沒下頓。那琪官原為忠順府紅人，別人尚不敢怎的，如今既無庇蔭，地方上便有些浪蕩公子、鄉宦豪強時常上門來挑釁戲辱，說三道四，襲人每每吞聲飲泣，寶玉、琪官煩惱不了。薛寶釵此時後悔不來，便欲效那孟母三遷的故事，偏又適逢寒暖天氣，觸犯舊疾，勞動不得，只得權且忍耐。
是日正值春分，寶玉吃過午飯，葛巾藤鞋，隨手卷了一本書走至廊下，命麝月放下方竹躺椅來，就在桃花樹旁隨便歪著，因見屋檐下有燕子忙忙碌碌的來回銜泥，心有所感，隨口吟道：「玉人一去未回馬，梁間燕子三見歸。」吟罷，連連嘆息數聲。寶釵隔窗聽見，初時不解，忽思及今日乃是二月十二，更覺鬱郁。低頭思索一回，因命麝月去街市上買些瓜果香燭回來。麝月笑道：「二奶奶前頭才說的：如今不比從前，能省則省，所以連十五燈節都沒操辦；今日不過是個小節氣，倒要供奉花神，豈不顛倒了？」寶釵道：「叫你去便去，哪來的這些話說？」
麝月還要問時，襲人恰好進來聽見，忙道：「我前兒上街經過香燭店，已經早早買了備下，奶奶要用時，只管取來。」寶釵點頭嘆道：「我倒忘了，今兒也是你的生日。」麝月這方恍然大悟，忙與襲人出來擺設香案，尋出一隻漢玉觴來，貯了一觴百花釀，又將博山爐焚了百合香，往院里挑打苞兒的碧桃花剪了幾枝，插在書桌上一個霽紅花囊里。正在忙碌，蔣玉菡已回來了，拎著些火腿、肉乾、薰魚、醋鴨之類，並一罈子花雕酒，向寶玉笑道：「吃了十來日素，我們今日必要喝乾這一壇，不醉不休。」寶玉笑道：「只有這一壇酒，怕還醉不了你我兩個。」
襲人見了，忙拉進玉菡來問他：「你那裡來的錢打酒？可是又當了什麼？」蔣玉菡道：「這家裡又還有什麼值錢東西，就剩下那把劍還值幾兩銀子，白擱著也是落灰，我所以拿了去換些酒菜替你做壽，咱們好好樂他一晚。」襲人心下不忍，埋怨道：「又不是什麼大生日，何用得著當劍？那是你最心愛的，雖不用來唱戲，閑時舞動兩下也是一件頑意兒，如今當了，他日可指著什麼來贖呢？」蔣玉菡道：「還贖他做什麼？橫豎這輩子我再不唱戲，看見他倒心煩，當掉了倒也心眼乾凈。」
說著出來，寶釵已在案前拜了幾拜，復與麝月往明間里調排桌椅，布設杯箸。寶玉知道心思已被寶釵猜破，反不好意思的，進來斟了一觴酒，仍回來桃樹前，暗思柳夢梅有「拾畫、叫畫」之典，唐明皇有「迎像、哭像」之情，我與林妹妹泉台永隔，卻對此一樹碧桃花泣血長哭亦不能矣。遂將一觴酒盡澆在樹根下了，暗祝一回，進來與蔣玉菡坐了對面。屏風後另設一席，寶釵首座，襲人次座，麝月打橫相陪。飛觴斗斝，猜謎作對，不一時整壇酒盡已喝謦。蔣玉菡喝得興起，將白玉箸敲著碧玉杯，聲遏層雲，唱了一曲《中呂·別情》：
自別後遙山隱隱，更那堪遠水粼粼。
見楊柳飛綿滾滾，對桃花醉臉醺醺。
透內閣香風陣陣，掩重門暮雨紛紛。
怕黃昏忽地又黃昏，不銷魂怎地不銷魂？
新啼痕壓舊啼痕，斷腸人憶斷腸人。
今春，香肌瘦幾分，摟帶寬三寸。
寶玉聽了，益發如醉如痴，隔窗看見院中桃花映著夕陽，堆霞簇錦的一般，因向蔣玉菡道：「這院里的桃花已是這樣，村邊桃林里上百株紅白桃花聚在一起，更不知是何盛況。」蔣玉菡知他未能盡興，便約著往村裡酒肆里接著飲去，寶釵、襲人因見天已黑起，連忙勸阻，奈何再勸不住，只得由他們去了。至晚方才回來，一夜無話。
轉眼清明已過，接連下了幾場透雨，天氣便熱起來。是日寶玉剛起，便有金陵的家信來了，卻是賈政催他兩個往南邊團聚，又說王夫人近日忽染一疾，漸見垂危，如若作速趕來，或還趕得見最後一面。寶玉拆讀之下，不禁號啕大哭，又說與寶釵、襲人等，也都哭了。便都著慌起來。無奈寶釵抱恙，不堪舟車勞頓，只得與麝月兩個收拾行囊，將眼面前一時用不到的釵環箱籠當了許多，且打發寶玉獨自上路，說明病癒後再圖相聚。蔣玉菡又打聽得有商船往金陵辦貨，便託人引薦，使寶玉搭船同往，又特備了一席宴請那商戶，一則托他照應，二則也是與寶玉餞行，又著襲人備了些臘肉、風鵝、鹿干、兔脯之類，預備回鄉饋贈親友。寶玉又往