卻說在賀茂神社當齋院的槿姬，為了父親桃園式部卿親王逝世，辭職移居他處守孝。源氏內大臣向有一旦鍾情、永不忘懷之癖，故自聞訊後屢次去信弔慰。槿姬回思以前曾經被他愛慕，受他煩擾，故並不給他誠懇的複信，源氏內大臣大為遺憾。到了九月里，槿姬遷居舊宅桃園宮邸。源氏內大臣聞此消息，心念姑母五公主 也住在桃園宮邸，便以探望五公主為借口，前去訪問。
桐壺院在世時，特別重視這妹妹五公主，所以直到現在，源氏內大臣還很親近這姑母，常常有書信往來。五公主與槿姬分居正殿東西兩側。親王逝世未久，邸內已有荒涼之感，光景異常岑寂。五公主親自接見源氏內大臣，和他對面談話。她的樣子十分衰老，常常咳嗽。三公主，即已故太政大臣的夫人 是她的姐姐，然而全無老相，至今還很清健。這五公主卻和她姐姐不同，聲音嘶嗄，樣子有些龍鍾了。這也是境遇所使然。她對源氏內大臣說：「桐壺院駕崩之後，我便覺萬事意興索然。加之年事衰邁，平居每易墮淚。如今這位兄長也舍我而去，更覺得我這個人留在世間雖生猶死了。幸而有你這個好侄兒前來慰問，使我忘記了一切痛苦。」源氏內大臣覺得這個人老得厲害，便對她表示尊敬，答道：「父皇駕崩以後，世間的確萬事全非了。前年侄兒又蒙無實之罪，流離他方。不圖又獲赦免，重歸朝廷，濫竽政務。只是公事煩忙，少有暇晷。年來頗思常來請安，以便共話舊事，並多多請教。而未能如願，實甚遺憾。」五公主說：「啊呀呀，這世間真是變化多端啊！我閱盡滄桑，老而不死，自己常覺得此身可厭。然而今天看到你重返京都，榮登高位，又覺得當年我若只見你慘遭橫禍，那時便𫐘軻而死，才真是不幸呢！」她的聲音發抖。接著又說：「你長得真漂亮啊！你童年時候，我看見了你總是驚訝：這世間怎麼會生出這樣光彩奪目的人來？以後每次看到你，覺得越長越美，簡直教人疑心神仙下凡，反而恐懼起來呢。世人都說今上相貌與你十分肖似。但據我推想，無論如何也趕不上你吧。」便滔滔不絕地講下去。源氏內大臣想：哪有特地當著人面，極口讚譽美貌的呢。他覺得有趣，答道：「哪裡的話！侄兒年來流落風塵，身經苦患之後，衰老得多了。今上容姿之美，歷代帝王無人能及，真是蓋世無雙。姑母這推想太奇怪了。」五公主說：「不管怎樣，我但得常常看見你，這殘命也會延長。今天我老也忘記，憂患都消釋，心情好暢快呵！」說過之後又哭起來，繼續言道：「三姐真好福氣，招了你這個女婿，常常好和你親近，我真羨慕呵！這裡已過的親王，也常常懊悔不曾把女兒配給你呢。」源氏內大臣覺得這句話很中聽，答道：「若能如此，大家常常親近，我何等幸福呵！可惜他們都疏遠我呀！」他恨恨地說，透露出心事來了。他望望槿姬所住的那一邊，看見庭前草木雖已枯黃，卻別有風趣。想像槿姬閑眺這景色時的容姿，一定優美可愛。心癢難忍，便開言道：「侄兒今天前來拜訪，理應乘便去那邊望望槿姐，否則太不禮貌了。」便告辭五公主，順著廊檐走到那邊去。
此時天色已黑。槿姬室內，透過灰色包邊的帘子，隱約窺見裡面張著黑色的帷屏 ，令人感到凄涼。微風飄送出迷人的衣香來，芬芳撲鼻，內室景象又覺美不可言。侍女們認為在廊檐上招待大臣，太不像樣，便請他進南廂來坐地，由一個叫做宣旨的侍女代小姐應對。源氏內大臣頗不滿意，言道：「難道現在還把我當作年輕人，叫我坐在簾外么？我之企仰姐姐，已積年累月。我以為有這點功勞，可蒙允許出入簾帷了呢。」槿姬叫侍女傳言答道：「往日之事，全同一夢。如今雖已夢醒，但這世間是否真實可靠，現在我還模糊難辨。故你有否功勞，容我仔細考慮再定。」源氏內大臣覺得人世的確無常。細微之事，亦足發人深省。便贈詩道：
「偷待神明容汝返，
甘心首疾已經年。
如今神明已容汝返都，還有何借口迴避我？我自慘遭謫戍，歷盡艱辛之後，種種憂惱，積集胸中，極想向你申訴一二呢。」那殷勤懇切之狀，比從前更加優美瀟洒了。他年紀雖然大了些，但從內大臣這職位來說，頗不相稱，過於年輕了。槿姬答詩云：
「尋常一句風情話，
背誓神前獲罪多。」
源氏內大臣說：「這誓談它則甚？過去之罪，早已被天風吹散了。」說時神態風流瀟洒。宣旨同情他，打趣地說道：「如此說來，『此誓神明不要聽』 了！」一本正經的槿姬聽了這些話很不高興。這位小姐性情向來古板，年紀越大，越發謹慎小心了，連答話也懶得多說。眾侍女看了都替她著急。源氏內大臣掃興地說：「想不到我此來變成了調戲！」長嘆一聲，便起身告辭。一面走出去，一面言道：「唉，年紀一大，便受人奚落。我為了小姐，憔悴至此。小姐卻待我如此冷淡，使我連『請君出看憔悴身』 也吟不得了！」眾侍女照例極口讚譽源氏內大臣的美貌。此時秋夜澄碧如水，眾侍女聽了風吹落葉之聲，都回想起以前住在賀茂神社時饒有風趣的光景，那時源氏公子來信求愛，有時可喜，有時可嘆。她們歷歷回思此等舊事，相與共話。
源氏內大臣回家，滿腹懊惱，一夜不能入睡，只管胡思亂想。早晨起來，叫人把格子窗打開，坐在窗前閑看早晨的霧景。但見霜枯的秋草之中，有許多槿花到處攀纏著。這些花都已形容枯萎，顏色衰褪了。他就叫人折取一枝，送給槿姬，並附信道：「昨日過蒙冷遇，教我無以為顏。你看了我狼狽歸去的後影，可曾取笑？我好恨呀！不過我且問你：
昔年曾贈槿 ，永不忘當初；
久別無由見，花容減色無？
但我尚有一點指望：我長年相思之苦，至少要請你體諒！」槿姬覺得這封信措詞謙恭可憐，倘置之不復，未免太乏情趣。眾侍女便取過筆硯來，勸她作復。復書上寫道：
「秋深籬落畔，苦霧降臨初；
槿色凋傷甚，花容有若無。
將我比作此花，實甚肖似，使我不禁墮淚。」書中僅此數語，並無何等深情。但源氏內大臣不知何故，捧書細讀，手不忍釋。信紙青灰色，筆致柔嫩，非常美觀。凡贈答之詩歌函牘，往往因人物之品格及筆墨之風趣得以遮醜，在當時似乎無甚缺陷；但後來一經照樣傳抄，有的令人看了就要顰眉。因此作者自作聰明地引用在本書中的詩歌函牘，有傷大雅的想必甚多。
源氏公子自己覺得：現在再像青年時代那樣寫情書，甚不相稱。但回想槿姬向來取不即不離的態度，終於至今不曾玉成好事，又覺得決不肯就此罷手。便恢複勇氣，重新向她熱烈求愛。他獨自離居在東殿里，召喚宣旨前來，和她商量辦法。槿姬身邊的侍女個個多情，看見毫不足道的男子都要傾心，何況對源氏公子。看那極口讚譽的樣子，簡直要鑄成大錯呢。至於槿姬自己呢，從前年輕時代尚且凜不可犯，何況現在雙方年齡增長，地位也高了，豈肯做那種風流韻事？她覺得即使偶爾在通信中吟風弄月，亦恐世人譏評為輕薄。源氏公子覺得這位小姐的性情全同昔年一樣，毫無改變，實在異乎尋常。這真是希罕，又是可恨！
此事終於泄露出去。世人紛紛議論：「源氏內大臣愛上前齋院了。五公主也說這二人是天生一對。這真是一段門當戶對的好因緣呵！」這些話傳入紫姬耳中，起初她想：「如果真有此事，他總不會瞞我。」後來仔細觀察，發見公子神色大變，常常若有所思，神不守舍。她這才擔心起來：「原來他已相思刻骨，在我面前卻裝作若無其事，說起時也用戲言矇混過去。」又想：「這槿姬與我同是親王血統，但她的聲望特別高，一向受人重視。如果公子的心偏向了她，於我甚是不利呢。我多年來備受公子寵愛，無人能與我比肩，幸福已經享慣了。如今若果被他人壓倒，豈不傷心！」她暗自悲嘆。繼而又想：「那時即使不完全忘卻舊情而與我絕交，也一定很看輕我。他那自幼愛護我、多年來照顧我的深情厚意，必將成為無足輕重，有無皆可了。」她左思右想，心緒惱亂。倘是尋常小事，不妨向他發泄幾句不傷感情的怨言。但這是一件關係重大的恨事，所以不便形之於色。源氏公子只管枯坐窗前，沉思冥想，又常常在宮中住宿。一有空閑，便埋頭寫信，好像這就是他的公務。紫姬想：「外間的傳說果然不是虛言！他的心事也該多少透露一點給我才是。」為此心緒一直不寧。
是年冬天，因在尼姑藤壺母后喪服之後，宮中神事一概停止。源氏公子寂寞無聊之極，照例出門去訪問五公主。此時瑞雪紛飛，暮景異常艷麗。日常穿慣的衣裳上，今天衣香熏得特別濃重，周身打扮也特別講究。心情脆弱的女子看見了，安得不愛慕呢？他畢竟還得向紫夫人告辭，對她言道：「五姑母身上不好，我想去探望一下。」他略坐一會，但紫姬對他看也不看一眼。她管自和小女公子玩耍，那側影的神色異乎尋常。源氏公子對她說：「近來你的神色很古怪。我又不曾得罪你。只是想起『彼此不宜太親昵』 這句古話，所以常常離家往宮中住宿。你又多心了