雖然事隔十七年，源氏公子絲毫也不曾忘記那個百看不厭的夕顏。他閱盡了裊娜娉婷的種種女子，可是想起了這個夕顏，總覺得可戀可惜，但願她還活在人間才好。夕顏的侍女右近，雖然不是十分出色的女子，但他把她看做夕顏的遺愛，一向優待她，叫她和老侍女們一起在邸內供職。他流寓須磨之時，將所有侍女移交紫姬，右近便也改在西殿供職了。紫姬覺得這個人品性善良，行為恭謹，因而很看重她。但右近心中在想：「我家小姐如果在世，公子對她的寵愛不會亞於明石夫人吧。愛情並不甚深的女子，公子尚且不忍遺棄，都相當照拂，永遠關心，何況我家小姐。即使不能與高貴的紫夫人同列，至少有份加入六條院諸人之中。」想起了便悲傷不已。加之夕顏所生女孩玉鬘 ，寄養在西京夕顏的乳母家裡，現在不通消息。這是因為右近一向不敢把夕顏暴死之事公佈於眾，加之源氏公子曾經叮囑她不可泄露他的姓名，因而有所顧忌，不便赴西京探訪。在這期間，乳母的丈夫升任了太宰少弍，赴筑紫履任，乳母隨夫遷居任地，其時玉鬘年方四歲。
乳母欲知夕顏下落，到處求神拜佛，日夜哭泣思念，向所有相識之人打聽，但終於全無消息。她想：「既然如此，也無可奈何了。我只得撫養這個孩子，當作夫人的遺念吧。然而叫她跟著我們這種身份低微之人，遠赴邊地，實乃可悲之事。我還是設法通知她父親吧。」然而沒有適當機會。這期間她同家人商量，認為如果通知她父親，倘他問起她母親何在，如何回答呢？況且這孩子不會很親近她父親的，我們把她丟在她父親那裡，也很不放心。再說，如果父親知道了他這個孩子還在，勢必不允許我們帶她遠赴邊地。商量的結果，決定不通知她父親，而帶她回赴筑紫。玉鬘長得非常端正，現在小小年紀，已有高貴優雅之相。太宰少弍的船並無特殊設備，草草帶她上船，遠赴他鄉，光景實甚可憐。
玉鬘的童心中不忘記母親，上得船來，常常問人：「到媽媽那裡去么？」乳母聽了，眼淚流個不住。乳母的兩個女兒也懷念夕顏，陪著流淚。旁人便勸諫：「船上哭泣是不祥的！」乳母看到一路上美麗的景色，心中想道：「夫人生性嬌痴愛玩，倘能看到這一路上美景，何等高興！然而如果她還在，我們也不會遠赴筑紫的。」她懷念京都，正如古歌所云：「行行漸覺離愁重，卻羨使臣去復回。」不免黯然銷魂。此時船上的梢公粗聲粗氣地唱起棹歌來：「迢迢到遠方，我心好悲傷！」兩個女兒聽了，更增哀思，相向而泣。船所經行之處是筑前大島浦，兩人便吟詩唱和：
「舟經大島船歌咽，
想是梢公也懷人？」
「茫茫大海舟迷路，
苦戀斯人何處尋？」
她們是互相訴說遠赴他鄉之苦。經過了風波險惡的筑前金御崎海岬之後，她們想起了一曲古歌，便不斷地吟唱：「我心終不忘」 之句。不久到達了筑紫，進了太宰府。現在離京更遠，乳母等遙念在京失蹤的夕顏，常常悲泣。只得悉心撫育玉鬘，聊以自慰。日子一天一天地過去。乳母有時偶爾在夢中看見夕顏。然而往往看見夕顏身旁有一個與她肖似的女子，而且夢醒之後常常心緒惡劣，身體患病。於是她想：「大約夫人已經不在人世了。」從此更加悲傷。
五年之後，太宰少弍任期已滿，打算回京。然而路途遙遠，旅費浩繁；而本人權勢不大，宦囊羞澀。因此遲疑不決，遷延度日。不料這期間少弍忽患重病，自知死期已近。此時玉鬘年方十歲，容貌之美，見者無不吃驚。少弍看了，對家人說：「看來連我也要捨棄她了！她的前途何等不幸啊！讓她生長在這偏僻的鄉間，實在委屈了她。我常想設法將她送回京都，通知她的生身父母，然後聽憑她的命運做主。京都地廣人多，發跡有望，可以放心。豈料我此志未遂，就客死他鄉……」他挂念著玉鬘的前途。他有三個兒子，此時便向三人立下遺囑：「我死之後，他事不須你等操心，但須速將此女送往京都。至於我身後的法事，不必著急。」不久他就死了。
這玉鬘是誰的女兒，他們一向連官邸里的人也不讓曉得。對人但言這是外孫女兒，是身份高貴的人。數年來生長深閨，不令人見。如今少弍突然身故，乳母等非常悲傷，孤苦無依，只得遵守遺囑，設法遷回京都。然而在這筑紫地方，少弍有許多冤家。乳母深恐此等人將用種種計謀來妨礙他們歸京，因此遷延不決，不知不覺地又在這裡滯留了幾年。玉鬘漸次長成，容貌之美勝過母親夕顏。加之秉承父親 血統，氣品高尚優雅，性情又溫良賢淑，真是個絕代佳人。當地好色的田舍兒聞此消息，都戀慕她，有許多人寄情書來求婚。但乳母認為荒唐可惡，一概置之不理。為避免煩擾，她向外揚言：「這妮子相貌雖然生得還好，可惜身上患著沉重的殘疾，所以不能配親，只好讓她當尼姑。我活著的期間，且讓她住在我身邊吧。」外人便傳說：「已故的少弍的外孫女是個殘廢者，真可惜了。」乳母聽到了又很生氣。她嘆息道：「總須設法送她進京，教她父親知道才好。她幼小時候，父親非常寵愛她，雖然長久不見了，總不會因此捨棄她吧。」便向神佛祈禱，祝她早日返京。此時乳母的女兒和兒子都已在本地擇配，婚嫁完畢，做了本地的居民了。乳母心中雖然焦灼，然而玉鬘返京之事彷彿越來越少希望。玉鬘已經明白自己身世，但覺人生真太痛苦。她每年三次齋戒祭星 。到了二十歲上，相貌更加長得漂亮了，住在這鄉間實甚可惜！此時他們已遷居肥前國。當地也有許多略有聲望的人，聞知少弍的外孫女是個美人，也都不斷地前來求婚。乳母不勝其煩，討厭之極。
且說附近肥後國地方，有一個大夫監 ，擁有一門人口眾多的家族，在當地頗有聲望，是個權勢鼎盛的武士。這個鄉下武士粗蠢無知，卻也有幾分愛好風流，意欲搜集美女，廣置姬妾。他聞知玉鬘貌美，對人言道：「無論何等殘廢，我都不嫌，定要把她弄到手。」便非常誠懇地派人前來求婚。乳母十分厭惡，回答他說：「我們的外孫女決不要聽這種話，她就要出家為尼了。」大夫監越發著急了，便屏除一切事務，親自來到肥前，把乳母的三個兒子叫來，要他們做媒，對他們說：「你等若能遂我心愿，便是我的親信，我一定大力提拔你們。」兩個兄弟被他收買了，回來對乳母說：「媽媽呀，這頭親事，我們起先認為不甚相稱，委屈了這位小姐。然而這大夫監答應提拔我們，倒是一個有力的靠山。得罪了這個人，我們休想在這一帶地方生活呢。小姐雖然出身高貴，然而她的父母不來認她，世人也不知道她是何等樣人，那麼高貴也是枉然。這大夫監如此誠懇地向她求婚，照她現在的境遇說來，實在是交運了。大概她原有這段宿世因緣，所以流寓到這邊遠地方來。現在即使逃避隱匿，有什麼好處呢？況且那人很倔強，要是動起怒來，事情可不得了啊！」兩個兒子拿這話來威嚇母親。乳母聽了大為擔心。長兄豐後介對母親說：「這件事情，無論怎麼說，總不妥當，而且對人不起。父親也曾立下遺囑，我們必須從速設法，護送小姐進京。」
乳母的兩個女兒為此哭得很傷心。她們相與悲嘆：「她的母親命運不濟，弄得流離失所，去向不明。我們總希望這個女兒嫁個高貴的丈夫，怎麼可以配給這種蠢漢呢？」但大夫監不知此種情況，他自以為身份高貴，只管寫情書給玉鬘。他的字寫得不算很壞，用的信箋是中國產的色紙，香氣熏得很濃。他力求寫得富有風趣，然而文句錯誤百出。不但寫信，又叫乳母的第二個兒子次郎引導，親自前來訪問。
這大夫監年約三十左右，軀幹高大，肢體肥胖。相貌雖不十分醜陋，然而由於印象不良，總覺面目可憎。他那粗魯的舉止，令人一見就覺得討厭。血氣旺盛，紅光滿面；聲音嘶啞，言語嚕囌。大凡偷香竊玉，總是在夜間悄悄地來的，所以合歡樹又稱為夜合花。這個人卻在春日傍晚前來求婚。古歌云：「秋夜相思特地深。」現在不是秋天，這個人卻顯得相思特地深的樣子。這些且不談，既然來了，乳母老太太覺得不可傷情破面，便走出來接待。大夫監開言道：「小生久仰貴府少弍大人高才大德，英名卓著，常思拜識，隨侍左右。豈料小生此志未遂，而大人遽爾仙逝，令人不勝悲慟！為欲補償此願，擬請將府上外孫小姐交由小生保護，定當竭誠效勞。為此今日不揣冒昧，斗膽前來拜訪。貴府小姐，身份高貴，下嫁寒舍，實甚屈辱。但小生定當奉為一家之女王，請其高居上頭。太君對此親事不予快諾，想系聞知寒舍畜有微賤女子多人，因而不屑與之為伍。但此等賤人，豈可與小姐同列？小生仰望小姐地位之高，不亞於皇后之位也。」他提起了精神說這番話。乳母老太太答道：「豈敢豈敢！老身並無此意。承蒙不棄，實甚榮幸。無奈小孫女宿命不濟，身患不可見人之殘疾，不能侍奉巾櫛，經常私自悲嘆。老身勉為照料，亦不勝其痛苦也。」大夫監又說：「此事勿勞掛慮。普天之下，即使雙目失明，兩足癱瘓之人，小生亦能善為治療，使其復健。肥後國內所有神佛，無不聽命於我也！」他得意揚揚