源氏公子漸覺世路艱辛，不如意之事越來越多；如果裝作無動於衷，隱忍度日，深恐將來遭逢更慘的命運。他想自動離開京都，避居須磨。這地方在古昔曾有名人卜居，但聽說現今早已荒涼，連漁人之家也很稀少。住在繁華熱鬧的地方，又不合乎避地的本意；到離開京都遙遠的地方去，又難免懷念故里，牽掛在京的那些人。因此躊躇不決，心亂如麻。
反覆思量過去未來一切事情，但覺可悲之事不勝枚舉。這京都地方已可厭棄，然而想起了今將離去，難於拋舍之事，實在甚多。其中尤其是紫姬，她那朝朝暮暮惜別傷離、愁眉不展的樣子，越來越厲害，這比任何事情更使他痛心。以前每逢分別，即使明知必可重逢，即使暫時離居一二日，他也總是心掛兩頭，紫姬也不勝寂寞。何況此度分攜，期限無定。正如古歌所云：「離情別緒無窮盡，日夜翹盼再見時。」 如今一旦別去，則因世事無常，或許即成永訣，亦未可知。——如此一想，便覺肝腸斷絕。因此有時考慮：「索性悄悄地帶她同行，便又如何？」然而在那荒涼的海邊，除了驚風駭浪之外無人來訪，帶著這纖纖弱質同行，實在很不相宜，反而會使我處處為難。——如此一想，便打消此念。紫姬卻說：「即使是赴黃泉，我也要跟你同行。」她怨恨源氏公子的猶豫不決。
那花散里雖然和源氏公子相會之日甚少，但因自己的清苦生涯全然託庇公子照拂，所以她的悲嘆也是理之當然。此外與源氏公子偶有一面之緣的、或者曾有往來的女子，暗中傷心的人不可勝數。
那位出家為尼的藤壺皇后，雖然深恐世人說長道短，於己身不利，因而萬事謹慎小心，但也常常偷偷地寄信與源氏公子。源氏公子回想：「她往日若能如此相思，如此多情，我何等歡喜！」又怨恨地想：「我為她受盡煎熬，都是前生孽緣！」
源氏公子定於三月二十後離京。對外人並不宣布行期，只帶平素親近的侍從七八人，非常秘密地出發了。出發以前，只寫幾封信向幾個知心人告別，絕不聲張，悄悄地送去。然而信都寫得纏綿悱惻，語重心長，其中定有動人的好文章。可惜作者那時也心情混亂，無意仔細探訪，未能記述為憾。
出發前二三日，源氏公子非常秘密地訪問左大臣邸。他乘坐一輛簡陋的竹蓆車，形似侍女用的車子，偷偷地前往，樣子十分可憐，別人睹此光景，恍若置身夢幻。他走進葵姬舊居的室中，但覺景象好不凄涼！小公子的乳母以及幾個尚未散去的舊日侍女，與源氏公子久別重逢，盡皆歡喜，親切地前來拜見。看了他那委頓的姿態，連知識淺陋的青年侍女也都痛感人生之無常，個個淚盈於睫。小公子夕霧長得異常秀美，聽見父親來了，歡天喜地地跑過來。源氏公子看了，說道：「許久不見，他還認得父親，乖得很！」便抱起他，讓他坐在膝上，樣子不勝憐惜。左大臣也來了，與源氏公子面晤。
他說：「聞吾婿近來寂寞無聊，籠閉家園，本擬前去訪晤，閑話昔年瑣事。惟老夫已以多病為由，辭去官職，不問政事。若由於一己之事，以龍鍾老態頻頻出入，深恐外間蜚語謠傳，謂我急於私而怠於公。雖然已是隱遁之身，於世事可無須顧慮，然而權勢專橫，深可忌憚，因此閉門不出。聞吾婿即將離京，老年目睹橫逆之事，甚是傷心。世路艱險，言之可嘆！即令天翻地覆，亦料不到有此逆事。身逢此世，真覺萬事都無意趣了！」
源氏公子答道：「無論如此或如彼，儘是前世果報。推究其源，不外咎由自取。身無官爵之人，雖小犯過失，亦當受朝廷處分。若不自懲，而與常人共處世中，在外國亦認為非法。而似我身居高位之人，聽說尚有流放遠惡軍州之定例。服罪自當更重。若自謂問心無愧，而泰然自若，深恐後患甚多，或將身受更大之恥辱，亦未可知。我為防患未然之計，故爾先行離京耳。」他把離京赴須磨的情由詳細稟告了左大臣。
左大臣談及種種往事、桐壺院之事，以及桐壺院對源氏公子的關懷，衣袖始終離不開淚眼，源氏公子亦不免陪著揮淚。小公子無心無思地走來走去，有時偎傍外祖父，有時親近父親。左大臣看了異常傷心，又說：「逝世之人，我時刻不忘，至今猶有餘悲。但倘此人尚在世間，目睹此種逆事，不知何等傷心。今短命而死，免得做此噩夢，在我反覺心慰。惟此幼小孩童，長此依附老人膝下，不得親近慈父，實為最可悲傷之事。古人即使真犯罪過，亦不致身受如此之重罰。吾婿蒙此不白之冤，想是前世孽障所致。此種冤獄，在外國朝廷亦不乏其例，然必有明確可指之罪狀。但此次之事，教人百思不得其原由，實甚可恨！」話語甚長，不能盡述。
那個三位中將也來了。他陪源氏公子飲酒，直到夜闌。是晚公子便留宿於此。舊日的侍女都來伺候，共談往事。其中有一個叫做中納言君的，向來暗中受公子寵愛，勝於別的侍女。這一天此人口上雖然不便說出，而心中竊自悲嘆。源氏公子看到她的模樣，也在心中偷偷地可憐她。夜色漸深，眾人都睡靜了，獨留這中納言君陪伴公子談話。他今晚留宿於此，大約是為此人吧。
將近黎明，天色尚暗，源氏公子便起身準備出門。其時殘月當戶，景色清幽，庭中櫻花已過盛期，而枝頭猶有殘紅，凄艷可愛。朝霧瀰漫，遠近模糊，融成一片，這風趣實比秋夜美麗得多。源氏公子靠在屋角的欄杆上，暫時欣賞這般美景。中納言君大約是要親來送別，開了邊門，坐在門口。源氏公子對她說：「再會之期，想是很難得的了。以前料不到有此世變，因而把隨時可以暢聚的年月等閑度過，回想起來實甚可惜！」中納言君默默不答，只是吞聲飲泣。
老夫人派小公子的乳母宰相君向源氏公子傳言：「老身本欲親自與公子晤談，只因悲憤之餘，心亂如麻，擬待心情稍定，再圖相見。豈料公子在天色未曉之時即將離去，殊覺出人意外。這可憐的孩子尚在酣眠，能否待他醒來相送？」源氏公子聞言，淚盈於睫，便吟詩道：
「遠浦漁夫鹽灶上，
煙雲可似鳥邊山？」
這不像是答詩。他對宰相君說：「破曉的別離，並非都是如此傷心的吧。但今朝的傷心，想必能蒙理解。」宰相君答道：「別離兩字，教人聽了總是不樂。而今朝的別離，特別令人傷心！」說時聲淚俱下，可知異常悲慟。源氏公子便央她向老夫人傳言：「小婿亦有種種話語欲向岳母大人面稟，其奈悲憤填胸，難於啟口，此情伏望諒鑒。酣眠之幼兒，倘令見面，反使我依戀不舍，難於遁世，因此只得硬著心腸，匆匆告辭了。」
源氏公子出門之時，眾侍女都來窺看。其時月落西山，光輝轉明。源氏公子映著月光，愁眉不展，神情異常清艷。即使是虎狼，看見了也會泣下，何況這些侍女都是從小與他親近的人。她們看到他那優美無比的容貌，心中都異常激動。確實如此。老夫人的答詩云：
「煙雲不到須磨浦，
從此幽魂遠別離！」
哀思越來越多，源氏公子去後，滿堂之人盡皆泣不成聲。
源氏公子回到二條院私邸，但見自己殿內的眾侍女似乎昨晚沒有睡覺，群集在各處，都在悲嘆時勢的乖變。侍從室里人影全無，這都是平素親近的人，他們為欲隨從公子赴須磨，都回去與親友道別了。與公子交情不深的人，惟恐來訪問了將受右大臣譴責，因而增多煩惱。所以本來門前車馬雲集，幾無隙地；如今冷冷清清，無人上門了。此時源氏公子方悟世態之炎涼與人情之澆薄，感慨系之。餐廳里的飯桌半是塵埃堆積，鋪地的軟席處處摺疊起來了。源氏公子想：「我在家時尚且如此，將來我走了，更不知何等荒涼呢！」
來到西殿，但見格子窗還不曾關，大概紫姬通宵凝望，不曾就寢。眾青年侍女及女童都在各處廊下假寐，看見公子來了，大家起來迎接。她們都作值宿打扮，憧憧來往。源氏公子看了，又不免傷心，他想：「今後再經若干年月，這些人不耐寂寞，勢必紛紛散去。」平日向不在意之事，現在都觸目驚心。他對紫姬說：「昨夜只因有這些事，直到破曉才能回家。想你不會疑心我胡行亂為吧。至少在我還居住於京都的期間，是捨不得離開你的。但是現在即將遠行，牽懷之事，自然甚多，豈能閉門不出？在這無常的世間，被人視為薄情而唾棄，也畢竟是痛心的。」紫姬只回答道：「除了此次之事以外，世間哪有更大的飛來橫禍呢？」她那傷心苦思之狀，異於他人，自是理之當然。因為父親兵部卿親王一向疏遠，她從小依附源氏。何況父親近來懼怕權勢，對公子音問久疏，此次亦絕不前來慰問。旁人見此情形，定然訕笑，紫姬深以為恥。她想：當時不教父親知道她的下落，倒反而乾淨。
兵部卿親王的正夫人——紫姬的繼母——等人說：「這妮子突然交運，立刻倒霉，可見是命苦的。凡是關懷她的人，母親、外祖母、丈夫，一個個都拋棄她了。」這些話泄露出來，傳到了紫姬耳中。她聽了非常痛心，從此也絕不與娘家通問了。然而此外全無依靠，身世好不孤單！
源氏公子諄諄開