不久，法勝寺執行俊寬僧都、平判官康賴及丹波少將成經三人，又被放逐到薩摩國鬼界島 。該島遠離京師，須經波濤洶湧的海路始能到達。船隻往來不易。島上人煙稀少，偶爾遇見，卻不似內地人氏。色黑如牛。全身毛髮茸茸，語言不通。男人不戴烏帽子，女人不垂髮。不著衣裳，不似人形。沒有食物，只靠漁獵維生。無人耕田種稻，故無米穀之類；無人種桑養蠶，故無絹帛之屬。島中有高山，鎮日噴火。遍地硫磺，故又名硫磺島。山中雷鳴，或上或下。山麓不時急風驟雨。人在島上，別說一日，恐怕連片刻也保不了性命。
且說，新大納言在謫地定居下來，正想可以稍微放鬆心情，卻聽到兒子丹波少將成經流配鬼界島的消息，只覺得心灰意懶，感嘆命運何以如此不濟。於是決意出家，乃托便郵向小松殿致意；旋獲法皇諭旨允許，不久便出了家。脫下了榮華的裝束，換上了墨染的法衣，冷對憂患人世，顯得一副落落穆穆的樣子。
大納言夫人在京都北山雲林院近旁避世隱居。乍到陌生住處，即使常人也會感到為難與不便；何況又要避人耳目，不能拋頭露面，因此每日都生活在愁雲慘霧之中。從前雖有許多女官與侍衛，但因怕世人指認或不願公開露面，所以敢來探訪者竟無一人。其中倒有一個名叫源左衛門尉信俊的武士 ，情深意摯，常來探望。一日，夫人召見信俊，說道：「聽說夫君原在備前國兒島，最近又聽說搬到有木別所。不知有何方法，只要一次，請人攜帶我文筆拙劣的書信去給他，也很想得到他的迴音。」
信俊含淚說道：「從小即蒙主人垂憐關愛。長大後隨侍左右，不敢稍離片刻。主公發配時，曾懇求陪伴同往，卻得不到六波羅方面的允許，未能如願。回想主公召見的聲音，仍在耳際；訓誡的言語，銘之心中，無時或忘。不管此身會遭到什麼不測，一定把書信送到主人手上。」
夫人鬆了口氣，高興異常，趕緊寫好了信。幼小的子女也各寫一封。信俊攜著信函迢迢南下，奔到備前國有木別所。首先與護衛武士難波次郎經遠交涉。經遠感其至誠，立刻准他進去會面。
大納言入道 正在擔憂京城事態、唉聲嘆氣之際，聽見有人說道：「信俊自京城來到。」驚喜交集，「此，此非夢耶？」站起身道：「進來，到這邊來。」信俊晉見。居處的簡陋固不必說，一看到墨染的法衣，更覺眼昏心碎。一五一十稟報了夫人所交代的口信，然後取出一束信函奉上。打開看時，淚眼昏蒙，信上筆跡顯得模糊不清，只見寫道：「看著孩子念念不忘、愁鎖眉間的樣子，想到自己無限的相思之情，朝朝暮暮，不堪其苦。」大納言讀到此處，更加悲傷，覺得自己平日的哀嘆也不值一提了。
倏而過了四五日，信俊道：「小人想留下來伺候大人，直到百年之後。」然而護衛武士經遠卻期期以為不可。無奈其何，大納言道：「那就回京去吧。」隨即又說道：「我怕不久便將遭處極刑。聽到我已不在此世後，別忘為我祈願來世冥福。」於是寫了回信，信俊接過信函後，便告辭道：「一定再來拜望。」大納言道：「汝果再來，恐已不在人世矣。的確令人懷念，所以多待一會再走。再待一會。」如此幾次，信俊要走了，又叫他回來。
如此欲走不走也不是辦法，信俊最後還是含淚返抵京城，立即呈上了攜回的書信。夫人打開一看，有一束頭髮，始知夫君已經出家，再也不忍往下看。又怨又恨，俯伏哭泣。孩子們也隨著哭泣起來。
同年八月十九日，在備前、備後兩國交界庭瀨鄉吉備的中山地方 ，大納言入道終於被殺了。關於他的死有種種傳言。首先在其酒里下毒，未能成事。改在兩丈 深的山崖下豎了菱形刺叉，從崖上推他下去，刺穿身體而死。其手段之殘酷，前所未聞。
大納言夫人聽說夫君已不在人世，說道：「以前想方設法，無非希望有朝一日能再互見一面，所以遲未落髮改裝。而今而後，生有何用。」便進菩提院 削髮為尼，循例念佛修道，專一法事，祈願來生。此位夫人是山城守敦方之女。美色舉世無雙。據云原為後白河法皇無比寵愛的妃子，後來賜予無比寵信的臣子成親。年幼的子女也各自摘花、汲水供佛，祈禱父親來世冥福。時過境遷，世殊事異，與天人五衰並無不同 。