卻說，放逐到鬼界島的三個流人，兩個已被召回京師。唯獨留下俊寬僧都一人，成了此一苦難之島的島主，實在殘酷不仁。有一個從小為僧都所喜愛的童僕，名叫有王。聽人說鬼界島的流人將於今日返抵京城，便趕到鳥羽去迎接，卻始終看不到自己的主人。問是什麼原因，有人答道：「因為罪孽深重，還留在島上。」有王聽了，心中悲哀至極，難過得無法形容。以後還常到六波羅附近去徘徊探詢，也聽不到任何再有赦免的消息。於是往訪僧都女兒隱居之處，稟道：「此次特赦獨漏主公，未能還京。我想設法前往該島，尋找主公行蹤。請寫一信，以便帶去。」小姐流著眼淚，寫好信後交給了他。本來出門應該請假，但知道不可能獲准，所以連父母也沒通知一聲。來回中國的唐船，要等到四五月間才會解纜開航，已是夏季了，未免太遲，因此在三月下旬便從京都出發。冒著多少怒潮激浪，終於抵達了薩摩海灣。
在薩摩國往海島的渡頭上，遭到戍卒見疑。剝衣搜檢全身，但有王毫不以為意。只有小姐的手書絕不能讓人看見，所以穩妥地藏在髮髻里。不久，趕上一隻商船，來到鬼界島一看，與在京城中偶爾聽到的傳聞，其趣大異。無水田也無旱田；無村莊更無里巷。雖然看到一些居民，但言語不盡相同。有王走向島上居民，開口道：「請問。」應道：「什麼事？」有王道：「此地有一位從京城流放下來的人，名叫法勝寺執行御房，知道他的下落嗎？」他們對什麼法勝寺、什麼執行御房一無所知，所以都盡自搖頭說：「不知道。」
其中有一人略知其事，說道：「是啊，是有三個人，不過聽說有兩個已被召回京都。現在只剩一人，在島上到處徘徊，卻不知他的下落。」有王想可能在山上，便披榛斬草，攀高峰，下幽谷，深入山中。白雲埋跡，已失往來之路；青嵐破夢，不見主人之影 。山上既然杳無蹤跡，便轉到海邊去找。只見海鷗在灘上印下的爪痕 ，白色沙洲上成群的海鳥而已。不見人影。
一日清晨，從磯岸那邊，有一個瘦削如蜻蜓的人，搖搖晃晃現出身來。以前大概是一位法師吧，頭髮衝天矗立，上面覆蓋著種種藻類，彷彿戴著一頂荊冠一般。骨瘦如柴，皮膚鬆弛。身上所穿非絹非布。一手握著幾片海帶，一手抓著一條魚。雖說是走著，但跌跌撞撞，步履維艱。有王想道：「在京城中曾看過不少乞丐，卻還沒碰到這般模樣的。經上說：『諸阿修羅等，居在大海邊 。』佛祖既然指出阿修羅所在的三惡四趣 ，便在深山大海邊界。難道自己已不知不覺迷入惡鬼道 了？」邊想邊向前走，兩人越走越靠近。有王覺得說不定此人可能知道主人行蹤。乃開口道：「請問。」應道：「有何貴幹？」問道：「此地有一位從京城流放下來的法師，名叫法勝寺執行御房，知其行蹤下落乎？」童僕有王一時認不出來，但僧都卻永遠不會忘記，只道：「我便是。」旋即拋下手上之物，昏倒在沙灘上。如此這般，有王終於找到了主人。
有王把主人扶將起來，讓他靠在自己的腿上，含淚道：「有王來了。經過了多少驚濤駭浪，排除了千難萬險，才終於找到此地。但一切白費了。豈能非讓有王嘗到這般苦果不可？」
稍頃，僧都慢慢蘇醒過來，有王扶他坐直。只聽僧都說道：「汝能迢迢來此尋我，心意誠然可感，甚好。遙想京城可眷可親之人，朝朝暮暮，無時或已。有時出現夢中，偶亦變成幻影。自從身體嚴重衰弱以來，已分不清是夢是真矣。故汝此來，亦以為幻夢一場。萬一是夢，醒後又該如何是好？」
有王道：「是真不假。看主公這般模樣，居然還能活到現在，真是奇蹟，不可思議。」僧都道：「確實如此。自去年被少將與判官入道遺棄之後，孤苦伶仃，心情之落寞，可想而知。當時所以未即投身海底，只因百般無奈，聽信少將虛誇敷衍之詞，以為返京後必能代為關說，而且以耐心等候京使相勸慰，故而苟且偷生，以至今日。但在島上並無可食之物。氣力猶在時，時時入山采硫磺，與九州商人換取食物。身體日衰，如今已力有不逮矣。勉強只能在風和日暖時，走到海濱，向撒網漁夫屈膝合十，乞討魚鮮。或在潮退時，撿貝類，拾海帶，采磯藻以維譬如朝露之性命，苟存至今。若非如此，豈有其他方法。原想在此向汝傾吐一切，不過先回家再說。」有王稍感好奇，心想落魄到如此地步，居然還有家可以回去，便跟隨其後，來到一簇松樹之間。只見一個小小的草棚，以幾根漂流竹子為柱，以成束的蘆葦為桁為梁，上下鋪滿松葉。其不足以擋風避雨，一目了然。
從前榮任法勝寺執行之職時，掌管八十餘所莊園事務。在官廳府邸之內，經常有四五百個僕從、眷屬、下僚之類，圍繞左右。如今眼看他潦倒喪氣、老態龍鍾，簡直不可思議。業報有種種。有順現業、順生業、順後業之別 。僧都過去用之於身上者，無一不是大伽藍的寺產或布施。此乃信施無慚之罪 ，可說是一種現世報。