翌年，治承三年正月下旬，丹波少將成經與平判官康賴，迫不及待地離開肥前國鹿瀨庄，趕路奔向京城。但春寒料峭，海上風浪又大，只能一浦一島，輾轉前行，直到二月十日左右，才抵達備前國兒島 。抵達之後，便出去尋訪父親大納言謫居處有木別所。在竹柱上或破舊的障子門等處，看到父親所留感懷遣興的墨跡，因道：「人間可為紀念者，莫過於手跡。若不曾寫下，則無由憑弔矣。」便與康賴入道兩人邊讀邊哭，邊哭邊讀。只見一處寫道：「安元三年 七月二十日出家，同二十六日信俊自京來此。」才知道源左衛門尉信俊曾來此地。又見在旁邊壁上寫道：「三尊來迎有便 ，九品往生無疑 。」看了墨跡，邊想邊說道：「果然有欣求凈土之願 。」從而在無限悲嘆中感到些許寬慰。
繼之，尋訪父親的墳墓。在一片松林中，只見一堆稍微突起的土堆，根本不像什麼墳墓。少將合攏雙袖，如對活人，哭訴道：「父親大人謫流異地，死於非命；消息傳至鬼界小島，亦略有所聞。唯身不由主，欲奔喪而恨未能，徒增內疚。成經流放小島之後，無依無靠，朝不保夕。譬如朝露之命，經二年而居然猶存。今蒙召回，延生有望，固然可喜；若大人在世，可以稟報膝下，才是真正可喜之事，而今已甚無謂矣。來時急匆匆不可待，此後既無目標，無須趕死趕活矣。」說著涕泗滂沱。大納言入道倘仍活著，說不定會追問何以言之。人世之悲，莫悲於幽明永隔，青苔黃泉下誰能答之？但聞隨風俯仰的陣陣松濤而已。
當夜整晚，少將與康賴入道二人行了念佛行道 儀式。天明之後，合力新築墓壇，圍上柵欄，墓前搭建臨時草棚，便在裡面念佛寫經，一連七日七夜。結願之後 ，豎立了木雕大卒都婆，上面寫道：「過去聖靈，出離生死，證大菩提 。」而在年號月日下署「孝子成經」。連那些身份卑微的樵夫無心中看到，覺得世上之寶莫過於兒子，都感動得淚灑衣袖。年去年來，難忘者過去撫育之恩，如夢似幻。不盡者當今孺慕之淚。三世十方 諸佛菩薩垂憐，先父亡靈亦諒必欣悅。因道：「本來應該留在此地，再多積點念佛功德，但怕京城有人望穿秋水，不耐久等，只好改日再來。」於是向亡者告別，哭哭啼啼地離開了。草叢陰里的亡魂也該依依不捨吧。
同年三月十六日，少將在天黑之前抵達鳥羽。此處有故大納言的山莊名洲濱殿。因為多年無人居住，有圍牆而無覆瓦，有框架而無門扉。走進庭院一看，空無人跡，苔深不掃。環視池邊，春風拂過秋山 ，吹起圈圈白色漣漪。紫鴛白鷗逍遙其間 。回想當年，有人曾經興會淋漓，寄情於此，不禁潸然淚下。房屋仍在，但欄門 破損，板窗與拉門都已不見。少將說道：「大納言殿在此起居作息。常從此旁門出入。那棵樹是其親手所種。」每提到一樁樁往事，便引起自己對父親更深的思念。時值三月中旬，櫻花尚未全謝。楊梅桃李則正逢花季，枝頭五彩繽紛，迎風招展。主人雖不在，花卻不忘春 。少將走到花下，觸景生情，吟詠古人的詩歌來。
桃李不言春幾暮，煙霞無跡昔誰棲 。
故鄉花不語，欲問無一言，從前多少事，只能問青天 。
康賴入道也感觸良多，不由得悲從中來，淚濕緇衣之袖。他們原想在垂暮時分便啟程入京，但實在依依難捨，竟然滯留下來。夜色漸深。明月當空，從荒廢的屋檐板隙間漏進房裡 ，處處泛白。雞籠山曙色已現 ，卻仍徘徊流連，不急於上回家之路。然而也不能永久留在此地，何況家中已派車子來接，想到家人翹首而望的心情，只好潸然走出洲濱殿，返回京城而去。此時心中一定是悲喜交集吧。
康賴入道亦有車子來接，卻未坐上，只覺得難捨難分，便與少將同車，直到七條河原。終於不得不在此告別，但其離情卻更覺不堪。花下半日客，月前一夜友。陌生旅人偶遇村雨而同避一樹之陰，臨別時尚且依依。何況同在孤島上吃過苦，同在船上浪里漂蕩過，可謂共業共果之身 。足證自前世以來，兩人間的因緣際遇實屬匪淺。
少將成經直奔岳父平宰相府邸。少將的母親原在靈山 ，昨日便來宰相府邸等候。一看到少將進來的模樣，只道：「幸而命在……」便欲語無言，以衣袖蒙頭，俯伏而泣。宰相家中諸女官與武士都擠進屋裡，同灑喜悅之淚。至於少將夫人、乳母六條，更別提心中有多高興了。六條由於愁緒萬端、心力交瘁，一頭黑髮已露霜白。夫人的天生麗質，不知不覺間，也顯得瘦削憔悴，判若兩人。少將流放時，才剛三歲的幼子已大到可以結髮了。又在夫人身邊，見有一個兩三歲的小孩，少將問道：「咿，此孩是誰？」六條道：「此孩便是……」話剛起頭，即以衣袖遮面，流下淚來。原來少將下放時，夫人玉體不適，好像又有身孕，卻無暇細問；後來便生了一個嬰兒，而且撫育成眼前如此健康的孩子。回想過去種種，不由得悲從中來，不勝欷歔。
少將仍回後白河法皇御所任職 ，晉陞為宰相中將。康賴入道在東山雙林寺 有自己的山莊，便在那邊住下，感懷往事，有歌云：
故裡屋檐下，板隙生青苔，有待月光漏，卻漏不進來。
於是便隱居於此，憶昔日之苦辛，著有物語《寶物集》 一書傳世雲。