同年九月二十三日，鎌倉殿向朝廷建議，宜將平家留在京城的餘黨，悉數流放諸國。結果是：平大納言時忠卿流至能登國、其子贊岐中將時實流上總國、內藏頭信基流安藝國、兵部少輔尹明流隱岐國、二位僧都全真流阿波國、法勝寺執行能圓流備後國、中納言律師忠快流武藏國等 。或將浪跡於西海波上，或將飄搖乎東國雲端。此去無所適從，後會不知有期 ，茫無頭緒。人人含淚而別。心中悲酸可想而知。
其中，平大納言走訪刻下住在吉田的建禮門院 ，邊哭邊說道：「時忠身負重罪，今將遠赴謫地。同在京城之中，時想前來探望，並候起居，盼有所臂助，卻未能如願，頗以為憾。此去之後，風雲難測，實在不敢想像。」建禮門院道：「的確，平家殘餘唯有大納言一人。如今同情而來訪者尚有阿誰？」言罷，掩不住盈眶的淚水。
且說，此位平大納言是出羽前國司知信之孫、兵部權大輔追贈左大臣時信之子、故建春門院 之兄、高倉天皇之外戚。曾經享盡世上榮華與權勢，炙手可熱的人。其姊八條二位殿 又是入道相國平清盛的夫人，所以兼官兼職，如囊中取物，有願必償。職是之故，不到幾年，便官至正二位大納言 ，三次出任檢非違使別當。在檢非違使廳期間，捉到竊盜強盜時，不管有無罪證，一律砍其右肘後加以放逐。因此人稱惡別當 。去年法皇降旨西國，要求平家奉還天皇與三種神器時，在院宣御使花方臉頰烙上浪方二字者，便是此位大納言 。
平大納言是故建春門院的胞兄，法皇由於想念女院，有意讓他留在京城以便時相見面，但因其種種惡劣行徑，人所共憤，只好作罷。九郎判官義經與平大納言有翁婿之緣 ，雖然想盡辦法，盼能免其流罪，也未能如願。大納言之子侍從時家 ，今年十六歲，免受流刑，住在舅父時光 卿家；與其母帥典侍殿拚命抓住父親的衣袖，覺得從此一別，將成永訣，極端不舍。大納言道：「人生在世，最後必有別離之日。」雖然故作鎮定，但心中的悲傷不言而喻。
到了垂暮之年，終於不得不離開親睦的妻子。一路上頻頻回顧久已住慣的京城，逐漸隱沒在天邊，踏上了從前只聞其名的越路 之旅。有人相告曰，彼處是志賀、唐崎 ，此邊是真野河口、堅田浦 。大納言泣涕漣漣，詠歌道：
此去成永訣，堅田愁鬱結。淚如網中水，漏眼流不絕 。
昨日浪跡西海波上，怨憎會苦 之恨鬱積扁舟之內；今日埋沒北國雪下，愛別離苦 之悲交付故鄉之雲。