池大納言平賴盛離開時，也放火燒毀了府邸池殿。但到了鳥羽殿 南門，卻停住了馬，說道：「有事忘記了。」便割掉平氏紅色家徽 ，帶著三百餘騎折回都城去了。平家武士越中次郎兵衛盛嗣 ，跑到大臣殿宗盛面前稟告道：「請看。池大納言似已決定留在京城，而其隨從武士亦多隨之，真是豈有此理。或許不可直射大納言，何妨射其武士一箭。」大臣殿曰：「如此忘卻多年大恩，眼看我平家時運不濟，便可不顧大義、拒與同生共亡之徒，且勿予理會。」無可奈何，只好作罷。大臣殿忽然想起，問道：「小松殿一家諸公子 如何？」答道：「未見一人同來。」此時新中納言知盛埋怨道：「離京不到一日，便已眾叛親離，豈止寒心而已。況且將來如何更難預測。寧願留在京城，聽天由命。」說著淚如雨下，還狠狠地瞪了大臣殿一眼。
且說，池殿賴盛之所以折回京城，個中不無因由。向來兵衛佐源賴朝恆常表示善意，屢次致書賴盛保證：「足下之事絕不敢等閑視之。猶如故池禪尼殿 仍然在世也。八幡大菩薩其鑒之，絕不食言。」信誓旦旦，時有密札往來。而且每次派人追討平家時，總不忘特別交代：「萬萬不可向池殿兵士放箭。」可謂有情有義。賴盛前思後想：「平家一門面臨絕境，且已逃離京都。今後唯有依靠兵衛佐矣。」於是才決定折回京城，隱居在仁和寺中八條女院的常葉殿 。原來八條女院的乳母之女、人稱宰相殿的女官，便是賴盛的妻室 。賴盛求道：「萬一有事，務必救我賴盛一命。」女院道：「如果世態人情依舊。」話中模稜兩可。其實縱使兵衛佐確有誠意相助，其他源氏的想法卻一無所知。如今賴盛自己貿然脫離了全家，只覺無浪可浮、無岸可靠，了無頭緒，忐忑不安。
再說，小松殿的公子三位中將維盛卿等兄弟六人，率兵馬千餘騎，在淀川六田河原 趕上了行幸的行列。大臣殿若有所待，大喜道：「何以如此其遲？」三位中將曰：「幼小者難分難捨，萬般勸慰，是以來遲。」大臣殿問道：「心腸之硬竟至於此，何故未攜六代公子同行？」維盛道：「前途未卜，茫然不知所措。」不禁悲從中來，潸然淚下，令人同情。
平家出奔者有誰？前內大臣宗盛公、平大納言時忠、平中納言教盛、新中納言知盛、修理大夫經盛、右衛門督清宗、本三位中將重衡、小松三位中將維盛、新三位中將資盛、越前三位通盛。殿上人有：內藏頭信基、贊岐中將時實、左中將清經、小松少將有盛、丹後侍從忠房、皇后宮亮經正、左馬頭行盛、薩摩守忠度、能登守教經、武藏守知章 、備中守師盛、淡路守清房、尾張守清貞、若狹守經俊、兵部少輔尹明 、藏人大夫業盛、大夫敦盛。僧侶有：二位僧都全真 、法勝寺執行能圓 、中納言律師忠快 、經誦坊阿闍梨佑圓 。武士有受領 、檢非違使、衛府 、諸司官員一百六十人。總共七千餘騎，都是兩三年來，幾次東征北討後，所剩僅有的人馬。
一行將御輿抬至山崎關戶院 停下，人人遙拜男山八幡宮。平大納言時忠卿祈道：「南無歸命頂禮。八幡大菩薩，祈願皇上以及我等，皆能再返京都。」聽來教人鼻酸。回首來時路，只見雲霞蔽日，寂寞的煙塵浮在空中，一片迷濛。平中納言教盛卿詠道：
無常人間世，駕幸入雲天。匆匆離京後，處處起烽煙。
修理大夫經盛亦詠一首：
回頭故里路，無處非焦原。前程煙波邈，何時了塵緣。
姑且以故鄉為一片煙塵而遠隔之，而奔赴迢迢萬里、渺無垠際之雲路。各人心中之悲痛，不言而喻。
肥後守貞能聽說有源氏埋伏在淀川河口，鬥志頓昂，便帶了五百餘騎前去攻擊。原來是誤傳。在回營的路上，到宇度野 附近時，遇到行幸的行列。貞能跳下馬來，將大弓挾在腋下，快步走到大臣殿面前，畢恭畢敬地問道：「到底從此將逃往何處？若下西國，變成流亡之徒，將處處慘遭追捕或砍殺，而遺留臭名於後世，是可悲憾也。不如留在京中，決一死戰。」大臣殿曰：「貞能呀，汝有所不知。木曾率五萬餘騎，已自北國逼近京都。比睿山東坂本，遍地無非敵軍。今日夜半時分，法皇忽然失蹤，不知私往何處。如果僅為我等設想，早已置生死於度外。然而極不願讓女院、二位殿 等，目睹慘狀而擔驚受怕，是以決定行幸外地，並攜帶家人同行，以便暫避災禍。」貞能道：「既然如此，貞能寧願在此告別，返回京城，與敵周旋，或有可為。」於是將所率五百餘騎，交與小松殿諸公子，手下只帶三十騎奔回了京城。
貞能回京之後，流言立刻傳開。或以為將捕殺平家滯留京中的殘黨。池大納言賴盛道：「難道是為我而來？」因之大為恐慌而日夜難安。貞能在西八條燒毀後的廢墟上，撐起了大帳幕，草草過了一宿。不過，預期中可能返回京城的平家公卿，居然一人也沒出現。儘管貞能浩氣凜然，有死而後已的悲願，但是形勢落寞，孤掌難鳴。沮喪至極之餘，只覺得絕不能受到源氏馬蹄的蹂踐。於是帶人去掘開了小松殿重盛公的墳墓，撿出遺骨，跪在其前，邊哭邊道：「唉，可嘆可恥啊。請看平家一門之行徑。古來即有『有生必滅、樂盡悲來』之語 ，卻從未見過當下這般醜態百出，如此不堪入目。主公素有所悟，所以祈求神佛三寶 早日來迎，離開此世。實在難能可敬。當時貞能理應義無反顧，追隨大人相伴同去，卻苟延無謂餘生，以至今日，甚而竟陷於目前困境，誠苦不堪言。貞能死時，敢請特來相迎，同至極樂凈土。」一邊哭著，一邊對在他世的主人亡靈傾訴。隨後便將遺骨送至高野 ，周邊墳土則倒入賀茂川，付之流水。或許對世態人情終有所悟，乃決定走上與平家相反的方向，逃奔到東國去了。原來貞能曾奉命照顧過宇都宮朝綱 ，可謂仁至義盡；聽說因為有此段情誼，貞能才去投靠宇都宮，而且頗受優遇雲。