平家正在計畫定新都、造皇宮之際，聽到緒方維義謀反的傳聞，頓時慌成一團，不知如何應付。平大納言時忠卿道：「維義原是小松殿家臣。可選派小松殿公子一人，前去安撫，試行說服，如何？」眾口道：「主意甚佳。」於是，小松新三位中將資盛卿率五百餘騎，進入豐後國，百般勸說。維義不但不為所動，反而勸道：「本來現在可將足下就地逮捕，但在辦大事之前不管小事 ，即使捉了足下，也是小事一樁，無補於大局。快快趕回大宰府，可與平氏一門同生共死，面對天命才是。」便將資盛及所帶兵馬趕回去了。
維義旋即派其次男野尻二郎維村 為使者，前往大宰府，宣稱道：「平家是我家大恩主，原應除去甲胄弓箭，才可晉謁。但此次有後白河法皇諭旨，著從速將平氏逐出九州。所以請立刻離開此地。」平大納言時忠卿身穿緋線系袖直垂、葛布裙褲，頭戴立烏帽子，出來面對維村曰：「夫我君王乃天孫四十九世正統、人王八十一代天皇 。是以天照大神、正八幡宮必加護我君。尤其故太政大臣入道殿，平定保元、賓士兩度逆亂，招納九州諸國為朝廷效力。如今竟追隨大鼻豐後守之後，聽信東國、北國兇徒賴朝、義仲之虛言巧語，以為如果成事，即可授予國守或賜予莊園。胡說八道，豈有此理。」豐後國守刑部卿三位賴輔卿有龐大的鼻子，所以時忠卿才如此說。
維村回來，向父親如實稟報。維義道：「莫名其妙。古是古，今是今。既然如此，最好趁早驅之出境。」乃準備出擊。平家武士源大夫判官季貞、攝津判官盛澄 卻道：「為今後同僚設想，不能再受其辱。盍往生擒之？」便率三千餘騎馳往筑後國竹野本庄 ，奮戰了一日一夜。無奈維義軍勢如雲，畢竟寡不敵眾，只好撤回了。
平家風聞緒方三郎維義率領三萬餘騎，即將來攻。人人張皇失措，未及帶走應帶之物，便匆匆退出了大宰府。沮喪地離開了賴以護持的天滿天神。一時找不到轎夫，所謂蔥花輦、鳳輦 也因而只能聞其名、不見其物了。皇上不得不坐著腰輿 上路。自國母建禮門院以下，身份高貴的各位女官，都撩起裙子下擺；大臣殿以下諸公卿、殿上人，也都卷上褲管。跣足徒步，走出了水城戶 ，唯恐落在人後，搶先逃到了箱崎津 。恰逢驟雨，滴如車軸 。風卷沙塵。落淚與雨水不分，模糊了眼光。虔誠拜過住吉 、筥崎 、香椎 、宗像 等神社，但願天皇早日回幸舊都。越過垂水山 巍峨峻岭，僥倖抵達鶉濱險灘 海岸，古稱名切之宿，自京都往大宰府多經此地。內浦至蘆屋有沙濱，長約十公里。海邊有松林，曰岡之松原。">，走向渺渺平沙。平生不慣跣足趕路，只見腳底出血滴染了沙礫，紅褲增濃其色，白褲下擺變紅。遙想當年，玄奘三藏 翻越流沙蔥嶺之苦 ，再苦也不過如此。然而，玄奘是為了求法，利他又利己。平家則為怨敵所逼，一想到後世恐怕仍然苦海無邊、回頭無岸，更悲不自勝，不由得感慨萬千。
原田大夫種直率二千餘騎正趕來隨行。山鹿兵藤次秀遠 也以數千騎之眾出迎平家。只因種直、秀遠兩人一向不和，彼此視如寇讎，種直覺得有所不便，便在途中折回家去了。
平家一行經過叫作蘆屋津 的地方時，想起過去在京城通往福原的路上，也有同名的村裡，更覺可懷可念，不禁悲從中來。原來還想流亡到新羅、百濟、高麗、契丹，甚而遠至雲邊海角，卻逢逆風逆浪，未能如願，只得跟隨兵藤次秀遠到山鹿城 中。但聽說敵人也將進攻山鹿，乃徹夜分乘許多小舟，摸黑划到了豐前國的柳浦 。在此又有建造皇宮之議，只因地面太窄而作罷。旋又風聞源氏將經由長門國攻來，便又分乘漁人小舟浮到海洋去了。
小松殿的三男左中將清經，本來便好沉思冥想，自忖道：「京都已被源氏佔據，在九州又被維義趕走。身如網中之魚，欲逃而不得其門。苟且以延一時之命，亦不長久矣。」乃在月光下，走出船艙，心澄如鏡，吹了橫笛，詠了詩歌，誦了經，念了佛，便投海自沉了。男女悲泣哀悼，又有何用。
長門國是新中納言知盛卿的領地。當時的目代 是紀伊刑部大夫道資，獲悉平家分乘小舟正在海上漂浮，當即獻上了大船百餘艘。平家改乘大船之後，便航向四國之地。阿波民部重能 下令，著召集四國人士，在贊岐屋島 建造板屋宮殿與皇居。造成之前，既不能讓皇上住在簡陋民房，所以決定留在船上為暫時御所。大臣殿以下諸公卿殿上人，則在漁夫的蓬屋中度日，在卑賤人家的床上過夜。龍頭鷁首 浮在海上，但海上行宮絕無寧靜之時。心懷深愁，如浸月之浪潮；命逢危殆，似凝霜之蘆葉。淺灘群鳥呼噪，徒增曉天之恨；磯岸搖櫓聲響，空擾終夜之悲。望遠松白鷺聚集，疑源氏之軍旗高舉；聞遼海夜雁齊鳴，恐敵兵之舟隊來襲。潮風侵膚，翠黛紅顏之色漸衰；蒼波穿眼，懷土望鄉之淚難抑。紅閨翠帳變成土房蘆簾，錦爐熏香轉為陋屋炊煙。女眷女官們觸景傷情，血淚交流，眉黛漫漶，簡直判若不同之人。