且說小松三位中將維盛卿，雖然身在屋島，心思卻早與京城相通。留在故鄉的夫人，還有年幼子女的身影，似乎一直纏在身邊，無暇忘懷。自忖道：「有身而無用，何以生為？」便於元曆元年 三月十五日破曉時分，偷偷溜出了屋島邸舍，帶著與三兵衛重景 、童僕石童丸 ，加上行船熟手舍人武里 三人，從阿波國結城浦 乘著小船，穿越鳴門海上 ，劃向紀伊路。經過和歌、吹上 、奉祀衣通姬 的玉津島明神 、日前、國懸 二神宮之前，終於抵達了紀伊港 。維盛心想：「從此沿山路進京，便可與相思中之妻小再度相見。然而本三位中將 被俘後，在京城大路上遊行示眾，又在鎌倉負屈受辱，可怨可恨，豈可遺忘。如果連自己亦被生擒，必然辱及先父之名，將更可悲。」千思萬想，煩悶掙扎之後，結果卻終於進入了高野山。
在高野山有一位相識多年的法師。是三條齋藤左衛門大夫以賴 之子，名齋藤瀧口時賴 。原先是小松殿重盛的侍從武士。十三歲時在瀧口武者所當差。建禮門院有一個雜役下女名橫笛。瀧口愛之入迷。其父輾轉得知，嚴飭道：「本以為宜當權門之婿，仕途便可一帆風順，卻愛上身份卑賤之女。」瀧口辯道：「聽說古有西王母，今已不在。又有東方朔 ，但聞其名而未見其人。在此老少不定之世，無異石火之光 。即使人得長命，亦不過七十、八十。而其間身強力壯之期，僅有二十餘年。人世如夢似幻，若與醜女相伴，即使片刻，又有何用。如與戀人見面，則等於違背父命。是善知識也 。厭離此世，進入佛道，此其時矣。」於是落髮出家，年僅十九，在嵯峨往生院 靜心修行。
橫笛耳聞此事，怨道：「將我遺棄，無話可說。但竟至變裝出家，實在可恨之至。既然決定遁此俗世，為何不先告我一聲？不管此人如何絕情，誓必訪之以泄我憤。」於是有一日黃昏，橫笛離開了京都，步履蹣跚地往嵯峨走去。
時當二月中旬，在春風搖蕩的梅津里 ，飄溢著不知何來的花香，引人幽思。大井川 上的月光，霞蔚而朦朧。戀慕之情無端無限，究竟為誰而來？到了往生院，因為不知其所住是何坊舍，問來問去，毫無結果。只得走走停停，未免教人心疼。忽然從一間殘破的僧坊中，傳來了念佛誦經之聲。不錯，是瀧口入道的口音。橫笛便叫同來的女伴前去傳話道：「妾今到此相訪，君雖已變裝，仍盼能再見一面。」瀧口入道胸口一陣騷動，從障子門縫中偷偷往外看去，只見橫笛孤零零無人理會的可憐模樣。此時道心再強的人也難免不會崩潰。但猶疑片刻，便叫人出來說道：「此處並無此人。可能找錯門了。」終於還是不肯相見。橫笛無可奈何，只好含怨忍氣，掩泣而歸。瀧口入道對同坊的僧侶說道：「住在此地，念佛修道，極為清凈，一無障礙。但既為藕斷絲連之女所知，即使能忍心一次，如果再戀慕而來，難保不為所動。告辭。」便離開了嵯峨，登上高野山，住進了清凈心院 。後來聽說橫笛也出家為尼，瀧口入道因詠歌一首以贈之：
厭離穢土前，怨我日纏綿。可喜剃度後，修道結善緣。
橫笛答歌云：
削髮而出家，無怨亦無恨。君腸如木石，何苦為情困？
橫笛在奈良法華寺 出家，但情海難渡，鬱郁成疾，不久便離開了塵世。瀧口入道聞知此事，更加深其信仰，專心修道。父親終於許其出家。親人亦莫不尊而信之，稱之曰高野聖僧。
三位中將平維盛便是為了尋訪此人而來。回想仍在京都時，看他身穿無紋布衣 ，頭戴立烏帽子，穿著整潔，雙鬢平貼，儼然是翩翩一俊男。出家之後，今日首次再會，只見年未三十而瘦骨嶙峋如老僧，墨染衫上披著墨染袈裟，顯然已成修心積德極其高深的有道之人，實在不能不教人仰慕。漢代四皓之商山 ，或晉朝七賢之竹林 ，想來也不過如高野而已。