儘管如此，冷泉大納言隆房卿與七條修理大夫信隆卿的夫人 ，為了表示關切，卻常常避人耳目，偷偷前來探望。女院感愧交加，忖道：「從未想到，必須依賴彼等度此殘生。」說著淚痕滿面。身旁的女伴們也都濕了衣袖。
女院現在的住處離京城不遠，路上往來雜踏，難於避人耳目。此生無常如朝露，但願在隨風而逝之前，隱入深山深深之處，不必再聽世間難堪之事。然而卻無此機緣。偶有一女官上前稟道：「大原山 深山中有寂光院 ，極為清靜。」女院道：「山村固然寂寞，但住在其中，總勝於憂患人間 。」於是決定遷居。肩輿之類，據說均由隆房卿夫人協助安排。
文治元年長月 下旬，女院終於遷入了寂光院。一路上觀賞樹杪霜葉，四面八方，色樣繽紛。山陰道上不覺日已垂暮。野寺晚鐘響徹空山。披草而行，濃露沾袖，與淚同濕。山風猛烈，落葉亂飛。忽然天空陰霾密布，秋雨瀟瀟而下。遠處傳來呦呦鹿鳴，隱隱約約；近邊響起唧唧蟲聲，斷斷續續。凄風苦雨，觸目傷神；慘慘戚戚，情何以堪。回想沿著海濱與島嶼漂泊的日子，也未嘗感到如此孤苦無依，又不禁悲從中來。
女院來到寂光院，只見岩石生苔，幽邃閑寂；覺得可以在此安安靜靜度完餘生。對著庭中凝露結霜的萩枝 ，籬下枯槁憔悴的菊花，總不免睹物思人，反躬自省，而悵怏無極。每次在佛前祈禱「天子聖靈，成等正覺，頓證菩提 」時，先帝的音容便緊緊挨在身邊，永生永世，豈能或忘？於是，在寂光院近旁築了一丈見方的尼庵，一間當寢室，一間當佛堂。從此晝夜勤修不倦，長時不斷念佛 。日居月諸，過著遁世修道的生活。
轉瞬間，到了神無月中旬五日 的黃昏。從靜寂的庭院中，忽然傳來好像有人踩過滿地楢葉的細碎腳步聲。女院驚訝道：「在此厭世者隱居之處，竟有人進來尋訪。不知是誰。若須迴避，最好立刻躲開。」說著叫人出去看了一下，原來是一隻小鹿。女院問道：「是何人？」大納言佐殿 含淚吟道：
深山岩谷間，阿誰來探路。颯颯楢葉聲，爭知是小鹿？
女院聽了，悲從中來，將此歌寫在小障子上以為紀念。
不過在與世隔絕、百無聊賴的生活中，卻也不免觸景生情，睹物寓懷。將排在檐下的盆栽比作七重寶樹 ；將蓄在岩間的山泉當成八功德水 。春花無常，隨風飄零；秋月有涯，伴雲隱沒。朝玩花乎昭陽殿 ，風來香散；夕詠月兮長秋宮 ，雲掩光晦。昔者，鋪錦褥於玉樓金殿，妙哉宮室；今則，結柴荊為小庵陋屋，人見人悲，無不落淚。