治承四年正月初一，因為沒有入道相國的許可，法皇也有所顧忌，所以元旦到初三之間，無人敢到鳥羽殿來恭賀新禧。只有故少納言入道信西之子櫻町中納言成范卿 、其弟左京大夫修范 ，例外獲准前來晉謁。同月二十日，舉行東宮著褲與嘗鮮儀式 。雖然可喜可賀，但在鳥羽殿的法皇聽來，反正事不關己，彷彿耳邊風一般。
二月二十一日，今上高倉天皇雖然龍體無恙，卻被逼讓出皇位，以便東宮踐祚。此乃入道相國任情恣性、胡作非為之所致。平家人人以為時來運到，熱熱鬧鬧，大事慶祝。神鏡、神璽、神劍三種神器 必須辦理移交。諸公卿排序而坐，依循舊規，進行交接儀式。弁內侍 托著寶劍出來，走到清涼殿西側，交由泰通中將 收下。備中內侍 捧出御璽盒子，轉給隆房少將 。內侍們覺得能夠親手捧持寶劍與御璽的機緣，今夜應是最後一次了。一想到此，不禁感慨萬千，茫然若有所失。本來神璽按理該由少納言內侍 來拿，只是她聽人說，如果今夜親手碰到神璽的盒子，將永遠當不了新帝的內侍，所以臨時打了退堂鼓。其實，此位內侍年事已高，卻妄想芳華再度，人人皆嗤之以鼻。至於備中內侍，只有十六歲，年紀輕輕，卻自告奮勇，實在難能可貴。皇室歷代相傳的三種神器，各由負責的官吏接過手，送到了新帝的御所五條殿 。
高倉上皇的閑院殿 ，如今燈光昏暗，既無雞人 報曉之聲；守衛武士的報名唱號，亦成絕響。殿中所有舊人莫不頹然喪志，即在可喜可賀的慶典上，也不免痛心流淚。左大臣經宗殿 走到座前，正式宣布讓位受禪的原委，聽得有心人淚濕衣袖。其實，即使自願把皇位讓給儲君，成為上皇，以便在御所悠然度其清凈無為的日子，也恐怕會悲從中來，感慨系之。何況此次讓位是被逼下台，並非出於自願，其感慨之深更是一言難盡。
新帝今年才三歲。當時世人見面，便互相言道：「啊，此番讓位確有過早之嫌。」平大納言時忠卿身為新帝乳母帥典侍的丈夫 ，便加以辯解道：「有誰能說此次讓位過早？在異國，周成王三歲 、晉穆帝二歲 ；在我朝，近衛天皇三歲、六條天皇二歲，皆尚在襁褓之中，無冠無帶，或由攝政負之以即位 ，或由母后抱之而臨朝 。後漢孝殤皇帝生後百日而踐祚 。天子年幼而繼位，和漢不乏先例。」當時，熟悉故實的人都竊竊私語道：「啊，真是說得莫名其妙。不如不說。難道此等先例，便是良好的典範？」
皇太子受禪後，入道相國夫婦既是外祖父外祖母，即獲准三后宣旨 ，加賜年官年爵 ，並可使喚在宮中值勤的差役。於是，府邸有華冠麗服的武士出入，渾似宮禁或上皇御所一般。相國出家入道之後，顯然榮華未減。以前，出家人而承准三后之旨者，唯有法興院大入道藤原兼家公 一例而已。
同年三月上旬，高倉上皇有行幸安藝國嚴島之議。依照過去慣例，帝王讓位之後臨幸神社，不是八幡就是賀茂、春日等處 ，因此為何要遠赴安藝國，世人都感到不解而訝異。有人試著解釋道：「白河上皇臨幸熊野權現，後白河法皇臨幸日吉神社 。由此可知，此次亦應出於高倉上皇一己的睿智；其心中必有深潛的願望。嚴島最受平家尊崇，形同家廟，仰之無極。所以參詣嚴島，外則可以表態與平家同心同德，聲氣相求；內則擔心幽閉在鳥羽殿的後白河法皇，解禁無期，祈願入道相國能淡化其敵愾之心。」
山門大眾 卻忿忿不平，揚言道：「如非石清水、賀茂、春日，便應前來我山王權現。臨幸安藝之例，到底始於何時？如若屬實，誓將抬出神輿下山，阻其行幸。」因為有此爭議，行幸便決定暫時延期。經過太政入道的好說歹說，多方勸慰，山門大眾才安靜下來。
同月十七日，高倉上皇終於出門，開始嚴島之行。首先來到入道相國的西八條府邸。當日垂暮時分，召見前右大將宗盛卿，問道：「明日，頗想順路到鳥羽殿去參謁法皇，不知高見以為如何？必須知會入道相國一聲否？」宗盛卿淚如泉湧，答道：「無此必要。」上皇道：「然則宗盛，今夜可將此事轉達鳥羽殿。」宗盛卿隨即馳往鳥羽殿，上奏此事。因為法皇盼之已久，忽得佳音，又驚又喜，因道：「夢耶非耶？」
同月十九日，夜色仍深，大宮大納言隆季卿 便來催駕。日來成為話題的嚴島行幸，終於從西八條正式啟程了。三月已過其半，黎明前的下弦殘月，朦朧雲霞之間。飛向北國的歸雁，啼過長空，聞者為之肝腸寸斷。東方未白之前，抵達了鳥羽殿。在大門前下了車，走進門內。不見人影，但見樹木陰森，屋宇寂寥，一片悲涼景象。陽春將盡。夏木成蔭。樹梢花色早謝，宮中鶯語已老。猶憶去年正月六日，行幸法住寺殿朝覲時，樂屋亂聲齊奏 ，諸公卿排列而立，六衛府武士擺開陣式，法皇院司公卿皆來迎駕。幔帳之門大開，掃部寮以長席鋪路 。然而，今日一無所有。憶往思今，彷彿一場春夢。
成范中納言稟告上皇的駕臨。法皇出來，在寢殿的階隱間 相候。上皇今年貴庚二十。在黎明微芒的月光下，顯得容姿俊秀、舉止閑雅，越看越像母后建春門院 。法皇回想故後生前的種種，不禁淚流滿面。法皇與上皇的御座相距，近在咫尺。誰也聽不到他們父子間的談話。僅有老尼一人侍候在側。對話良久。不覺日上三竿，上皇才起身告辭，在鳥羽草津 乘船，航向安藝國而去。
高倉上皇看了法皇所住的離宮，誠然閑靜，但陳舊荒涼，必定幽忿難耐，感到極為不忍。法皇則想像上皇的海上行轅，難免驚濤駭浪，為之心神不安。居然撇開宗廟 、八幡、賀茂，而迢迢臨幸安藝國，嚴島明神豈能無動於衷？故其所願，必得成就，殆無可疑。