另有一樁傷心慘目的風流往事。有一個少女，原是中宮身邊某位女官所使用的人，意外地受到高倉天皇的寵愛。其寵愛之情，並非世間常有的那種露水姻緣，而是朝朝暮暮，眷眷纏綿，頻頻召幸。身為主人的女官眼看皇上如此認真，便也不好再將她當下人使用，反而待之如主子，不敢稍有怠慢。古時謠詠有云：「生女勿悲酸，生男勿喜歡。男不封侯女作妃 。」將來不是沒有承恩策妃封后的機會。女官道：「此女以後可能成為妃子、皇后，甚至貴為國母仙院 ，廣受世人仰慕。」於是改呼其名曰葵姬，但私下卻稱之為葵貴妃 。
皇上耳聞此事後，便不再召幸葵姬。並不是失去了寵愛之情，而是顧慮到世人的指責或毀謗。此後變得鬱鬱寡歡，日夜躲在寢殿中，若有所思。當時的關白松殿 覺得此事非同小可，其情可憫，宜加安慰，便趨赴宮中，上奏道：「居然牽腸掛肚，如此其甚。其實，此事又有何難？不妨立即將該女子召來，無須查其身份。基房可以隨時收之為養女。」皇上婉拒道：「如何是好？愛卿所言，固然可行，但偶有先例，均在退位之後。若尚在其位而為之，則必遭後世譴責。」關白松殿無能為力，只得含淚退了出去。
其後，皇上曾以深綠的薄紙，寫了一首偶然想起的古歌：
暗戀人不知，朝暮無已時，如今人知後，都問何所思。
冷泉少將隆房 將此御筆習字題歌，轉給葵姬看了。葵姬紅了臉，以身心不適為借口，乞假返回故鄉。果然在家卧病五六日後，終於與世長辭了。古詩云：「為君一日恩，誤妾百年身 。」蓋指類此之事而言。
古昔，唐太宗欲聘鄭仁基之女為充華。魏徵上奏，謂鄭氏之女與陸氏已有婚約，乃作罷 。此種胸襟與高倉天皇的心意，似可比擬並論。