且說當時，太政大臣妙音院 正在法皇御前彈著琵琶，朗詠詩歌，妙不可言。按察大納言資賢卿 打著拍子，唱風俗歌、催馬樂。右馬頭資時與四位侍從盛定二人 ，操著和琴，高歌不同的今樣曲子。玉簾錦帳之中，喜笑歡騰，興高采烈，十分熱鬧，法皇也不禁隨喜唱和起來。不意文覺進來大聲一嚷，調子亂了，拍子不合了。有人呼喝道：「是何人？敲其頭顱來。」話猶未了，血氣方剛的年輕人便爭先衝到庭院中。資行判官 走在前頭，斥責道：「何事嚷嚷？快滾出去。」答道：「除非捐一所莊園與高雄神護寺，貧衲文覺絕不出去。」不動如山，拒絕離開。資行判官想掐他脖子，文覺卻出其不意，揮起募化簿打落了他的烏帽子，接著用拳頭揍他胸口，身子仰天倒下。髮髻也散了。只好披著一頭亂髮，尷尬地逃回大廳上去了。
其後，文覺從懷裡抽出一把柄纏馬尾毛、冰冷雪亮的短刀來，擺著來則砍之的架勢。轉而左手拿著募化簿，右手揮起短刀，繞著圈子，迅捷如游龍，刀光閃閃，彷彿左右兩手都各有一把刀似的。公卿殿上人看得目瞪口呆，驚問誰人何故鬧事。樂曲的彈奏被打斷了。御所中沸沸揚揚，一片混亂。
有信濃國人，當時在武者所當差的安藤武者右宗 ，問是何事，一話不說，便拔出長刀，跑了出去。文覺樂得勇敢迎上。安藤武者覺得當真砍殺對方，恐有不妥；只好改以刀背，在文覺握刀的手臂上，又狠又准地敲了一下。趁文覺挨打發愣的剎那，安藤拋棄長刀，一聲「好，成了！」空手撲了過去。兩人揪在一起。文覺雖被壓住，還刺了安藤右臂一刀。安藤忍痛，仍然抓住不放手。
兩人都是兇猛的大力士。扭打纏鬥，或上或下，翻滾轉動。御所上下人等在旁圍觀，雖然畏縮不前，但一看到有隙可乘，便上去對文覺手打腳踢，露出得意的樣子。但文覺並不在乎，反而破口大罵，終於被拉出門外，交給了檢非違使廳的官員，捆綁起來。儘管遭捕押解，文覺氣得直跳腳，仍不忘怒目橫眼，瞪著御所，大聲吼道：「拒絕捐贈，情猶可原。但竟欺侮文覺到此地步，絕不善罷甘休，不久必有報應。三界皆火宅 。即如堂堂王宮，亦難逃此劫。誇稱十善帝位者 ，終將走入黃泉路，不免牛頭馬面刑具伺候。」眾人說道：「如此法師，實在太不像話。」文覺畢竟被投進牢中去了。
資行判官因被打落了烏帽子，無臉見人，好久未到御所供職。安藤武者因為逮捕文覺之功，不經武者所長官之職，便蒙徑直擢升至右馬允 。不久，美福門院 逝世，頒布大赦。文覺也獲得釋放，原可暫往某地修行，他卻不以為然，又捧著募化簿，到處勸捐。而且不時發出聳人聽聞的話道：「唉，當今之世，即將大亂，君臣亦將滅亡。」因此，當局下令道：「不能讓此法師留在都城，應處以遠流之刑。」於是被流放到伊豆國去了。
源三位入道嫡子仲綱，時任伊豆國守，向當局建議，讓文覺從伊勢國經東海道海路乘船押至謫地，而且加派兩三個差役 護送。差役們說道：「檢非違使廳下屬的慣例，擔任此種任務時，自然會偏心，講人情。如何，此位高僧大師？犯了如此大罪，流放遠國，不知大師有沒有熟人？不妨請他們送些土產、食物之類來。」應道：「文覺並無熟人可以託付此事。但在東山地方倒有一個知己能夠幫忙。現在即可將書信送去。」差役隨便找出了品質可疑的紙張。文覺接過又擲回去，不屑而怒道：「如此爛紙，豈能寫信？」差役們設法取得了厚實的好紙送上。文覺笑道：「本法師不會寫字，只得請各位代筆了。」於是口述道：「文覺發願建造供養高雄神護寺，正行募化，卻逢如此君王之世，不但拒絕助成此願，反而被逮入獄，又判遠流伊豆之刑。刻在遠流路上。亟需土產食糧，請即交與來人，是所至祈。」差役忠實地筆錄完畢，問道：「信將寄到何地給何人？」回道：「就寫清水觀音殿。」差役道：「難道在玩弄檢非違使廳的差使？」文覺解釋道：「豈敢豈敢。不過，文覺最崇奉觀音大士，此外別無可以依賴之人。」
從伊勢國安濃津 乘船，向東航行。到遠江國天龍灘 時，忽然風起浪涌，眼看小船即將翻覆。水夫與舵手雖然拚命試加穩住，但無奈風浪越來越大，有人唱著觀世音菩薩的名號，有人甚至念起臨終的十念 。然而，文覺卻若無其事般打呼酣睡，直到最危險的剎那，突然跳了起來，走到船頭，瞪大眼睛，對著海上大聲吆喝道：「龍王何在？龍王何在？」又道：「明知船上坐著有發了無比宏願的聖僧，何以還要加以打沉？記住，諸位龍神必將遭受天譴。」或許恫嚇生效，不久便風平浪靜，安然抵達了伊豆國。
文覺自從被逐出京之日起，便立下了宏願：「若可返回京城，得以建造供養高雄神護寺，絕不能死。若此願成虛，寧填溝壑。」因此離京後直到伊豆，正值逆風季節，船隻好靠近海岸，沿著大島小島航行，前後費了三十一日。在此期間，文覺始終拒絕進食。儘管如此，氣力卻不見衰竭，每日功課照常不斷。誠非常人之所能為。