關白秀次未被允許從聚樂第來伏見城謁見秀吉，而被流放到高野山去了。此事發生於文祿四年七月八日。
秀吉對他的流放是費盡心機的。首先，伏見城建好後把阿拾從大坂城移到了伏見。太合和淀君、阿拾一家團圓的生活在伏見城紮下了根……這幾方面條件成熟之後，便繼續調查關白秀次的罪狀。
首先，太合企圖殺死關白的計畫是十分可怕的。如果關白死了，那繼承人的地位自然就由阿拾來佔據了。阿拾在文祿三年八月三日時剛滿一歲。一歲零五個月即文祿三年十二月被移到伏見城，半年後關白被流放到高野山。因此，這個故事的發展被安排得毫無漏洞。
本來，大凡陰謀，總有算計不到的地方。而這次流放秀次，卻哪兒也看不出一點破綻來。
之所以如此，是因為這次事件的主謀並非太合本人，而是那些堪稱天才的執行者們——特別是以石田三成為中心的一伙人的主意。
所謂關白，無論怎麼說是一種最高權威。因此，想要將其除掉的判罪理由，必須是「叛逆」一類。況且，如果將關白的罪名定為企圖背叛太合和皇室的話，那是秀吉無論如何也下不了手的。
其實，秀吉對這種不可思議的具有諷刺意味的作法也有其難言的苦衷。
「如果不做到這一步……」
雖這樣說，但是不把他定為背叛者就無法處置。可是，秀吉最清楚不過了，關白根本就沒有謀反這種離經叛道的念頭。事情的起因並非謀反，而是不理解偉大的舅父那種拚命主義的功績……由這一沮喪的情緒開始的。所以毫無破綻地把他定為背叛者，做為秀吉本人來說當然是十分狼狽的了。
七月八日，將秀次流放到高野山，在這兩個來月之前的四月下旬，秀吉第一次感到自己老了，卧床不起。
估計從四月下旬至五月上旬期間，已經決定要處理關白秀次，而秀吉的發病大概也是由此苦悶的結果造成的。
不論怎麼說，事態顯得十分暗淡。
成為事件中心的阿拾，還是一個不滿二歲的幼兒，另一個是一個野心不足、感謝也不足的不成熟者……
「他能是一個企圖謀反的人嗎？……」
可是，在秀次面前所堆積的秀次的罪狀，全是些必須殺掉他的有力證據。
首先一條，他接近那些貧困的、對秀吉持不滿的諸侯，給與金銀使他們成為自己的一夥；他們的秘密會議的住址，選在禁止殺生的比叡山，在這裡若無其事地一邊狩獵，一邊多次密謀；經常酗酒。當得到淀君懷孕後從街上拉來孕婦，在酒席上當眾切開其腹部，肆意對胎兒發泄憎惡之情；身居關白要職，置戰爭於不顧，終日沉湎於酒池肉林之中，惹世人瞧不起；選擇了大納言菊亭晴季卿的一位小姐為正室，但是以關白自居、傲慢自大，在全國到處搜尋美女，側室達三十多人，行為荒唐無以節制；在眾多側室當中，有正室前夫的女兒，將母女二人一塊置於後宮寵愛，這種亂倫與畜生無異……等等。
本來，揭發罪行是不可能有甚麼可喜的事，而露骨地表示出僧惡來，卻使人無顏以對。儘管這樣，如此這般徹底的打擊倒也少見。
「更加不能容忍的是……」三成在列舉其罪狀時說：「他曾說過大話：我要像咱家老爺一樣，要有美女三千，把日本國內漂亮的女子全都集中在後宮給他們瞧瞧……」
這一攻擊未免太厲害了，連秀吉都氣憤不已，立即將石田三成、長束正家、增田長盛三人遣往聚樂第，命秀次呈上七張宣誓書。
「現在，還談甚麼宣誓書？能有甚麼用呢？」
增田長盛問後，秀吉舒口氣說道：「你們無情地將他說成謀反者，連我都認為這是真的了。」
不用說，秀次按照吩咐交上了宣誓書。
「你們看看，那傢伙有謀反的野心嗎？」
這是六月二十六日的事，之後秀次一再向秀吉陳述自己不懷二心。不僅如此，為得到秀吉的誇獎七月三日特意向朝廷獻上白銀三千枚。
然而，這一切已經無法改變對他的處刑決定了。
不僅如此，他的罪上又加了一條：至今仍瞞著秀吉，假裝沒事兒似地呈上了宣誓書，並且為了拉攏皇室不惜用大量的白銀行賄……
這樣的話，無論甚麼樣的獨裁者也阻擋不過自己建立的組織了。
七月八日，秀次又為見秀吉而離開了聚樂第。然而在伏見城門外等到的卻是嚴厲的命令：「不許謁見，立即去高野山謫居！」
不僅如此，這時已經下達了將秀次的三十三個妻妾、四男一女五個孩子一網打盡的命令。