1966年4月10日，以中共中央文件名義印發了《林彪同志委託江青同志召開的部隊文藝工作座談會紀要》。「文革」緊鑼密鼓聲，震撼著華夏大地。
這時，胡喬木在杭州療養。毛澤東也正在杭州：1966年4月16日至26日，毛澤東在杭州召開中共中央政治局常委擴大會議，為發動「文革」作準備。
也就在這時，一班「筆杆子」聚集在上海錦江飯店後樓，忙於起草《五·一六通知》。
起草小組名義上由陳伯達、康生、江青主持。由於陳、康要在杭州出席政治局常委擴大，起草工作實際上由江青主持。「秀才」張春橋、吳冷西、王力、關鋒、戚本禹、尹達、穆欣、陳亞丁等為起草小組成員——再也沒有胡喬木的份。
最為忙碌的要算江青的心腹張春橋了。《通知》每改一稿，張春橋便派人直送杭州毛澤東。毛澤東作了修改，又派人直送上海張春橋。隨著《五·一六通知》的下達，「文革」正式揭幕了，中國大地掀起了大字報狂潮。
毛澤東仍在杭州，遙控著北京的「運動」。就在毛澤東如此忙碌的時刻，胡喬木求見毛澤東。因為胡喬木已經接到通知，要他回北京，參加「運動」。他預感著不祥。知道毛澤東也在杭州，希望見一次，談談心裡話。
往昔，作為毛澤東的政治秘書，胡喬木見毛澤東是很容易的。只消打個電話，寫張條子，就能見到。如今不比往昔。胡喬木求見，不知什麼原因，遲遲未見答覆。
不予答覆，也許意味著毛澤東不見他了。於是，胡喬木打點行裝，與夫人谷羽以及秘書、警衛坐一輛小轎車，悵然離開杭州，前往上海，計畫由上海回北京。
轎車剛剛抵達上海，忽地從杭州打來電話，說是毛澤東要接見胡喬木。
急匆匆，轎車掉頭，又從上海重返杭州。
急匆匆地回去，急匆匆地見面，見面時胡喬木思路全亂了，原本要向毛澤東訴說的一些話，都沒有說出來。
毛澤東對他說的話，也很簡單：「你回到北京，少說話，多看看，多了解情況。」
就這樣，簡短地見了一面，毛澤東就去忙別的事情去了。
胡喬木萬萬沒有想到，這竟然是他跟毛澤東的最後一次談話！
此後，當毛澤東回到北京，雖然胡喬木曾希望求見毛澤東，卻被江青擋駕了。
作為毛澤東多年的政治秘書，胡喬木畢竟對毛澤東充滿感情。雖說他這一生不知跟毛澤東見過多少次，但這最後一次談話實在令人太遺憾了。此後，他多次跟家裡人說起：「我最後那次見主席，怎麼會把要講的話都忘了講呢！」
這遺憾，永遠不可彌補。
自從這一次與毛澤東訣別之後，他的毛澤東的政治秘書一職也就畫上了句號——雖說自從他1961年8月向毛澤東請長期病假以來，政治秘書一職已名存實亡。通常，總是說他擔任毛澤東秘書二十五年，即從1941年2月至1966年6月。實際上是二十年，即從1941年2月至1961年8月。