1966年6月初，當胡喬木剛剛回到中南海頤園家中，忽地接到通知，康生約他一談。
康生有什麼事找他呢？
不久前，5月28日，中共中央曾發出《關於中央文化革命小組名單的通知》，任命陳伯達為組長，康生為顧問，江青、王任重、劉志堅、張春橋為副組長。
康生，正是權重一時之際。他跟胡喬木寒暄了一陣，無非是「最近身體好一些了嗎」之類。接著，他便進入正題，要胡喬木遷出中南海！
從1949年起，胡喬木便住在中國的政治中樞中南海，一住十七年。如今，為什麼要遷出中南海？
康生所說的「理由」，自然是冠冕堂皇的：中南海要修路，頤園裡你那房子要拆……
當然，即便是那裡真的要修路，完全可以安排胡喬木住在中南海別的地方。然而，康生要胡喬木在中南海外找住處。顯然，這是要把他逐出中南海！
胡喬木從康生那裡回來，心境是沉重的。因為就在一個月前，就在中南海里，發生了令人心驚肉跳的事，雖說他當時在杭州，後來才聽說：
那是田家英，在5月22日接到通知，要他立即搬出中南海。5月23日上午，田家英悲壯地結束了自己的一生，上吊於中南海喜福堂！
田家英被安上了「篡改毛主席著作」的罪名。那是在他整理毛澤東的一份談話記錄時，刪去了幾句關於《海瑞罷官》的話：「《海瑞罷官》的要言是『罷官』。嘉靖皇帝罷了海瑞的官，1959年我們罷了彭德懷的官，彭德懷也是『海瑞』。」這下子，深深激怒了江青。
就這樣，在「文革」大幕剛剛拉開之際，毛澤東的三位秘書的命運便涇渭分明了：
正直剛烈的田家英死了；
書生意氣的胡喬木靠邊了；
善於投機的陳伯達高升了。
當然，康生找胡喬木談話時，還算是「客客氣氣」的，胡喬木畢竟還是中共中央書記處候補書記。而田家英呢，他是被「停職反省」，限時限刻搬出中南海。
據云，當時為了毛澤東的安全，著手「清理中南海」。要胡喬木遷出中南海是江青的主意，但是她不便跟胡喬木談，由康生出面。
於是，胡喬木由中共中央機關事務管理局的幹部陪同，在中南海之外找房子。胡喬木看了十餘處房子，選中了天安門廣場附近一幢房子——那裡原是某國駐華大使館。他喜歡那房子有很大的書庫，可以安頓他數萬冊藏書。
就這樣，懷著深深的失落感，胡喬木離開了中南海……本來就沉默寡言的他，這時話更少了。