胡喬木牢牢記住毛澤東在杭州的「一少二多」的叮囑：「少說話，多看看，多了解情況。」
1966年6月6日，胡喬木派出身邊的工作人員前往北京大學，看大字報，了解情況。
當然，光是聽聽工作人員的彙報，也不行。他也必須親自出去「多看看」。
上哪兒去呢？去兒子那學校吧——北京郵電學院。雖說他是按照毛澤東的指示去「多看看，多了解情況」，不料卻從此埋下禍根——後來，他被這個學院的紅衛兵們「盯」上了。
1966年7月20日，中共中央發出《關於成立毛澤東著作編輯委員會的通知》，上面印著胡喬木的名字，使胡喬木稍稍鬆了一口氣——
主任：劉少奇
副主任：康生、陳伯達、陶鑄
委員：李井泉、李雪峰、劉瀾濤、宋任窮、王任重、魏文伯、胡喬木、蕭華、劉志堅、張平化、熊復、王力、戚本禹、劉漢
雖說按照他的資歷，理應是副主任。不過，他能列名委員之中，表明他的政治境遇尚可。
緊接著，中共八屆十一中全會於1966年8月1日至12日在北京召開。毛澤東主持了會議，寫下《炮打司令部——我的一張大字報》。會議於8月12日通過了《關於撤銷和補選書記處書記的決定》，沒有碰胡喬木：撤銷了彭真、陸定一、羅瑞卿的中央書記處書記和楊尚昆的候補書記職務，調陶鑄擔任中央書記處常務書記，調葉劍英擔任書記處書記。而胡喬木呢？仍是候補書記——既沒有升為書記處書記，也未撤職，保持原職。
會議結束不久，8月18日，毛澤東在天安門城樓第一次檢閱紅衛兵。
那天，胡喬木也上了天安門城樓，他的名字也出現在新華社的電訊之中。不過，他站在遠離毛澤東的地方，未敢走過去跟毛澤東說上幾句。他跟別人也幾乎不說話，只是按規定的位置木然站著，如此而已。
胡喬木神情沮喪，是因為就在四天以前——8月14日，「中央文革小組」找他談話，進行了批評，指出他犯了一系列的錯誤：從《清宮秘史》中共八屆七中全會、廬山會議直至《海瑞罷官》……8月15日，胡喬木不得不就以上問題寫了一份簡短的檢查，表了個態。
這天晚上，他對身邊的工作人員正式宣布：「我犯了錯誤！」
8月17日，胡喬木提出：收縮工作，精減人員，搬家，縮小居住面積，並要求到京郊四季青人民公社參加勞動。
8月18日，就在他上天安門城樓之際，他的父親胡啟東在北京八寶山的墓碑被砸！父親胡啟東晚年住在胡喬木家，於1957年2月病逝，葬於八寶山。他的墓碑，是由於右任的弟子、書法家胡公實寫的。母親夏氏也住在胡喬木家，後來死於肺結核。在「文革」中，時興講成分，所謂「老子英雄兒好漢，老子反動兒混蛋」。胡喬木的父親胡啟東雖說是開明紳士、進步人士，在「文革」中被罵為「大地主」。自然，他的墓碑被砸了。胡喬木呢，也被斥為「大地主的孝子賢孫」。
胡喬木從天安門上下來，便忙著寫檢查。8月28日，胡喬木改畢檢查，派人送呈毛澤東。
8月31日，毛澤東第二次在天安門廣場檢閱紅衛兵。胡喬木雖然已經處境維艱，還是收到了入場券，登上天安門城樓。他的表情，更為木然。
9月5日，中共中央辦公廳秘書局對胡喬木停發文件。這是極為嚴重的訊號，意味著他從此正式「靠邊」了！
胡喬木也意識到事態的嚴重，提出：降低工資，或把工資作為黨費上交。取消哨兵、廚師、專車。又一次提出搬家。
9月7日上午，「中央文革小組」開會，聽取胡喬木的檢查，並對他再一次進行了批評。
這樣，9月15日，當毛澤東在天安門廣場第三次檢閱紅衛兵時，胡喬木便再也沒有收到入場券。他被取消了上天安門城樓的資格。須知，這時劉少奇、鄧小平都還登上天安門城樓呢。
胡宅離天安門廣場甚近，廣場上那「毛主席萬歲」、「無產階級文化大革命萬歲」的口號聲，不斷傳入胡喬木耳中。他木然地聽著。此後，毛澤東一次次接見紅衛兵，胡喬木再也沒有登上天安門城樓了。他只能在家中寫檢查。
胡喬木提出了寫檢查的計畫：
一，關於《清宮秘史》的檢查；
二，關於《海瑞罷官》的檢查；
三，關於廬山會議的檢查；
四，關於《人民日報》工作的檢查。
這位當年的「中共中央大手筆」，如今成了「檢查一支筆」！
不過，他就連寫檢查，也非常認真：他要工作人員到北京圖書館借有關《清宮秘史》的資料；他給歷史學家范文瀾去信，請教有關問題；他還要查閱《人民日報》的合訂本……
中南海里貼出了批判胡喬木的大字報，稱他為「周揚一夥」，稱他是「閻王殿中的閻王」（「閻王殿」指中宣部），甚至還提到他的名作《中國共產黨的三十年》是「篡改黨史」、為「中國赫魯曉夫歌功頌德」，是「大毒草」！
最初，還講究「內外有別」，中南海里的大字報不外傳。然而，世上哪有不透風的牆？
何況，那「中央文革小組」正在往外拋材料，巴不得藉此混亂之際整掉一批宿敵冤家……