1959年7月23日上午，成為廬山會議的轉折點。
毛澤東發話了。他說他「現在學會了聽，硬著頭皮頂」。他在廬山上，已經「頂了二十天」。毛澤東警告一些人：
「他們重複了1956年下半年、1957年上半年犯錯誤的同志的道路，自己把自己拋到右派邊緣。」
毛澤東這次講話，一下子把會議從反「左」，轉到了反右傾上面去了。
7月26日，會議印發毛澤東對一封信的批示，內中寫道：
「我們黨三十八年的歷史，就是這樣走過來的。反右必出『左』反『左』必出右，這是必然的。」
原來，毛澤東是依照「反『左』必出右」的這一「必然」規律，展開了反右傾。
首當其衝的是「主帥」彭德懷，因為彭德懷在7月14日寫了一封三千來字的信給毛澤東，指出「在1958年的大躍進中……一些左的傾向有了相當程度的發展」。
其次則是張聞天，被稱之為「副帥」，因為他那三小時的發言尖銳地批「左」。
此外，還有黃克誠、周小舟，也被列入「反黨集團」。
毛澤東的幾位秘書，此時也處境艱難：
李銳積極批「左」。毛澤東說，「李銳這次也是右派」。於是，在劫難逃了。
陳伯達曾稱讚過彭德懷的信，此時馬上「反戈一擊」，算是滑了過去。
田家英處境危險。他曾尖銳地批評了毛澤東的「左」的言行，差一點被劃入「右派」。
胡喬木呢？也頗為不妙。且不說他負責起草的《議定記錄》已經遭到非難，連他在上山途中說過的「五八年大躍進出了軌，翻了車」也被人揭發出來。所幸揭發者說此話是李銳講的（其實是李銳轉述過胡喬木的話），而李銳不願牽連胡喬木，自己承當了！
胡喬木得以過「關」，還在於毛澤東平日對胡喬木的印象還不錯。李銳曾如此回憶：
「有天劉瀾波告訴我，柯慶施向他說，主席跟柯談到對喬木的觀感，說喬木跟他一二十年，總還是一介書生。
「這使我想起1958年4月廣州會議時，主席談到要善於聽不同意見和反面意見時說的話：我們身邊有個胡喬木，最能頂人，有時把你頂到牆上，頂得要死。」
毛澤東對胡喬木「一介書生」的評價，大體上是頗為準確的。胡喬木一直難改濃厚的書生意氣。
至於最能頂人，表明他也並非一貫唯唯諾諾，一旦發表不同意見，夠尖銳的。
好在毛澤東對胡喬木畢竟還是很信任的，而胡喬木平素也小心謹慎，「頂人」並不多。
會議「反右傾」，日漸進入高潮。內中，特別是揭發了彭德懷、張聞天、李銳等所說毛澤東像「斯大林晚年」，一下子掀起批判高潮。8月10日下午，胡喬木抓住這一「謬論」，發揮了他的寫社論的擅長，富有邏輯地從六個方面進行批駁，指出毛澤東與斯大林晚年的不同 ：
一，斯大林晚年嚴重脫離群眾、脫離實際。毛主席在哪一點脫離群眾、脫離實際群眾路線的工作方法，不是毛主席創造的又是誰創造的？如果不密切聯繫、徹底依靠、放手發動群眾，怎麼會出現去年的大躍進、公社化運動？
二，斯大林晚年在黨內是不講民主的或者很少講民主的，連中央全會都不召開。而我們卻不但經常開全會，而且經常開擴大的全會，這次會議也就是一次。很多文件都是省、市委書記起草的，很多意見都是大家議出來的。毛主席十分重視黨內民主、尊重同志們的意見，怎麼能說和斯大林晚年相同？
三、斯大林晚年提倡個人迷信，毛主席在這個方面也同他相反。七屆二中全會就作出決定，不許祝壽，不許以人名命地名。中央曾根據毛主席的意見通知，他的塑像除了作為美術家的作品可以在美術館陳列外，一律不許在公共場所陳列。
四、斯大林在肅反問題上犯了嚴重的錯誤，他常把黨內矛盾、人民內部矛盾同敵我矛盾混淆起來，以至在蘇共黨內有許多中央委員、高級將領等被錯誤地殺害了。難道毛主席曾經殺過一個中委、一個將軍、一個黨代會的代表嗎？毛主席對黨內鬥爭的原則是懲前毖後、治病救人，是分清兩類不同性質的矛盾，正因為這樣，許多犯過錯誤的同志至今仍然在黨中央團結一致的工作。
五、斯大林晚年無論在理論上和實踐上都有停滯的傾向。在斯大林時期，蘇聯農業三十年沒有超過沙皇時代的最高水平。他否認對立面的統一，否認否定之否定，實際是丟了辯證法。毛主席正好相反，簡直可說是辯證法的化身。他雖已六十幾歲，精神比許多青年人都年輕，真正是生動活潑，一往無前。總路線、大躍進、人民公社，是同他對辯證法的深刻了解分不開的，是同他始終充滿朝氣的精神狀態分不開的。
六、斯大林晚年對外犯過大國主義的錯誤。毛主席對別的國家一向很尊重，朝鮮問題就是一個好例子，對越南蒙古的關係也是這樣。對蘇聯的有些問題，我們也提出過意見，但是並沒有妨礙兩國的團結。革命過程中總會有些缺點和錯誤，問題是我們發現得快、糾正得快。
在作了以上六個方面的分析之後，胡喬木引述了恩格斯的名作《論權威》，說明黨需要領導者個人的威信，亦即權威，這是黨和人民的寶貴財富，必須保衛，決不能破壞。
雖說胡喬木並不贊同「反右傾」，但他作為毛澤東的政治秘書，必須在政治上維護毛澤東。這番長篇發言，是胡喬木的公開表態，意味著他要從被動轉為主動。
胡喬木這一長篇發言，毛澤東聽了頗為滿意。翌日，毛澤東在大會上作長篇講話，內中不指名地提及胡喬木：
「李銳不是秀才，是俱樂部的人。」「想把秀才們挖去，不要妄想，是我們的人。」
「俱樂部」，指的是以彭德懷為首的所謂「軍事俱樂部」（反黨集團的代稱）。「秀才們」，包括胡喬木、田家英，也包括陳伯達。
這麼一來，胡喬木解脫了！
胡喬木擔任毛澤東秘書十八年以來，一直緊跟毛澤東，平平穩穩。雖說不久前毛澤東就陳雲一事批評了他一回，不算太嚴重。這一回廬山上，可謂驚心動魄，胡喬木差一點進入「俱樂部」——倘若那句「五八年大躍進出了軌，翻了車」，傳入毛澤東的耳朵，知道是他說的話，那就麻煩了。
他還算「機警」，知道風向不對，馬上作了那長篇發言，度過了政治危機。
不過，從此之後，他和毛澤東之間，產生了潛在的裂痕。這裂痕，他知，毛澤東知，表面上卻彷彿一切如常。
吳冷西曾這樣回憶廬山會議中的處境艱難是胡喬木 ：
1959年的廬山會議，是喬木同志一生中的一個重要關節。在會議前期，即所謂「神仙會」期間，喬木同志帶領我們起草會議紀要。他對大躍進中的錯誤提出了尖銳的意見，並系統地寫入會議紀要初稿。當初稿受到一些仍有強烈的「左」傾情緒的同志的指責之後，他又在堅持少奇同志提出的「成績講夠，缺點講透」的原則下，力求照顧各種不同意見，對初稿加以修改。當修改稿出來以後，會議突然180度轉向反右傾，《紀要》受到了更激烈的指責。有些同志把它同彭老總的意見書相提並論，橫加攻擊。喬木同志和我們這些參加起草的人也受到似是而非的批評。喬木同志當時既迷惑又沮喪，眼看持續半年的糾正「左」傾錯誤的進程被打斷了。有好幾天他一句話也不說，臉色陰沉，心事重重。直到毛主席講了「秀才是我們的人」之後，喬木同志以大局為重，振作精神，為全會起草決議。當錯誤地批判以彭德懷同志為首的所謂「軍事俱樂部」的局勢無法改變之後，他仍然想幫助一位起草紀要的參加者。他同田家英同志和我商量，建議這位參加起草工炸的人寫一封檢討信給毛主席，以求得諒解。喬木同志的這個好心沒有得到好報。二十多年之後，這位起草參加者著書立說，揚言他寫那封信是「終牛根事」，似乎是喬本同志的建議害了他。尤有甚者，這位起草紀要的參加者在其著作中竟然還說他在廬山會議上保護了喬木和家英。事實恰恰相反，正是這位起草參加者在廬山會議後期，寫了所謂「檢舉材料」，羅列許多「罪狀」，告發喬木同志，家英同志和我。彭真，一波和尚昆同志要我們在大會上同此人對質，參加八屆八中全會的同志都目睹當時會場上對質的情景。中央為此調查了兩個多月，直到十月初毛主席找喬本，家英和我談話時才算結案。事隔三十多年，知情者越來越少。我責無旁貸，要為喬木，家英兩位亡友公開澄清歷史事實。
廬山會議從和風細雨變為急風暴雨，是喬木同志一生中從未有過的經歷。一個月的緊張局勢，使他心身交瘁，從此種下了爾後的極度精神疲勞的病根。