胡喬木在美國避見記者，除了考慮安全問題——不願行蹤見報，也由於考慮到海外對他頗有微詞。
海外的評論屬「參考消息」，主要是認為胡喬木「左」。
平心而論，胡喬木自廬山會議起，曾對「左」有所批判。也正因為這樣，他在「文革」中才會遭到那些「左」派們的批判。也正因為這樣，他在1975年復出，與鄧小平一起大力整頓、糾「左」。此後，他起草中共十一屆三中全會公報，起草《關於建國以來黨的若干歷史問題的決議》，對於徹底否定「文革」、批判「兩個凡是」，起了很大的作用。從這個意義上講，他並非「左」派，他下了大力克服毛澤東晚年嚴重的「左」的迷誤。
然而，他畢竟長期在毛澤東身邊工作，毛澤東自1957年以來日益嚴重的「左」的思想也曾深刻地影響了他。即便在毛澤東去世之後，「左」的影子也不時困擾著他。
另外，如胡耀邦1985年5月10日跟香港《百姓》雜誌社社長陸鏗談及胡喬木時，這麼說及：「人誰也不是完美無缺的。如果胡喬木同志算他缺點的話，那就是由於長期工作在毛主席的身邊，到基層的時間少了些，在經濟問題的研究方面還不太充分。我自己也不行！」
胡喬木自己也有所感。1982年2月，他在一首詩中寫道：
羨慕我的，贈給我鮮花，
厭惡我的，扔給我青蛙。
1992年8月，在他離世前不久，他在病榻上寫了一生中最後一首詩《贈谷羽》。在這首詩中，他向妻子道出了晚年的心聲：
白頭翁念白頭婆，一日不見如三秋。
五十餘年共風雨，小別數日費消磨。
此生回顧半虛度，未得如君多建樹。
兩彈一星心血瀝，正負對撞聲名著。
晚年遭遇頗離奇，浮雲豈損日月輝。
自古功成身合退，沙鷗比翼兩忘機。
伏櫪亦作並駕圖，纏身衰病心有餘。
撫躬一事堪自慰，唱隨偕老相護扶。
人言五十是金婚，黃金縱貴難比倫。
夕陽更勝朝陽好，傍君不覺已黃昏。
胡喬木詩中的「晚年遭遇頗離奇」，可以從前中共中央組織部副部長、原中顧委委員李銳的《耀邦去世前的談話》一文中得到銓釋。李銳在文章中回憶中共十三大選舉的情景：
1987年的中共十三大選舉，大會選舉中央委員，耀邦得票一千八百多，只少幾十票。隨後一中全會選舉政治局委員，中央委員一百七十三人，耀邦得一百六十六票，後來知道未投他的七票中，有他自己一票。
在中央委員的選舉中，鄧力群落選了，據說為了照顧，違反程序，臨時將他放到中顧委候選名單中（無差額），以最少票入選。在中顧委選舉常委時，又想讓他進常委，氣氛很是緊張（我是親臨其境的）。一共有一百八十七投票，鄧力群只得八十五票，連零頭都不夠，又落選了。
胡喬木只得了一百三十五票，是票最少的二人之一。選舉完後照相，臨時撤去鄧力群的前排座（事先為當選常委準備的）。胡喬木最後走過來，一臉死色，無人同他打招呼。
人眼是秤。不言而喻，胡喬木晚年在「清污運動」中的「左」的表現以及與周揚的論戰，使他在中共中央委員的選舉中的得票數劇降，同時也使他的「副手」鄧力群落選。正因為這樣，胡喬木在衰病纏身的人生黃昏之際，感嘆「晚年遭遇頗離奇」……
不過，誠如胡繩所言 ：
胡喬木同志也有他的缺點和弱點。他自己說過，他的思考所得有些並不周到。但是把他一生的思想活動和工作總起來看，是值得後人景仰和學習的。
即便是「晚年遭遇頗離奇」，胡喬木在他生命的最後時刻，仍然埋頭於工作。他的夫人谷羽深情地回憶：
1990年11月，薄老的《若干重大決策與事件回顧》上卷完稿，派人將書稿送給喬木，請他提意見。這時，喬木的身體越來越虛弱，吃化療葯的反應也越來越大，「興奮劑」，鎮靜葯輪番交替，支撐著他的病軀。儘管這樣，他還是毫不猶豫地接受下來，仔細閱讀。周圍的同志及全家人，看到他那樣拚命，都勸他要遵醫囑，真正休息，但都沒有效果。醫院的一位主任大夫認為這樣下去對喬木的身體危害太大，很嚴肅地勸他：「胡老，這裡是醫院，不是辦公室，你得遵守醫院的紀律，不能再這樣工作了！」喬木當著醫生的面表示接受「批評」，把稿子收起來，等醫生一走，他又拿出來，全神貫注地看起來。就這樣，他硬是拖著虛弱的病軀，把薄老的書稿看了兩遍，仔細地提出修改意見，派人給薄老送去。
幾年來，周圍的同志和朋友都勸他寫回憶錄，他都沒有同意。看過薄老的這部書稿後，經大家再三勸說，他才下了決心，1991年6月，在經過仔細考慮後，喬木給江澤民等中央領導同志寫了一個報告，表示準備「寫本關於毛主席的回憶錄」，重點寫他所接觸和了解的毛主席在四十年代和五十年代的一些重要政治活動，準備在紀念毛主席誕辰一百周年時出版。他的報告隨即得到批准。而這時，喬木年初在三零一醫院做手術，已發現他體內的癌細胞己擴散到骨頭上了。但他自己並不知道，他不認為病情有多嚴重，又為寫回憶錄忙開了。他先後同參與這項工作的同志進行了二十多次談話，井對按他談話而整理出的部分稿子作了審定和修改，成為現在奉獻給讀者的《胡喬木回憶毛澤東》。可惜的是五十年代部分沒有來得及動手，成為無法彌補的憾事。
也是在這一年的四，五月間，為紀念黨的七十周年，喬木又以重病之軀緊張地趕寫了長篇論文《中國共產黨怎樣發展了馬克思列寧主義》，在6月25日的《人民日報》上發表。這是他傾注了最後的心力寫成的一篇很有思想深度的理論文章。文章寫完時，他已是精疲力盡了。
谷羽還憶及：
1992年6月1日，是喬木八十歲生日，我們一家人給他搞了一個小小的生日晚會。兒子為他塑了一尊頭像，神態逼真。晚會上還演唱了傅庚辰為他的詩《希望》譜寫的歌，不少親朋好友來向他祝賀，喬木被家人和朋友對他的敬愛所感染，他笑了，笑得那麼開心！在他一生中，這是很少見到的。生日晚會後，他高興了好幾天，幾次跟我說，他希望活到九十歲。大有要「把人生的道路再走一程」的勁頭。沒想到一個月以後，喬木就因癌症擴散引起骨折住進了醫院。在病床上，他還對我說，我要活到九十歲，我希望做兩件事：一是完成對主席五十年代政治活動的回憶錄的寫作；二是重寫一部完整的中共黨史著作。
胡喬木「希望做兩件事」未及著手，他就離開了這個世界，成為終生的遺憾。
胡喬木一生著有：《中國共產黨的三十年》、《胡喬木文集》、《關於人道主義和異化問題》、詩集《人比月亮更美麗》。
胡喬木晚年讀了薄一波的《若干重大決策與事件的回顧》，十分讚賞，便仿照薄一波組織一些人寫回憶錄。胡喬木的回憶錄以自己的經歷為線索，以毛澤東為中心進行回憶，回顧二十世紀四、五十年代毛澤東的思想和決策。
1992年9月28日，胡喬木在北京逝世，終年81歲。遺體於10月4日火化。按照胡喬木生前遺願，10月26日將骨灰撒在延安地區。
胡喬木去世時，他的回憶錄並未完成。在他去世之後，回憶錄的編寫組把未完稿加以整理，交給人民出版社，於1994年出版，取名《胡喬木回憶毛澤東》。
1994年，《回憶胡喬木》、《胡喬木文集》出版發行。
1995年12月，胡喬木的一萬四千件檔案資料和四萬餘冊圖書，由其子女分別捐贈給中央檔案館、當代中國研究所和故鄉江蘇鹽城市。
1997年6月1日，胡喬木塑像在江蘇鹽城圖書館揭幕。
1999年9月，《喬木文叢》由人民出版社出版。《喬木文叢》由《胡喬木談中共黨史》、《胡喬木談新聞出版》、《胡喬木談文學藝術》、《胡喬木談語言文字》四卷專題文集構成，相當全面地記錄和展示了胡喬木在中共黨史研究、新中國新聞事業、中國文字改革和社會主義文學藝術事業領域的指導作用和學術成就。《喬木文叢》是對已經出版的《胡喬木文集》的補充。