1987年10月，當中共「十三大」召開時，他已七十有五了。他不再是中共中央委員，退居二線了。
他擔任中共中央文獻研究室主任、中共中央黨史研究室主任。對於中共中央文獻的編纂、中共黨史研究，他出了大力。他多年來曾經起草過諸多中共中央文件，在毛澤東身邊長期從事秘書工作，後來又多年擔任中共中央領導工作，他確實是他擔任中共中央文獻研究室主任、中共中央黨史研究室主任最佳人選。
胡喬木非常重視中共黨史的研究。
谷羽曾經回憶說：
《關於建國以來黨的若干歷史問題的決議》通過後，喬木又一直希望編寫出一部完整、詳盡、準確、可信的黨史著作。經他提議成立的中央黨史研究室，開始還由他擔任主任，後來不擔任了，他對黨史工作仍一直很關心。他本想親自主持編寫一部黨史，但到1990年9月他的病被確診力癌症後，確實已是力不從心了。在醫院和家中，醫生都一再叮囑他靜養休息，他只得請胡繩同志儘快主持寫出一部完整的七十年黨史本子來。雖然他不動手了，可是他的心總是安靜不下，他經常思考的還是如何寫好這部書。
……
到了1991年7月中旬，看看他那日漸衰弱的身軀，我真覺得心疼，我堅持要他到北戴河休養。開頭幾天，我把他看住了，不讓他看書寫東西，只是每天讀讀報，談談詩，散散步。我常常勸他：「你已經病成這個樣子，現在應該注意自己的身體了，養好病，今後的時間還長，事情可以慢慢去做。」但是，喬木天生沒有這份「清閑」的福氣。7月28日，胡繩同志送來《中國共產黨的七十年》的清樣，請他審閱。這本書是為迎接黨的七十周年生日，由尚昆同志，一波同志和他，以中央黨史工作領導小組的名義，要求中央黨史研究室牽頭組織力量趕寫的。喬木對這本書很重視。胡繩勸他不著急，看身體情況，慢慢來，著重看七，八，九章就行了。他一拿起清樣，又不顧一切了。
雖然由於病情加重和藥物反應，他經常頭暈，噁心，但他還是用了不到五天的時間，把這三章看完了。他在清樣上作了許多修改，有的地方是成段地補寫，寫得十分精采。他還寫了許多小紙條，就某一事件的史實或論斷提出具體修改意見。又找胡繩來談了很久。喬木對這部書稿作了很高的評價，言談之間顯得十分高興。他深情地對胡繩等同志說，要趕快將書印出來，我要對這本書表示負責，要寫題記肯定這本書。尚昆同志聽了喬木同志對書稿的評價，讀了一些重要章節，贊成喬木的意見。8月下旬，在北戴河召集了中央黨史工作領導小組會議，批准了《中國共產黨的七十年》的出版。
《中國共產黨的七十年》的那篇《題記》，開始為了減輕他的負擔，請黨史研究室的同志代他起草了一稿。他看了之後，親自動手修改。他反覆改了好幾遍，才算定稿。定槁幾乎是全部重寫的。在外人看來，像喬木這樣的大手筆，文章還不是一氣呵成嗎其實，在我的記憶中，喬木的文章總是一次次修改才能寫成，有時直到送去排印時還在修改，幾乎沒有最後「定稿」的時候。他常說：「我的文章都是改出來的。」這篇《題記》，是喬木一生寫的最後一篇評論文章。後來聽說錢鍾書讀了甚為欣賞，譽之為「思維縝密，詞章考究」。
在胡喬木主持下，為中共黨史研究立下諸多「規矩」。比如，逄先知便曾經回憶，胡喬木對注釋工作作出了重要的改革 ：
1984年，他對注釋工作講了一篇重要的意見。他說：最近幾年，我修改了一些文選的注釋，先是《魯迅全集》的注釋，後來又有《周選》，《鄧選》的注釋。我感到起草這些注釋的同志都有一種通病，就是議論多，斷語多，好像法官作判決一樣。這個毛病可能是受《毛選》注釋的影響。陳伯達當時搞《毛選》注釋時就愛下斷語。後來康生又說這些注釋都是經過毛主席看過的。這樣一來，凡是《毛選》注釋上寫了的，好像就成了「句句是真理」，再也不能變了。也就是說，注釋上說這個人不好，他就很難翻身了。實際上人是變化的，魯迅當時批評過的人，後未有不少都是很好的同志。我認為，寫注釋主要是對一些人和事的基本情況，歷史背景作些必要的介紹，以幫助讀者理解正文，切忌發議論，下斷語，對某人某事評論不是注釋者的事情。注釋一定要準確。我在修改《周選》，《鄧選》注釋時，對每句話都是仔細斟酌的，把所有的議論和斷語都刪去了。文獻研究室的注釋工作就是遵循喬木同志的這個方針做的，在學術界，思想界獲得好評。這是黨的文獻注釋工作的一大改革。
在1991年，我曾寫了《下「笨功夫」的中共黨史專家》一文，稱讚了中共黨史專家們在文獻注釋工作的這一改革以及他們認真的工作態度：
1991年夏，我抵達北京不久，梁實秋的長女梁文茜便來看我。剛坐下來，她就十分興奮地問：「新版《毛澤東選集》你看了嗎？」她如此關心《毛澤東選集》，是因為選集中有一條關於梁實秋的注釋與她休戚相關。過去的注釋寫道：「梁實秋是反革命的國家社會黨黨員。他在長時期中宣傳美國反動資產階級文藝思想，堅持反對革命，咒罵革命文藝。」這條加在《在延安文藝座談會上的講話》一文之後的注釋，多少年來，成了她的沉重的政治包袱。如今新版《毛澤東選集》以實事求是的態度對待歷史，對待歷史人物，刪去了舊版中那些失之偏頗的注釋，客觀地評價梁實秋，使梁實秋親屬如釋重負，為之一塊。
梁文茜還告訴我，中共中央文獻研究室為了修改這一條注釋，曾幾次找她，核對梁實秋生卒年月及有關史實，工作態度極端認真，使她深為感動。
修改梁實秋條目，僅僅是新版《毛澤東選集》大量修訂工作中的一項而已。很巧，我這次去京，有好幾天「泡」在中共中央文獻研究室那裡。在跟中共中央文獻研究室副主任金沖及教授談工作時，他聊及了《毛澤東選集》新版浩繁的修訂工作。
頭髮已經灰白的金沖及是一位歷史學家，近年來致力於主編《周恩來傳》。他說，新版《毛澤東選集》修訂工作是中共中央文獻研究室負責的，新版一至四卷雖然只比第一版增加了《反對本本主義》一篇，看上去工作量不大，但是背後那大量的查核工作鮮為人知。
他舉了一個例子——第一卷的《井岡山的鬥爭》一文，內中提及湖南特委第二屆委員中，有一位名叫「圓盤珠」。在百家姓之中，是沒有「圓」的。經向當地了解，才知那兒有姓「盤」的家族。細細查詢，終於查明「圓盤珠」系「盤圓珠」之誤，甚至還查出了盤圓珠的小名。經過反覆調查，這才決定在新版中改正。又如，此文中有兩處提及井岡山出產「木材和茶、油」。經了解，井岡山那時雖有種茶的，但數量極少，看來文中有誤。作了多次調查後，才查明「茶、油」應為「茶油」。為了刪去一個頓號，他們作了大量的工作……
在查明訛誤之處時，他們還查明了產生訛誤的原因：毛澤東寫的《井岡山的鬥爭》一文，是他當時寫給中共中央的報告。報告極為機密，寫畢，請人復抄三份，分別通過湖南省委、江西省委等途徑送交中共中央。在抄寫的過程中，產生了筆誤……
金沖及說，新版充分尊重毛澤東原著，只有在反覆查核、確證原文筆誤、排誤而加以改正之外，其餘一律悉照原文。語句、修辭方面，他們請語言學家呂叔湘教授把關，凡可改可不改的則不改。
金沖及笑稱，中共中央文獻研究室是下「笨功夫」進行《毛澤東選集》的修訂工作。一字之易，都花費了大量的心血。《毛澤東選集》是毛澤東思想的文字體現，是數以億計的讀者認真學習的經典著作，所以他們以高度負責的態度加以修訂。在核對史料時，有一次查出第一版所據是《新華日報》某日的報道，而數日後《新華日報》曾登一更正卻被忽視了，這次得以勘誤。他們正在準備出版一本書，一一列出新版的更正之處，更正原因以及更正的依據。
他們的「笨功夫」感動了我。我想，不論做什麼工作，都需要下這樣的「笨功夫」。
逄先知還談及，胡喬木對辭條的寫作也作出了重要的改革 ：
1987年1月，喬木同志要我和文獻研究室的一位同志，跟他一道修改大百科全書軍事卷的《毛澤東》辭條。在修改過程中，引出他很多思想，講了許多關於怎樣寫辭書釋文的意見。他說：寫百科全書這類東西，不要使用宣傳性，頌揚性的詞語，也不要使用黨的文件，決議中論斷性的語言，而要用客觀陳述的方法，以保持釋文的客觀性和穩定性。事情要交代明白，時間要寫清楚，盡量不要含糊和不確定。他對大百科全書釋文的撰寫提出的總的要求是：「有關中國方面的內容，應當力求準確，公允，可信；外國方面的內容，要力求不出錯誤。」在此之前，1986年10月，喬木曾就辭書重要人物條目不用頌揚性評價語（如「偉大的無產階級革命家」等等）問題，寫信給中央政治局常委，小平