《關於建國以來黨的若干歷史問題的決議》的起草工作，從1980年3月正式開始。
從這時起，至《決議》通過，整整花費了一年零三個月的時間。這一年零三個月，胡喬的主要精力就耗費在《決議》上。
他陷入對毛澤東的沉思、反思之中。這一段歷史，他是在毛澤東身邊親歷的。所幸他因病自1961年8月起休養，沒有捲入毛澤東晚年「左」的狂潮，「旁觀者清」，也就看得更清楚些。不過，即便如此，胡喬木也曾經陷入困惑。
曾經擔任中共中央黨史研究室常務副主任的鄭惠，舉了這麼一個例子 ：
1980年5月16日，給少奇同志開追悼會，要寫一篇社論，鄭重說明過去批判劉少奇是叛徒、內奸、工賊，都是誣衊不實之詞。在當時這篇社論很難寫。這時喬木出了個主意，叫《恢複毛澤東思想的本來面目》。真是費盡心機。這樣一寫，發表後，很多人說，明明錯了嘛，還要恢複什麼本來面目？為什麼不能幹脆說錯了呢？
這個例子生動地說明，當時的胡喬木，既想糾正毛澤東的晚年嚴重錯誤，但是又處處要維護毛澤東的威信。正因為這樣，就連為劉少奇的冤案平反，也要說成是「恢複毛澤東思想的本來面目」？！
這也表明，起草《關於建國以來黨的若干歷史問題的決議》的最大難點，就是如何評價毛澤東和毛澤東思想。
起草工作是在鄧小平、胡耀邦的主持下進行的。
《關於建國以來黨的若干歷史問題的決議》的寫作，頗為艱難。雖說最後通過的《決議》三萬五千多字，然而寫了一稿又一稿，光是提供各種會議討論的文稿就有七稿之多。如果把起草小組本身的討論、修改加上去，不知改了多少稿。
最初，寫的是提綱。1980年3月19日，鄧小平看了提綱說：「感到鋪得太寬了。要避免敘述性的寫法，要寫得集中一些。對重要的問題要加以論斷，論斷性的語言要多，當然要準確。」
1980年6月27日，鄧小平對起草小組說：「決議草稿看了一遍。不行，要重新來。……整個文件寫得太沉悶，不像一個決議。看來要進行修改，工程比較大。」
於是，按照鄧小平的意見，重改一稿，於1980年10月交全國各省、市、自治區各部門黨員領導部四千人討論，討論了二十天。10月25日，鄧小平說：「決議討論稿的篇幅還是太長，要壓縮。可以不說的去掉，該說的就可以更突出。」
1981年3月，中共中央政治局、書記處書記及部分老同志五十多人討論《決議》。這時，3月18日，鄧小平對起草小組說：「決議稿輪廓可以定下來了。」
此後，又反覆討論，修改。陳雲提出，專門加一段，「講講解放前黨的歷史，寫黨的六十年」。直至1981年6月22日，鄧小平才對起草小組說：「這個決議是個好決議，現在這個稿子是個好稿子。」
五天之後——6月27日，中共十一屆六中全會通過了《決議》。胡喬木總算結束了一項重大的文字工程。
《決議》澄清了混亂的思想，提出了跟華國鋒政治報告截然不同的論斷，指出「文化大革命」是「全局性的、長時間的『左』傾嚴重錯誤」，是「建國以來最嚴重的挫折和損失」。
《決議》對「文革」徹底否定。指出：
「實踐證明，『文化大革命』不是也不可能是任何意義上的革命或社會進步。」
「歷史已經判明，『文化大革命』是一場由領導者錯誤發動，被反革命集團利用，給黨、國家和各族人民帶來嚴重災難的內亂。」
對於「文革」的徹底否定，當然也就涉及了對於毛澤東的評價，對於毛澤東思想的評價。
《決議》掌握了準確的分寸，既肯定了毛澤東的歷史貢獻，又批判了毛澤東的晚年嚴重錯誤。
《決議》指出：
「如果沒有毛澤東同志多次從危機中挽救中國革命，如果沒有以他為首的黨中央給全黨、全國各族人民和人民軍隊指明堅定正確的政治方向，我們黨和人民可能還要在黑暗中摸索更長時間。」
《決議》也尖銳地指出：
「黨在面臨著工作重心轉向社會主義建設這一新任務因而需要特別謹慎的時候，毛澤東同志的威望也達到高峰，他逐漸驕傲起來，逐漸脫離實際和脫離？眾，主觀主義和個人專斷作風日益嚴重、日益凌駕於黨中央之上，使黨和國家政治生活中的集體領導原則和民主集中制不斷受到削弱以至破壞。」
《決議》還指出，對於「文革」，毛澤東「負有主要責任」。
《決議》對毛澤東自1957年以來一系列「左」的錯誤，進行了批評：
「毛澤東使反右派鬥爭『嚴重地擴大化了』，『造成了不幸的後果』。」
毛澤東「在勝利面前滋長了驕傲自滿情緒，急於求成，大了主觀意志和主觀努力的作用」而「輕率地發動了『大躍進』運動和農村人民公社化運動，使得以高指標、瞎指揮、浮風和『共產風』為主要標？的『左』傾錯誤嚴重地泛濫開來」；
「廬山會議後期，毛澤東同志錯誤地發動了對彭德懷同志的批判，進而在全黨錯誤地開展了『反右傾』鬥爭。八屆八中全會關於所謂『彭德懷、黃克誠、張聞天、周小舟反黨集團』的決議是完全錯誤的。」
「在1962年9月的八屆十中全會上，毛澤東同志把社會主義社會中一定範圍內存在的階級鬥爭擴大化和絕對化……
「在1965年初又錯誤地提出了（社會主義教育）運動的重點是整所謂『黨內走資本主義道路的當權派』。」
「在意識形態領域，也對一些文藝作品、學術觀點和文藝界學術界的一些代表人物進行了錯誤的、過火的政治批判，在對待知識分子問題、教育科學文化問題上發生了愈來愈嚴重的『左』的偏差，並且在後來發展成為『文化大革命』的導火線。」
中共作為執政黨，在《決議》中這樣曆數毛澤東的「左」的錯誤，是不容易的。何況，起草小組的負責人，乃毛澤東當年的政治秘書胡喬木，也是不容易的。沒有那「九年面壁」，胡喬木是寫不出這樣的《決議》的。
從反右派，大躍進，廬山反右傾，「四清」抓「走資派」，直至十年「文革」——毛澤東晚年的越來越嚴重的「左」傾錯誤，《決議》清楚地理出了這一脈絡，加以批判。
但是，《決議》又指出：「毛澤東『功績是第一位的，錯誤是第二位的』。」
《決議》對於華國鋒的評價，也是客觀公正的：既指出「他在粉碎江青反革命集團的鬥鬥爭中有功，以後也做了有益的工作」，又批評了他一系列「左」的錯誤，特別是由他主持的中共「十一大」「沒有能夠糾正『文化大革命』的錯誤理論、政策和口號，反而加以肯定」。
《決議》公布之後，在海內外引起強烈反響。香港《明報》社社長查良鏞（亦即武俠小說作家金庸）的一段話，頗有代表性：
「關於若干問題的決議，主要是對於毛澤東主席的評價，一般覺得比想像中的為好。因為其中缺點與錯誤的部分，本來一般預料不會說得這樣多而透徹。現在的決議說得相當坦白而公正，實事求是。」
《決議》的公布，意味著中共從指導思想上真正完成了撥亂反正。