作為日漸崛起的世界上最大的社會主義國家，中國的社會主義實踐要回答三個基本問題：什麼是社會主義？怎樣建設社會主義？建設一個什麼樣的社會主義？改革開放以來，中國逐步解決了「什麼是社會主義」「怎麼樣建設社會主義」這兩大問題。對於「建設一個什麼樣的社會主義」，中國共產黨提出了一個重要而美好的關鍵詞：和諧。
提出「和諧」這一關鍵詞，是因為中國社會還存在一些亟待消除的不「和諧」因素。
經過20多年的改革開放，中國經濟高速發展，GDP總量增長了10倍，年平均增長速度為9.4％，是世界上發展速度最快的國家之一。但與此同時，中國社會發展相對滯後，公共資源分布不均衡。城鄉差距、地區差距仍在擴大，分配不公矛盾凸顯，收入差距逐漸拉大。一方面，一些人靠鑽政策和體制漏洞而非法致富，一些部門和單位靠壟斷而獲取超額利潤；另一方面，在計畫經濟時代作出了重要貢獻的產業工人和無地、失地農民，獲得的補償與貢獻不對等，積累了社會的利益失衡心理。中國目前正進入一個經濟社會發展的關鍵階段。
其實，關於「構建和諧社會」的信息，在中共十六大報告中就已經存在了。十六大報告在闡述全面建設小康社會宏偉目標時強調，建設更高水平的小康社會，就是要使經濟更加發展、民主更加健全、科教更加進步、文化更加繁榮、社會更加和諧、人民生活更加殷實，還強調要努力形成全體人民各盡其能、各得其所而又和諧相處的局面，鞏固和發展民主團結、生動活潑、安定和諧的政治局面。把「社會更加和諧」作為中國共產黨為之奮鬥的一個重要目標明確提出來，這在黨的歷次代表大會的報告中是第一次。
「構建社會主義和諧社會」概念的首次完整提出，是在中共十六屆四中全會《中共中央關於加強黨的執政能力建設的決定》中。這次會議進一步提出了構建社會主義和諧社會的任務，強調形成全體人民各盡其能、各得其所而又和諧相處的社會是鞏固黨執政的社會基礎、實現黨執政的歷史任務的必然要求，要適應中國社會的深刻變化，把和諧社會建設擺在重要位置，注重激發社會活力，促進社會公平和正義，增強全社會的法律意識和誠信意識，維護社會安定團結。
中共十六屆四中全會對構建社會主義和諧社會作出了4條原則性的界定：全面貫徹尊重勞動、尊重知識、尊重人才、尊重創造的方針，增強全社會的創造活力；妥善協調各方面的利益關係，正確處理人民內部矛盾；加強社會建設和管理，推進社會管理體制的創新；健全工作機制，維護社會穩定。
2005年2月19日，北京的西郊春寒料峭。中共中央黨校內，聚集著來自各省、自治區、直轄市和黨中央、國務院各部委辦的黨政領導，他們在此參加一個特殊的研討班——中共中央舉辦的省部級主要領導幹部「提高構建社會主義和諧社會的能力」專題研討班。
胡錦濤在培訓班上發表了重要講話，他把「和諧社會」的特徵概括為「民主法治、公平正義、誠信友愛、充滿活力、安定有序和人與自然和諧相處」。他認為，民主法治，就是社會主義民主得到充分發揚，依法治國基本方略得到切實落實，各方面積極因素得到廣泛調動；公平正義，就是社會各方面的利益關係得到妥善協調，人民內部矛盾和其他社會矛盾得到正確處理，社會公平和正義得到切實維護和實現；誠信友愛，就是全社會互幫互助、誠實守信，全體人民平等友愛、融洽相處；充滿活力，就是能夠使一切有利於社會進步的創造願望得到尊重，創造活動得到支持，創造才能得到發揮，創造成果得到肯定；安定有序，就是社會組織機制健全，社會管理完善，社會秩序良好，人民群眾安居樂業，社會保持安定團結；人與自然和諧相處，就是生產發展，生活富裕，生態良好。這些基本特徵是相互聯繫、相互作用的，需要在全面建設小康社會的進程中全面把握和體現。
在2005年2月21日中共中央政治局集體學習會議上，胡錦濤總書記指出，構建社會主義和諧社會必須提高管理社會事務的本領、協調利益關係的本領、處理人民內部矛盾的本領、維護社會穩定的本領。
中共十六屆五中全會通過的《中共中央關於制定國民經濟和社會發展第十一個五年規劃的建議》，進一步把努力推進社會主義和諧社會建設作為「十一五」期間的一項重要任務。
2006年10月8日，中共十六屆六中全會在北京召開。會議專門研究社會主義和諧社會問題，從中國特色社會主義事業總體布局和全面建設小康社會全局出發，作出了《關於構建社會主義和諧社會若干重大問題的決定》。這是對構建社會主義和諧社會具有重大指導意義的綱領性文件，反映了建設富強、民主、文明、和諧的社會主義現代化國家的內在要求，體現了全黨全國各族人民的共同願望。《決定》繼承、豐富和發展了科學社會主義理論，開闢了中國特色社會主義事業的新境界。
《決定》全面、深刻地闡明了社會主義和諧社會的性質和定位，強調中國所要構建的和諧社會，是在中國特色社會主義道路上，中國共產黨領導全體人民共同建設、共同享有的和諧社會，指明了構建社會主義和諧社會的指導思想、目標任務、工作原則和重大部署。
《決定》指出，構建社會主義和諧社會，必須堅持以馬克思列寧主義、毛澤東思想、鄧小平理論和「三個代表」重要思想為指導，堅持黨的基本路線、基本綱領、基本經驗，堅持以科學發展觀統領經濟社會發展全局，按照民主法治、公平正義、誠信友愛、充滿活力、安定有序、人與自然和諧相處的總要求，以解決人民群眾最關心、最直接、最現實的利益問題為重點，著力發展社會事業、促進社會公平正義、建設和諧文化、完善社會管理、增強社會創造力，走共同富裕道路，推動社會建設與經濟建設、政治建設、文化建設協調發展。
《決定》指出，到2020年，構建社會主義和諧社會的目標和主要任務是：社會主義民主法制更加完善，依法治國基本方略得到全面落實，人民的權益得到切實尊重和保障；城鄉、區域發展差距擴大的趨勢逐步扭轉，合理有序的收入分配格局基本形成，家庭財產普遍增加，人民過上更加富足的生活；社會就業比較充分，覆蓋城鄉居民的社會保障體系基本建立；基本公共服務體系更加完備，政府管理和服務水平有較大提高；全民族的思想道德素質、科學文化素質和健康素質明顯提高，良好道德風尚、和諧人際關係進一步形成；全社會創造活力顯著增強，創新型國家基本建成；社會管理體系更加完善，社會秩序良好；資源利用效率顯著提高，生態環境明顯好轉；實現全面建設惠及十幾億人口的更高水平的小康社會的目標，努力形成全體人民各盡其能、各得其所而又和諧相處的局面。