通過農村社會主義教育運動，那些公開反對集體化的人受到打擊，農民順從了。農村中的青年人，多數是願意集體化的。一群年輕人熱熱鬧鬧地一起勞動，比獨自在父親的嚴厲的指導下勞動愉快得多。他們太年輕，喜歡新鮮事，對改變現狀的事情都擁護。但他們並不知道這種改變對自己的利害關係。他們在家裡雖然沒有多大的發言權，但可以在社會上造輿論。與此同時，從上到下對合作社進行了整頓，改變了一些明顯不合理的東西，這也減少了農民的牴觸情緒。多數人入社以後，不願入社的人就顯得很孤立，不得不參加了合作社。
但是，人民公社還不是自下而上的自覺行動，而是按中央的意願，自上而下發動起來的。它起源於中央領導集團的共產主義情結，也起源於極權制度的需要。不過，它的興起卻藉助了全民大辦水利的契機。
一九五七年冬到一九五八年春，在中央政府的號召和推動下，上千萬到上億的勞動大軍，從南到北都在大搞農田水利建設。這種農田水利基本建設要求在大面積的土地上統一規劃，修建長達十幾公里甚至更長的灌溉渠系。這種較大工程需要大量勞力和資金，規模較小的農業合作社沒有力量辦這種事，只能通過調整農業合作社的規模甚至調整行政區劃來解決問題。中央有些領導人就產生了改變農村基層結構的思想。毛澤東曾一再強調「大社的優勢性」。
一九五八年的成都會議上，毛澤東認為，生產關係上的越大、越公，就能促進生產力的高速發展。根據毛澤東的意見，會議通過了《關於把小型的農業合作社適當地合併為大社的意見》。四月十二日，《人民日報》頭版頭條，以編者按的形式將毛澤東關於小社並成大社、小鄉並成大鄉、幾鄉並為一社的觀點發表。
成都會議傳出的信息啟發了河南省遂平縣的領導人，這個縣在水利建設、山地開發、發展多種經營方面，在山區與平原互相協助、共同發展方面，鄉與鄉之間發生過一些磨擦。如何解決這一矛盾呢？遂平縣委書記婁本耀、縣委農工部副部長陳丙寅認為，可以根據成都會議的精神，把在實際利益上難以協調的鮑莊、揚店、槐樹、土山這四個鄉合在一起。他們請示了到這裡檢查工作的信陽地區專員張樹藩，要他在聯合成大社的問題上表態，張樹藩說這是大事，要經過地委討論才能決定。
但他們等不及地委的討論，說幹就幹，立即召集四個鄉的黨委書記、鄉長開會。會上各自表態，他們都同意合併。後過經過信陽地委書記路憲文同意，一九五八年四月二十日，（（左山右查）岈山大社正式成立。陳丙寅任書記，全國勞動模範、縣委委員鍾德清任社長。大社內分為八個部：農業部、工業部、水利部、林業部、畜牧部、文化衛生部、交通部。共有五千五百六十六戶，三萬零一百一十三人。
縣委向省委上報時，受到蘇聯集體農莊的啟發，改名為「（左山右查）岈山衛星集體農莊」。一九五八年五月五日，專門到省委匯報的婁本耀，受到了當時正在河南的中共中央書書記處書記、國務院副總理譚震林的接見。譚震林說：為什麼要叫集體農莊呢？你這個農莊實行的管理和分配形式實際上比蘇聯的集體農莊的層次要高，我看和巴黎公社的情況差不多，還是叫公社好。婁本耀一聽，很受鼓舞，連夜給縣委辦公室打電話，經反覆商量，最後名稱定為：（左山右查）岈山衛星人民公社。
其實，「公社」這個名字也不是譚震林的發明，而是當時不少中央領導人的集體創作。劉少奇在第一次鄭州會議上講話中回憶：「公社這個名字，我記得在這裡跟芝圃同志談過。去廣州開會，在火車上，有我，恩來，定一，鄧力群，我們四個人吹半工半讀，吹教育如何普及，另外就是吹公社，吹烏托邦，吹過渡到共產主義，說建設社會主義這個時候就為共產主義準備條件。」他們四人去廣州的火車上應是一九五八年四月二十五日或二十六日，在譚震林見婁本耀之前。
《陸定一傳》中是這樣記載他們四人的火車上是怎樣「吹」的。一九五八年四月底，劉少奇、周恩來、陸定一、鄧力群到廣州向毛澤匯報八大二次會議的準備情況，他們在火車上放開思想海闊天空地議論許多重大問題，包括半工半讀、教育如何普及、公社、烏托邦、過渡到共產主義，等等。劉少奇說：「建設社會主義這個時候就為共產主義準備條件，要使前一階段為後一階段準備條件，我們搞革命就是這樣的，開始搞前一步的時候，就想到下一步，為下一步創造條件。我們現在建設社會主義，就要為共產主義創造一些順利條件。」他們還吹了空想社會主義，還吹了托兒所、集體化，生活集體化，還吹工廠辦學校，學校辦工廠……劉少奇要鄧力群去編空想社會主義，要陸定一編馬恩列斯論共產主義。
到了鄭州，河南省委第一書記吳芝圃到車站來看他們。劉少奇對吳芝圃談了他們議論的東西，要吳芝圃試驗一下。吳芝圃熱情很高，採取的辦法也很快。不久，河南農村就出現了托兒所、食堂，工農商學也有了，鄉社合併是老早就有了，只是不叫公社。八大二次會議，劉少奇講了半工半讀和生活集體化問題，後來要北京和天津試驗，公社就是這樣來的。事實上已經有了，他們叫大社。
五月間，中共中央八大二次會議召開。十九日陸定一作了題為《馬克思主義是發展的》的發言。他在這個發言的最後說：「毛主席和少奇同志，談到幾十年以後我國的情景時，曾經這樣說：那時我們的鄉村中將是許多共產主義的公社，每個公社有自己的農業、工業，有大學、中學、小學，有醫院，有科學研究機關，有商店和服務行業，有交通事業，有托兒所和公共食堂，有俱樂部，也有維持治安的民警等等。若干鄉鎮公社圍繞著城市，又成為更大的共產主義公社。前人的烏托邦的夢想，將被實現，並將被超過。我們的教育事業和其他文教事業，也將朝著這個目標去發展。」
薄一波在《若干重大決策與事件的回顧》中談到這件事時說，陸定一發言中的這段話，是在發言的頭天晚上，陸定一自己大會秘書處已經鉛印好的發言稿加上去的。這段話包括同少奇在火車上『吹』的那些內容，但主要是轉述毛主席在廣州向他們四位談的內容。
陸定一這段話雖然不長，但已經反映了公社的輪廓，勾畫出毛澤東對公社的構想和憧憬。陸定一在火車上接受了劉少奇交給的編書任務，從廣州回到北京立即組織中央宣傳部的人全力突擊，六月間初稿編成。收入初稿的第一條語錄，就是恩格斯一八四五年二月八日《在愛北菲特的演說》中描繪共產主義概況的幾段話。這條語錄就有兩個地方提到共產主義社會的基層組織叫做公社。這部書的編出，對毛澤東最後決定把新合併起來的大社叫做人民公社起了不小的促進作用。因此，在後來的北戴河會議上，毛主席向與會同志一再推薦這本書，即《馬恩列斯論共產主義》。
一九五八年八月十七日，在北戴河舉行中央政治局擴大會議,人民公社問題是議題之一。從此人民公社化運動在全國轟轟烈烈地展開了。
中共中央政治局委員、中共中央宣傳部副部長陳伯達得知（左山右查）岈山衛星人民公社的情況後，立即派《紅旗》雜誌社編輯李友九到（左山右查）岈山衛星人民公社幫助工作。李友九在這裡工作了一個月，和河南省委的幹部合作，寫出了《（左山右查）岈山衛星人民公社章程》初稿。陳伯達將《楂岈山衛星人民公社章程》初稿轉給毛澤東，毛澤東如獲至寶，當即對章程初稿進行了修改，批示：請各同志討論，似可發各省、縣參考。這個文件於一九五八年九月二十四日在《人民日報》上全文發表，題為《（左山右查）岈山人民公社試行草案》，成了全國各地辦公社的藍本。
一九五八年七月一日，陳伯達在《紅旗》雜誌第三期上發表了《全新的社會全新的人》的文章，第一次向全國正式提出了「人民公社」的概念。七月十六日，他又在《紅旗》第四期上發表了《在毛澤東的旗幟下》一文，公開傳達了毛澤東關於辦人民公社的思想。文章講到：「毛澤東同志說，我們的方向，應當逐步地、有序地把工（工業）、農（農業）、商（交換）、學（文化教育）、兵（民兵，即全民武裝），組成一個大公社，從而構成我國社會的基本單位。」
河南省在公社化運動中走在前面。八月二十二日河南省委向中央的報告說，截到目前為止，全省已建立人民公社一千一百七十二個，正在建立的有三百個。估計運動的結果，將並成一千五百個人民公社，平均每社七千戶左右，平原地區一萬戶左右。修武縣全縣十三萬人口試辦一個以縣為單位的人民公社。
一九五八年八月六日，毛澤東視察河南省七里營人民公社，在與吳芝圃等當地領導人談話時說：「看來人民公社是一個好名字，包括工農商學兵，管理生產，管理生活，管理政權。人民公社前面可以加上群眾喜歡的名字。」八月九日，毛澤東視察山東省時，對譚啟龍等當地領導人說：「還是辦人民公社好。它的好處是，可以把工、農、商、學、兵合在一起