農業支撐不了過大規模的建設。陳雲力主動員兩千萬城市人口下鄉。
要渡過難關，光在糧食來源上打主意是不夠的，還必須想辦法把糧食銷量減下去，減輕國家糧食供應的壓力。陳雲當時計算，進口糧食超過100億斤有困難，因為沒有那麼多的外匯，也沒有那麼大的運輸力量。農業欠收引起了嚴重的糧食危機，城市人口增長過快更加劇了這一危機。「大躍進」以來，建設規模迅速膨脹，幾年間增加了2000萬職工。這麼多的勞動力從農村進入城市，一方面削弱了農業生產，另一方面增加了國家的糧食負擔。為此，陳雲力主動員大批城市人口下鄉。
1961年5月21日至6月12日，中共中央在北京召開工作會議，主要是討論農村工作、商業工作和城鄉手工業工作問題。在會上，陳雲就精減職工和城鎮人口下鄉問題，作了重要講話。
陳雲提出，面前擺著兩條路：一個是繼續挖農民的口糧；一個是城市人口下鄉。兩條路必須選一條，沒有什麼別的路可走。
陳雲不主張再挖農民的口糧了。當時農民口糧已經挖得很苦，再挖下去，農業就沒法恢複。
擠農民口糧的一條路走不通，那就只有下決心動員城鎮人口下鄉。但是，這個決心實在是很難下的。
陳雲的這一主張，與周恩來、鄧小平等中央領導人不謀而合。中央迅速採納了這一主張。6月16日，中共中央批准並於18日發出由中央工作會議制定的《關於減少城鎮人口和壓縮城鎮糧食銷量的9條辦法》，提出在1960年底的基礎上，3年內減少城鎮人口2000萬以上。同日，中央還發出《關於核實城市人口和糧食供應的緊急指示》。為此，中央成立了核實城市人口和糧食供應小組，由安子文任組長。當年，就有1000萬城鎮職工告別城市，回到鄉村。
陳雲一直在呼籲抓緊這項工作不放鬆。他的一再呼籲與督促下，1962年5月27日，中共中央、國務院下達《關於進一步精減職工和減少城鎮人口的決定》。
中央作出精減城鎮人口的決定以後，各地迅速行動起來。2000多萬城鎮人民，體諒國家困難，響應黨的號召，打點起行李，扶老攜幼，回到祖祖輩輩生息繁衍的土地上，重新拿起了鋤頭鐮刀。他們為國民經濟的恢複和發展作出巨大的犧牲和貢獻。
1963年7月31日，中共中央在批轉中央精簡小組《關於精減任務完成情況和結束精減工作的意見的報告》中，宣布減少職工，壓縮城鎮人口的工作基本結束。據統計，自1961年1月到1963年6月，全國職工減少1887萬人，城鎮人口減少2600萬人，吃商品糧人數減少2800萬人。上述報告指出：「由於大量地減少了職工、城鎮人口和吃商品糧的人口，加強了農業戰線，減少了工資開支，減少了糧食銷量，提高了企業的勞動生產率，對於改善城鄉關係，爭取財政經濟狀況的好轉，起了很大的作用。」