由於美國政府的阻撓和破壞，停戰協定規定的政治會議未能召開，日內瓦會議在和平解決朝鮮問題上未達成任何協議。
為了推動朝鮮問題的和平解決和進一步緩和遠東的緊張局勢，中國人民志願軍在1954年9月到1955年10月的一年多時間內，先後分三批公開主動從朝鮮撤出十九個師的部隊：1954年9月16日至10月3日撤出第47、第67軍及第33師共七個師；1955年3月31日至4月20日撤出第50、第68軍共六個師；1955年10月10日至10月26日撤出第24、第46軍共六個師。這一主動行動，受到朝中人民的一致擁護和國際輿論的普遍讚揚。
另外，自朝鮮停戰至1955年底，中國人民志願軍還先後從朝鮮秘密撤出了第60、第63、第64、第65、第12、第15軍等六個軍，炮兵第2、第3、第7、第21、第22師，高炮第61、第63、第64、第65師，公安第1師，鐵道兵第1、第2、第3、第4、第5、第6、第7、第9、第10、第11師以及其他特種兵部隊。第3兵團領導機關和第9兵團領導機關分別於1955年1月、4月初撤出朝鮮。1955年底以後，仍在朝鮮的志願軍僅有第1、第16、第21、第23、第54共五個軍，另有炮兵、高射炮兵、裝甲兵、工程兵、後勤等部隊。
1957年中共中央鑒於國際國內和朝鮮的形勢，準備從朝鮮撤出中國人民志願軍。1957年11月，毛澤東率領中國代表團在訪問蘇聯期間和金日成談到從朝鮮撤出中國人民志願軍的問題。毛澤東說：「鑒於朝鮮的局勢已經穩定，中國人民志願軍的使命已經基本完成，可以全部撤出朝鮮了。朝鮮人民可以依據自己的力量來解決民族內部事務。」金日成完全同意毛澤東的意見。
金日成從蘇聯訪問回國後，於1957年12月16日和25日，給毛澤東寫信，先後對志願軍撤出朝鮮問題提出了兩個方案。一是由朝鮮政府發表聲明，提出從朝鮮撤出一切外國軍隊的主張，中國政府積極響應；一是由朝鮮最高人民會議寫信給聯合國，要蘇聯在聯合國提出主張，以推動聯合國採取行動。
中共中央對此十分重視。12月30日，中共中央政治局常委和書記處對此事專門進行了研究，在討論的基礎上由張聞天擬訂了關於《從朝鮮撤出中國人民志願軍的方案》。方案提出，中國政府發表聲明，支持朝鮮政府關於「聯合國軍」和中國人民志願軍撤出朝鮮的主張，並正式表示準備就志願軍分批撤出朝鮮問題同朝鮮政府協商，要求「聯合國軍」方面有關各國政府也採取同樣步驟。撤軍辦法是，志願軍在1958年底以前分三批全部撤完。當天，周恩來審閱了方案稿，並批送劉少奇、朱德、鄧小平、彭德懷並轉送毛澤東核閱。31日，毛澤東在方案上批示：「同意。」隨後，中國政府將從朝鮮撤出志願軍的方案，通報給蘇聯政府並徵求他們的意見。
在得到蘇聯政府的意見後，1958年1月24日，毛澤東將中國方面關於中國人民志願軍撤出朝鮮的考慮電告金日成。電報指出：
我們覺得，由朝鮮民主主義人民共和國主動提出外國軍隊撤出朝鮮的要求，然後由中國政府響應朝鮮政府的要求，是比較適宜的。……對於這個方案，我們提出一些具體意見。這些意見，我們已經同蘇聯政府商量過，他們表示完全同意。
1958年1月13日，中央軍委舉行例會，專門研究了中國人民志願軍撤軍問題。根據中央軍委的決定，總參作戰部和志願軍總部對志願軍撤軍工作進行了部署和安排。2月上旬，總參作戰部研究上報了志願軍領導機關和部隊回國後的具體部署方案。
1月28日，志願軍司令員楊勇在給國防部長彭德懷的信中指出，鑒於從朝鮮撤走志願軍的形勢已定，行動時間近迫，在不放鬆戰備而又節約經費開支的精神下，志願軍已初步採取了以下措施：停建營房、倉庫和醫院；壓縮一線永備工事的構築，但縱深永備工事則加速進行；結合動員家屬還鄉生產，決定今年上半年軍官家屬一律不準入朝；軍需物資凡今年用不著的，不再運往朝鮮；交接防務的一切有關資料正在進行準備。信中對部隊撤出的時間、方法及各軍回國後的駐防位置，兵團、志願軍領導機關的處理等問題，提出了意見和建議。同時志願軍還制定了撤軍計畫。
1958年2月5日，朝鮮民主主義人民共和國政府就撤退一切外國軍隊與和平統一朝鮮問題發表聲明。聲明建議，為了緩和朝鮮的緊張局勢以及和平解決朝鮮問題，美軍和包括中國人民志願軍在內的一切外國軍隊應當同時撤出南北朝鮮。為此，在朝鮮派有軍隊的國家應當迅速採取相應措施，把本國的軍隊立刻撤出朝鮮，聲明還建議，在一切外國軍隊全部撤出南北朝鮮以後，應當在一定時期內在中立國機構的監督下實行全朝鮮的自由選舉；應當在對等的基礎上早日實現南北朝鮮之間的協商，討論經濟、文化交流和全朝鮮的選舉問題；應當在今後盡量短的時期內把南北朝鮮軍隊的人數縮減到最低限度，以實現朝鮮的和平統一。
2月7日，中國政府發表聲明，表示完全贊同並且全力支持朝鮮政府的和平倡議。認為一切外國軍隊，應該定期撤出朝鮮。為促進朝鮮問題的和平解決，緩和遠東的緊張局勢，中國政府準備就中國人民志願軍從朝鮮撤出的問題同朝鮮政府進行磋商。聲明要求美國政府和參加聯合國軍的其他各國政府同樣採取措施，從南朝鮮撤出美國軍隊和其他一切外國軍隊。這再一次表明了中國政府和中國人民謀求和平解決朝鮮問題的真誠願望。
2月14日，應朝鮮政府的邀請，中國政府代表團在周恩來的率領下到達平壤，開始對朝鮮進行友好訪問。代表團成員還有副總理兼外交部長陳毅、外交部副部長張聞天、中國人民解放軍總參謀長粟裕，以及總理辦公室副主任張彥、外交部亞洲司司長章文晉和中國駐朝鮮大使喬曉光等。在訪問朝鮮期間，中國政府代表團同朝鮮政府代表團進行了親切、友好的會談，就中國人民志願軍撤出朝鮮的問題達成了完全一致的意見。
2月16日晚，中國政府代表團到達中國人民志願軍總部所在地檜倉。周恩來在志願軍團以上幹部大會上作重要講話。他號召廣大指戰員發揚高度的國際主義精神，虛心學習勤勞的朝鮮人民和英勇的朝鮮人民軍的優點。要求在撤軍過程中，對朝鮮政府、朝鮮人民軍、朝鮮人民應該交待好，各種事情都交待得一清二楚，除隨身攜帶的武器外，凡是可以留的都應該留下，使中朝兩國人民用鮮血凝成的友誼之花，在最後一年開得更好，結出豐碩之果。志願軍不僅在朝鮮是最可愛的人，回國後也要做最可愛的人。
2月19日，中華人民共和國政府和朝鮮民主主義人民共和國政府發表《聯合聲明》。聲明鄭重向全世界宣布，中國人民志願軍完全同意中國政府的建議，並且決定在1958年年底以前分批全部撤出朝鮮，第一批將在1958年4月30日以前撤完。朝鮮民主主義人民共和國政府對於中國人民志願軍的這一決定表示同意，並且願意對中國人民志願軍的全部撤出給予協助。
中國人民志願軍全部撤出朝鮮的決定，不僅獲得了中朝兩國人民的熱烈擁護，而且受到國際輿論的重視和歡迎。
2月20日，蘇聯政府發表聲明，完全支持朝中兩國政府關於中國人民志願軍全部撤出朝鮮的建議。認為這一倡議具有極其重大的意義，是旨在緩和國際緊張局勢、加強國際信任和鞏固和平的極其重要的措施之一。
其他各社會主義國家的報紙全文刊載了中朝兩國政府聯合聲明並做了高度評價，一致認為中國人民志願軍決定全部撤出朝鮮的主動措施，是對和平解決朝鮮問題，緩和遠東緊張局勢做出的重大貢獻。同時，敦促美國軍隊也從南朝鮮全部撤走。就連美國在侵朝戰爭中的主要盟國的輿論，也不得不承認中國人民志願軍決定從朝鮮撤出的主動措施，對緩和遠東局勢的積極意義。美國的公正輿論也認為，中國採取從朝鮮撤出中國人民志願軍的行動是「大膽地掌握了主動」，「並且使美國陷於難堪的境地」。
為圓滿完成撤軍任務，志願軍黨委根據中央軍委和周恩來總理的指示，對撤軍工作做了具體部署，向全軍發出了「不驕不懈，善始善終；軍隊撤出，友誼長存」的號召。要求部隊「交好、走好、到好」。交好，就是除了武器裝備和個人隨身攜帶的物品以外，其餘東西一律移交給朝鮮人民軍；走好，就是要圓滿安全地撤出；到好，就是回到祖國後不居功、不驕傲，服從祖國需要。
2月13日，中國人民志願軍司令員楊勇、政治委員王平頒發訓令，制定了十二條規定，要求全軍在撤軍過程中嚴格遵守。2月21日，中國人民志願軍政治部發出了《關於志願軍撤出朝鮮的政治工作的指示》。第一批部隊撤出朝鮮後，6月，志願軍政治部又專門制定了《撤軍工作三十條》。強調必須做到交好、走好、到好的思想，要求部隊善