遼沈戰役一結束，南線的戰略決戰——淮海戰役便開始了。
淮海戰役是人民解放軍在以徐州為中心、東起海州、西止商丘、北起臨城、南達淮河的廣大地區進行的一次規模空前的戰役。集結在這個地區的國民黨軍隊有徐州「剿總」總司令劉峙、副總司令杜聿明指揮下的四個兵團和三個綏靖區部隊，加上以後從華中增援的黃維兵團等部，總兵力達八十多萬人。其中，邱清泉兵團的第五軍和黃維兵團的第十八軍是南京政府僅存的兩支最精銳的主力部隊。葉劍英曾這樣分析：「敵人重兵密集，便於機動，增援迅速。若要攻殲其任何一部，必須首先攔住敵人的援兵，才能贏得時間，保持主動。這是華東戰場與其他戰場截然不同的特點，也是影響戰役勝敗的關鍵。」人民解放軍參加這次戰役的，有華東野戰軍十六個縱隊、中原野戰軍七個縱隊，還有華東、中原軍區的地方部隊，總共約六十多萬人，數量少於敵軍，裝備和交通運輸條件更遠不如對方。雙方的力量對比，和東北戰場上不同。
當時，蔣介石的打算是：在徐州地區布下重兵，既可尋求同解放軍主力決戰，又可以退而作為長江一線的屏障，保住它的根本重地——南京和上海；當戰局對它不利時，還可以將主力撤至江南，鞏固長江防線，阻止解放軍過江。因此，如果不能抓住戰機，在徐州地區消滅它的主力，讓劉峙集團縮回江南，就會給以後的渡江作戰和解放江南廣大地區帶來許多困難，甚至會延長全國革命勝利的時間。作出殲滅劉峙集團於徐州地區這個決斷，需要有很大的勇氣和魄力。
確定淮海戰役的規模和部署，有一個發展過程。最早提出發起淮海戰役這個建議的，是華東野戰軍代司令員兼代政治委員粟裕。九月二十四日清晨，當人民解放軍已突入濟南內城進行巷戰時，他致電中央軍委並報華東局、中原局，提出為了更好地改善中原戰局並為將來渡江創造有利條件，「建議即進行淮海戰役」；如果「全軍即進入休整，如此對部隊有好處，但易失去適宜作戰——秋涼氣候和濟南失守後加於敵人之精神壓力」。第二天中午，劉伯承、陳毅、李達致電中央軍委：「濟南攻克後，我們同意乘勝進行淮海戰役。」當晚十九時，毛澤東為中央軍委起草覆電：「我們認為舉行淮海戰役甚為必要。目前不需要大休整，待淮海戰役後再進行一次休整。」並且明確地指出：「你們第一個作戰，應以殲滅黃兵團於新安、運河之線為目標。」這裡說的「黃兵團」，是指位於徐州東側、由黃百韜率領的第七兵團。當時所說的「淮海戰役」，準備奪取兩淮（淮陰、淮安）、海州，打通山東和蘇北的聯繫，威脅長江北岸，為下一步在徐州、浦口線上的作戰創造有利條件，還不是作為南線戰略決戰的淮海戰役。
電報發出後，毛澤東繼續觀察和思考著。他很快覺察到，這次戰役的規模和影響將比原來預想的要大得多。九月二十八日，他為中央軍委起草電報指出：「黃兵團調回新安鎮地區業已證實。你們淮海戰役第一個作戰，並且是最主要的作戰，是鉗制邱李兩兵團，殲滅黃兵團。新安鎮地區距離徐州甚近，邱李兩兵團赴援甚快。這一戰役必比濟南戰役規模要大，比睢杞戰役的規模也可能要大。因此，你們必須有相當時間使攻濟兵團獲得休整補充，並對全軍作戰所需包括全部後勤工作在內有充分之準備，方能開始行動。」十月十一日，他又再次電示：「本戰役第一階段的重心是集中兵力殲滅黃兵團，完成中央突破」；並且更著重地提出：「要用一半以上兵力，牽制及阻擊及殲敵一部以對付邱李兩兵團，才能達成殲滅黃兵團三個師之目的。這一部署，大體如同九月間攻濟打援的部署，否則不能達成殲滅黃兵團三個師之目的。」像這樣「用一半以上兵力」來打援的巨大決心和部署，完全出乎國民黨當局的意料之外。它對以後保障淮海戰役的初戰大捷有著巨大的意義。
由於預見到淮海戰役的規模將越打越大，毛澤東立刻考慮到華東野戰軍和中原野戰軍這兩支大軍並肩作戰的問題，在十月十一日那個電報中提出：正在徐州以西的豫東地區的「孫元良三個師現將東進，望劉陳鄧即速部署攻擊鄭徐線，牽制孫兵團」。同一天，他又致電叮囑中原野戰軍：「否則，孫兵團加至徐州方面，將極大妨礙華野的新作戰。」根據中央軍委的部署，中原野戰軍在二十二日以突然動作攻克鄭州，消滅國民黨軍隊一萬多人。中原野戰軍參謀長李達回憶道：「從打鄭州開始，淮海戰役即成為華野、中野兩支大軍共同執行的任務了。正如鄧小平政委引用毛澤東主席說過的一句話：兩個野戰軍聯合在一起，就不是增加一倍力量，而是增加了好幾倍的力量。」
就在中原野戰軍攻克鄭州的同一天，毛澤東又對他們的下一步行動提出新的要求：「以主力於邱李兩兵團大量東援之際，舉行徐蚌作戰，相機攻取宿縣、蚌縣，堅決徹底乾淨全部地破毀津浦路，使敵交通斷絕，陷劉峙全軍於孤立地位。」可以清楚地看到，把淮海戰役的戰略目標擴大為力爭包圍並殲滅徐州「剿總」劉峙全軍的巨大決心，到這時已經有了一個初步的構想。
一九四八年十一月二日，東北遼沈戰役勝利結束，中國的軍事形勢進入一個新的轉捩點，即戰爭雙方力量對比已經發生了根本的變化。在這樣一個有利形勢面前，淮海戰役應該怎樣打？毛澤東覺得原定的在新安鎮地區殲滅黃百韜兵團後華野主力轉向淮安、淮陰地區的部署已不能適應戰爭形勢的發展。十一月七日，即淮海戰役發起後的第二天，他致電華東並告中原野戰軍的領導人，提出：第一仗估計需要十天左右時間，力爭殲滅黃百韜等部廿一二個師，「如能達成此項任務，整個形勢將改變，你們及陳鄧即有可能向徐蚌線迫進。那時蔣介石可能將徐州及其附近兵力撤至蚌埠以南；如果敵人不撤，我們即可打第二仗，殲滅黃維、孫元良，使徐州之敵完全孤立。」這樣，他對淮海戰役規模的構思又推進了一步。十一月九日，他在接到粟裕、張震關於「抑留敵人於徐州及其周圍，爾後分別削弱與殲滅之」的建議後，立即在九日起草了一份「佳亥」電，明確提出：「應極力爭取在徐州附近殲滅敵人主力，勿使南竄。」至此，淮海戰役的作戰方針，即毛澤東在十一月二十三日致中原、華東領導人電報中提到的「隔斷徐蚌，殲滅劉峙主力的總方針」，便最終確立了。
毛澤東歷來主張：要多謀善斷。在淮海戰役正式發動前的一個多月中，毛澤東和中央軍委同華東、中原兩大野戰軍的指揮員反覆磋商，認真聽取他們的意見，從多種方案中進行比較選擇，根據不斷變化著的形勢及時地調整部署，作出戰略決策。因此，當戰役一開始，便能成竹在胸地將既定的作戰方案一步步地付諸實施，並能從容地應付各種複雜的局面。當時擔任華東野戰軍副參謀長的張震後來評論道：「毛主席高瞻遠矚，制定了淮海戰役的作戰方針，又博採眾長，使這個方針得到補充和進一步完善。戰役第一階段的進攻方向選定在徐州以東，殲滅對象是黃百韜兵團。中野主力直出徐蚌線，協同華野作戰。在總的戰略意圖下，最高統帥部和前線指揮員之間經過醞釀磋商，使戰役的具體部署更加縝密。」這是淮海戰役這樣一場波瀾壯闊的南線戰略決戰能夠如此有條不紊地勝利進行的重要原因。
基本作戰方案已經確定，毛澤東仍然十分謹慎，沒有因此而完全放下心來。十月二十七日，他致電華東和中原野戰軍再次叮囑：「你們在研究部署時除根據當前情況外，還要估計到情況的某些可能的變化。要設想敵可能變化的幾種情況，其中應包括一種較嚴重的情況，要準備在這種情況下有對付的辦法。」第二天，饒漱石、粟裕、譚震林向中央軍委並劉、陳、鄧報告圍殲黃百韜兵團的作戰計畫。三十日，毛澤東覆電：「計畫與部署甚好，請即照此施行。」並且提議：「各處一起動作，使各處之敵同時受攻，同時認為自己處於危險境地，互相不能照顧。」陳、鄧方面「亦請同時動作」。次日，粟裕致電中央軍委：「此次戰役規模很大，請陳軍長、鄧政委統一指揮。」這個要求立刻得到中央軍委的批准。十一月三日，毛澤東致電陳、鄧：關於鉗制邱孫兵團的「具體攻擊任務，由你們按當面情況臨機決定」。
一場大仗很快就要開始了。
十一月四日，華東野戰軍下達淮海戰役攻擊命令。六日傍晚，華野向徐州東側新安鎮地區的黃百韜兵團出擊，淮海戰役開始。第二天，毛澤東致電粟裕等，表示完全同意他們的攻擊部署，並說：「望你們堅決執行，非有特別重大變化，不要改變計畫，愈堅決愈能勝利。在此方針下，由你們機斷專行，不要事事請示，但將戰況及意見每日或每兩日或每三日報告一次。」華東野戰軍發動攻擊後，黃百韜率領所轄五個軍慌忙西撤，企圖退往徐州。八日下午，國民黨軍第三綏靖區副司令官何基灃、張克俠（都是地下黨員）率第五十九軍全部、七十七軍大部二萬三千餘人在賈汪、台兒莊地區起義，使徐州的東北大門敞開，解放軍得以迅猛地直插徐州以東，並造成國民黨軍上下混亂。劉峙不得不把原在徐州以東