1948年9月24日，我華東野戰軍攻克華東重鎮濟南，活捉了國民黨第二綏靖區司令官、山東省黨政軍統一指揮部主任王耀武，山東省基本上全部解放。到這時，任何人都會明白，華野兵鋒所指，必然就是緊接著山東邊界的徐州。但是，這時的徐州是國民黨中原戰場上屯兵最多的軍事樞紐，不是隨便就可以打的。所以，這一戰不是打不打的問題，而是什麼時候打和如何打的問題。
就在9月24日這一天的早上，當我華野已經突入濟南城的東南角和西南角，向濟南城中做縱深發展進行巷戰的時候，華野代司令員兼政委粟裕向中央軍委發出了一封電報，電報同時也報華東局和中原局，「建議立即進行淮海戰役」，因為，如果「全軍即進入休整，如此對部隊有好處，但易失去適宜作戰的秋涼氣候和濟南失守後加於敵人之精神壓力」。為此他向中央提出了三個方案：
（一）舉行淮海戰役，就是乘徐州南邊地區的淮安、淮陰一帶敵人力量空虛，由華野的蘇北兵團（即第四兵團）攻佔淮安、淮陰、高郵、寶應等運河沿線城市。華野其他部隊此時須在宿遷一線布防，嚴防徐州之敵向南援助。等到運河沿線城市解放之後，再向東進攻，解放海邊的海州和連雲港。此戰結束之後，徐州的南邊和東邊地區就基本上被我控制，而北邊和西邊早已是我軍控制地區，徐州就處於我軍的四面包圍之中。這時我軍再作休整，準備下階段更大的戰鬥。
（二）只打海州、連雲港地區，解決徐州東面的敵人之後，部隊即進行休整。這樣打可以使部隊較早得到休整，但對今後攻打兩淮不利，因為敵人可能向兩淮增兵。
（三）只殲滅敵人從徐州向濟南方向增援之敵，但如果敵人不來增援，就無法消滅敵人。在上述三個方案中，粟裕自己認為以第一方案為最佳。
這時，粟裕雖然只是在計畫華野在濟南戰役之後如何打的問題，實際上已經進入了如何對付徐州劉峙集團的問題，提出了打「淮海戰役」，即如何解決淮河流域到海邊這一片軍事要地上的國民黨軍隊的問題。
粟裕把他的這份電報同時也發給了中原野戰軍的劉伯承和陳毅。9月25日，也就是粟裕發出電報的第二天，劉伯承和陳毅給中央軍委的電報中明確表示，「濟南攻克後，我們同意乘勝進行淮海戰役，以第一方案攻兩淮，並吸引打援敵為最好」，支持粟裕的第一方案。
就這樣，日後名震全國的「淮海戰役」這四個大字放到了毛澤東的面前。
毛澤東在西柏坡認真考慮了粟裕的方案。在毛澤東的心中，當然想到了華野拿下山東全省之後下一步如何打的問題，他當然也認為淮海戰役是必然要打的，是順理成章之事。所以，毛澤東在9月25日這天立即回電粟裕和當時的華東局書記饒漱石：
我們認為舉行淮海戰役甚為必要。目前不需要大休整，待淮海戰役後再進行一次休整。淮海戰役可於10月10日左右開始行動。你們應利用目前半月時間，使攻濟部隊獲得短時休息，然後留一個縱隊位於魯西南，起牽製作用，吳化文亦應移至魯西南（按：這是指在濟南戰役中起義的吳化文部），其餘全部南下，準備進行幾個作戰：（一）估計不久邱清泉兵團將退回商丘、碭山地區，黃百韜兵團將回至新安鎮、運河車站地區，你們第一個作戰，應以殲滅黃兵團於新安、運河之線為目標；（二）殲滅兩淮、高寶地區之敵，為第二個作戰；（三）殲滅海州、連雲港、灌雲地區之敵，為第三個作戰。進行這三個作戰是一個大戰役。打得好，你們可以殲敵十幾個旅，可以打通山東與蘇北的聯繫，可以迫使敵人分散一部兵力去保衛長江，而利於你們下一步進行徐州、浦口線上之作戰。因此，你們應在10月10日以前做好有關這一戰役的充分的準備工作，要開一次像上月曲阜會議那樣的幹部會，統一作戰意志，調整內部關係。
從上述電報可以明顯地看出，對於這一仗應當怎麼打，當毛澤東剛剛接到粟裕的電報時，他的決定是先打黃百韜兵團。這是因為，在徐州地區的敵軍之中，3個綏靖區的部隊不是機動兵團，也不是蔣軍主力，可以先放在一邊，以後順便來解決。在4個機動兵團中，黃百韜兵團距徐州最遠，其東邊就是大海，對我軍的攻擊行動很有利。另外，黃百韜兵團在蔣軍中不算嫡系，如果被我圍攻，其他幾個兵團不大可能進行拚死相救。根據這種考慮，作為一個卓越的軍事家，毛澤東很快就作出了先打黃百韜的決定，所以他在上述電報中明確告訴粟裕「你們第一個作戰，應以殲滅黃兵團於新安、運河之線為目標」。
毛澤東在這封電報中的幾個估計都完全正確，就在3天之後，黃百韜兵團的確就到了新安鎮地區，邱清泉兵團也的確就到了商丘地區。這就是說，無論是粟裕，還是毛澤東，這個時期在心中所考慮的「淮海戰役」，並不是後來實際進行的淮海戰役，我們可以姑且稱之為「小淮海戰役」，其目標是奪取兩淮（淮安、淮陰）和海州（這也就是當時稱之為「淮海戰役」的原因），佔領徐州的東邊和南邊的部分地區，打通山東和蘇北解放區之間的聯繫，威脅長江北岸，為下一步在徐州、浦口一線作戰創造有利條件。所以，9月28日，毛澤東在給粟裕的電報中指出：
黃兵團調回新安鎮地區業已證實。你們淮海戰役第一個作戰，並且是最主要的作戰，是鉗制邱、李兩兵團，殲滅黃兵團。新安鎮地區距離徐州甚近，邱、李兩兵團赴援甚快。
從這封電報中完全可以看出，這裡所考慮的淮海戰役，其規模是「比睢杞戰役也可能要大」，「最主要的作戰」只是「殲滅黃兵團」，這不是後來決戰淮海的那一場淮海戰役。不過，首先要消滅黃百韜兵團，這一點卻一直是沒有過任何變化的。
這個時候中原地區的國民黨軍隊為了準備對付我華東野戰軍的進攻，已經組成了一個以徐州為中心的縱深防禦體系，其部隊的編製與年初已經有所不同。徐州「剿總」所指揮的有4個機動兵團、3個綏靖區的部隊，這些部隊在1948年9月的分布是：黃百韜的第七兵團有4個軍，分布在徐州以東隴海線上的新安鎮地區。李彌第十三兵團有兩個軍，在徐州以東隴海線的曹八集地區，距徐州較第七兵團更近。邱清泉的第二兵團有三個半軍（第十二軍只有兩個師），在徐州以西隴海線上的黃口、碭山地區。孫元良的第十六兵團有3個軍，距徐州稍遠一點，在徐州西南的蒙城地區。作為徐州「剿總」直屬的還有第七十二、第一零七、第一一五3個軍。李延年的第九綏靖區有第四十四軍，駐在東海邊上的海州。馮治安的第三綏靖區有第五十九和七十七兩個軍，駐在徐州東北的韓庄、台兒庄地區。劉汝明的第四綏靖區有第五十五、第六十八兩個軍，駐在徐州西邊隴海線上的商丘地區。除了上述部隊之外，原來屬於武漢「剿總」的黃維第十二兵團的4個軍已經向平漢線移動，用於牽制我中原野戰軍，支援徐州。以上共有24個軍約70萬人，加上部分其他軍事力量，總兵力超過80萬人。在濟南失守之後，蔣介石知道徐州即將成為我華東野戰軍的主攻目標，他必須「堅固兩淮、徐蚌」，遂命令劉峙將太靠北的菏澤、定陶一帶的軍隊全部南撤，用於以徐州地區為中心的「攻勢防禦」。
這時，我軍能用於徐州戰場的部隊是華野的16個縱隊、中野的7個縱隊，有兵力51萬人。華東軍區和中原軍區的地方部隊有21萬人，共約72萬人。雖然華野的兵力要少於劉峙集團，但是如果把華野和中野這兩支大軍聯合起來使用，就將是另一個局面。正如當時擔任中野參謀長的李達後來在回憶錄中所說：「從打鄭州開始，淮海戰役即成為華野、中野兩支大軍共同執行的任務了。正如鄧政委引用毛澤東主席說過的一句話：兩個野戰軍聯合在一起就不是增加一倍力量，而是增加了好幾倍的力量。」
毛澤東已開始制定一場空前規模的大戰藍圖。這場大戰，雙方將投入150萬以上的兵力在中原逐鹿。下面是毛澤東將「小淮海戰役」逐步發展為淮海決戰的「大淮海戰役」的簡明時間表：
10月11日，毛澤東給華東局和華野、中原局和中野的電報（也是後來收在《毛澤東選集》中的《關於淮海戰役的作戰方針》一文）中指出：
本戰役第一階段的重心，是集中兵力殲滅黃百韜兵團，完成中間突破……為達到這一目的，應以兩個縱隊擔任殲滅敵一個師的辦法，共以六個至七個縱隊，分割殲滅敵二十五師、六十三師、六十四師。以五個至六個縱隊，擔任阻援和打援。……以上部署，即是說要用一半以上兵力，牽制、阻擊和殲敵一部。
在這裡，毛澤東特彆強調了把殲滅敵人的有生力量放在最重要的位置，強調要以絕對多數去有把握地將敵人各部分別予以全殲，不打破襲戰，不打擊潰戰，更不把爭城奪地放在心上。在這裡還有一點很值得注意，就是強調打援的重要性。除了上述指示以外，在關於第二階段和第三階段作戰的指示中，也再次強調要以「主力擔任打援和鉗制」。為