1948年9月24日清晨，一夜未眠的粟裕仍毫無睡意，沒有離開作戰室去稍稍歇息一會兒的意思。
這裡是寧陽大柏集華野指揮部作戰室。參謀人員吹滅了用於照明的蠟燭，拉開窗帘，迎來了第一縷陽光。此刻，陳士榘、張震等華野領導人都是一臉興奮，顯然，他們隨著粟裕熬了一個通宵。他們已不再為攻破內城的事情苦思苦慮，絞盡腦汁。既然已突入內城，濟南戰局就大勢已定。
王耀武部即將全軍覆沒，似在意料之中，可謂大勝。但粟裕似乎心有不甘。
原來，在戰役前，粟裕曾設想在攻城的同時又能打援，殲滅北援的邱清泉兵團或黃百韜兵團。可由於援敵畏縮不前，致使他的計畫只實現了一半。現在，他腦子裡冒出一個新的想法，邱清泉、黃百韜雖然狡猾，但總有抓住他們的時候。他們躲得過初一，未必躲得過十五。何不乘濟南戰役的餘威揮師南下，同這些敵人較量一番呢？其實，這也不完全是新想法，早在這年8月23日報中央軍委並致管文蔚、陳丕顯、韋國清、吉洛的電報中，他即曾設想「兩個月以後，我們即可舉全力沿運河及津浦南下，以一個兵團攻佔兩淮及高、寶，則蘇北局勢即可大大開展」。
陳土榘也贊成揮師南下，在兩淮和高、寶一帶與敵軍作戰。
張震也說：「我們給敵人準備了筵席，他們卻不來。不來，我們就送上門去。這次要一不做、二不休，要打就大打一下，打一個比豫東戰役、濟南戰役更大的仗。我建議從魯南、魯西南多路南下，直插新安鎮，殲滅黃百韜後，再打兩淮、高、寶，把蘇北和山東連成一片！」
他們說干就干，隨即起草給中央軍委並報華東局、中原局的電報。
一篇洋洋洒洒、早在粟裕腦子裡不知梳理過多少遍的文稿，被他一揮而就。在這份電報中，粟裕就華東野戰軍下一步行動提出如下建議：
（1）為更好地改善中原戰局，孤立津浦線，並迫使敵人退守（至少要加強）江邊及津浦沿線，以減少其機動兵力，便於我恢複江邊工作，為將來渡江創造有利條件，同時便於以後華野全軍進入隴海路以南作戰，能得到交通運輸供應的方便和爭取華中人力、物力對戰爭的支持，建議即進行淮海戰役。該戰役可分為兩階段：第一階段以蘇北兵團（須加強一個縱隊）攻佔兩淮，並乘勝收復寶應、高郵。同時以全軍主力位於宿遷至運河車站沿線兩岸，以殲滅可能來援之敵。如敵不援或被阻，而改經浦口長江自揚州北援，則我於兩淮結束前後，即進行戰役第二步——以三個縱隊攻佔海州、連雲港，結束淮海戰役，而後全軍轉入休整。
（2）只進行海州作戰，僅以攻佔海州、新浦、連雲港等地為目的，並以主力控制於新安鎮、運河車站南北及嶧棗線，以備戰姿態進行休整。此案對部隊休整（只有攻城部隊需稍事休整。至昨日黃昏為止，攻城部隊之6個縱隊僅傷亡8000餘人，昨晚及今晨傷亡尚不在內，因此傷亡並不算大）更便利，但亦會增加今後攻佔兩淮的困難（敵可能增兵）。
（3）全力向南求援敵之一部而殲滅之，但在濟南已被攻克形勢下，敵人加強警惕，可能退縮。恐不易求戰。
（4）全軍即進入休整。如此對部隊有好處，但易失去適宜作戰的秋涼氣候和濟南失守後加之於敵人重大精神壓力的機會。
此時，中原局書記鄧小平出席中央工作會議未回，中原局其他領導人對粟裕的建議持完全支持的態度。9月25日中午，劉伯承、陳毅、李達致電中央軍委並告粟裕：「以第一方案攻兩淮並吸打援敵為最好，同意乘勝進行淮海戰役。」
9月25日19時，毛澤東為中央軍委起草複電：「我們認為，舉行淮海戰役，甚為必要。目前不需要大休整，待淮海戰役後再進行一次休整。」同時明確指出，「估計不久邱兵團將退回商碭地區，黃兵團將回至新安鎮、運河車站地區。你們第一個作戰應以殲滅黃兵團於新安、運河之線為目標。」「殲滅兩淮高寶之敵，為第二個作戰。」「殲滅海州、連雲港、灌雲地區之敵，為第三個作戰。這三個作戰是大戰役，打得好，你們可以殲敵十幾個旅，可以打通山東與蘇北的聯繫，可以迫使敵人分散一部分兵力去保衛長江，而利於你們下一步進行徐州、浦口線上之作戰。因此，你們應在酉灰（10月10日）以前做好有關這一戰役的充分的準備工作，要開一次像上月曲阜會議那樣的幹部會，統一作戰意志，調整內部關係。」
這時，中央軍委忙於指揮遼瀋戰役，特別是在說服林彪認清攻佔東北錦州的重要性方面花了不少精力，但仍對淮海戰役的準備工作給予了特殊的關注。9月28日，毛澤東為中央軍委起草的，給饒漱石、粟裕、譚震林，並告劉伯承、陳毅和華東局的電報中說：「黃兵團被調回新安鎮地區的消息業已被證實。你們在淮海戰役中第一個作戰，並且是最主要的作戰——鉗制邱、李兩兵團殲滅黃兵團。新安鎮地區距離徐州甚近，邱、李兩兵團赴援甚快。這一戰役必比濟南戰役規模要大，比睢杞戰役的規模也可能要大。因此，你們必須有相當長的時間使攻濟兵團獲得休整補充，並對全軍作戰所需——包括全部後勤工作在內有充分準備，方能開始行動。」「傷亡最大之九縱、十三縱等部宜迅速給以補充。在可能條件下，如能抽調若干地方建制部隊補入該兩縱——特別是七十三團和一零九團，是有必要的。在執行淮海戰役時，該兩縱在作戰第一階段宜做預備隊使用。」
到這時為止，有關淮海戰役的設想已經具體化了，但依然只能算作「小淮海戰役」的方案，目標只限於殲滅黃百韜兵團和殲滅兩淮、高、寶與海州一帶之敵。
中央軍委的高瞻遠矚、審時度勢和早日實現全國勝利的戰略意願，都在促進「大淮海戰役」方案的逐漸形成。
10月11日，由毛澤東起草的中央軍委《關於淮海戰役的作戰方針》的電報，同時發給華東局和中原局。電報指出：「本戰役第一階段的重心，是集中兵力殲滅黃百韜兵團。」「第二階段攻殲海州、新浦、連雲港、灌雲地區之敵，並佔領各城。」「第三階段，可設想在兩淮方面作戰。」
這時，華東野戰軍全軍大部集結在徐州、濟南間津浦路兩側，一部位於蘇北地區。部隊一面進行休整，一面積極備戰，準備參加淮海戰役。
遵照中共中央和中央軍委指示，華野前委於10月5日至24日在山東曲阜召開了以加強紀律性為中心內容的擴大會議。出席會議的有華野前委委員和各兵團、縱隊師以上主要負責幹部。會議傳達學習了中共中央「9月會議」精神，圍繞中央所提出的「軍隊向前進，生產長一寸，加強紀律性，革命無不勝」的戰略任務進行了討論，聯繫實際，發揚民主，開展批評與自我批評，一方面對過去的成績作出恰當的估價，一方面對存在的某些無紀律無政府現象進行嚴肅認真地檢查。通過學習，大家看到，在過去兩年的戰爭中，華野部隊較好地完成了作戰任務，軍隊數量有了大發展，官兵政治覺悟不斷提高，戰鬥力日益增強。特別是經過新式整軍運動以後，部隊面貌煥然一新。但也存在不少問題，無紀律無政府狀態時有出現。有的對中央規定的報告制度不認真執行，事先不請示，事後不報告，報喜不報憂。有的犯本位主義，繳獲的物資不上交或少上交，執行統一的規定時打折扣。有的夜郎自大，目中無人，不尊重領導，不關心友鄰，打了勝仗就驕傲，受了挫折就灰心，只喜歡聽好話，不喜歡聽批評，等等。與會者認真分析了產生這些問題的原因及其危害，並一致通過了《關於加強紀律性，克服黨內無紀律無政府狀態的決議》。
在華野各部隊中，很快掀起以貫徹曲阜會議精神為中心的加強紀律性的教育運動。使華東野戰軍全軍的組織紀律性、團結協作精神、顧全大局的觀念等方面都有了明顯增強，政策水平也有了較大提高。這無疑是對即將發動的淮海戰役的一個重要準備。
在曲阜會議期間，華野前委多次召開由縱隊以上主要領導幹部參加的作戰會議，深入分析敵我情況，並不斷修訂作戰預案。與會者看到，作戰對象是國民黨徐州「剿總」總司令劉峙指揮下的4個兵團和3個綏靖區，如果加上可能從華中增援的黃維十二兵團等部，總兵力將達到80多萬。其中邱清泉兵團的第五軍和黃維兵團的第十八軍，都是國民黨軍引以為傲的王牌軍，比較有戰鬥力。解放軍方面能投入作戰的，有華東野戰軍16個縱隊，中原野戰軍7個縱隊，華東軍區和中原軍區的部分地方部隊，總兵力約60多萬。解放軍在數量、裝備和交通運輸條件等方面都遠遜於對方，但政治上、士氣上大大超過對方。中央「9月會議」提出建設500萬人民解放軍，要在5年內實現從根本上打倒國民黨政權的總任務。規定全軍每年殲敵正規軍100個旅。要求華野殲敵40個旅，並攻佔濟南、蘇北、豫東、皖北等地。現在，攻佔濟南的任務已經實現，全軍官兵早盼著打更大的仗了。
這時，國民黨方面也在加緊