粟裕在戰役指揮上，總是走一步看三步，甚至看得更遠。在黃百韜兵團尚未被殲滅時，他已經在考慮下一步的作戰對象是誰了。同時，他也有意識地讓華野一些縱隊從所擔負的攻堅作戰和牽製作戰任務中逐漸解脫出來，以便隨時用於需要的方向。
中央軍委也在考慮淮海戰役第二階段的作戰對象問題。軍委曾一度設想在黃百韜兵團即將就殲而尚未就殲時，令正面阻擊部隊向後撤退，好乘邱清泉、李彌兩兵團冒險深入時一舉將其包圍，把打邱李作為第二階段的目標。但該兩敵十分小心謹慎，他們並不積極推進，而且其後尾始終不肯脫離徐州，使得伺機割裂包圍他們的計畫未能實現。
1948年11月19日，正當華野對包圍圈中的黃百韜兵團發起總攻時，總前委劉伯承、陳毅、鄧小平三位常委研究敵我雙方情況後認為，華野打黃百韜兵團已相當疲勞，完成殲滅黃百韜任務後，如不適當休整，接著又殲邱李兩兵團，不容易達到預期目的，同時中原野戰軍以現有兵力阻擊黃維兵團和李延年、劉汝明兵團，困難也較大。他們建議，在淮海戰役第二階段，華野以主力一部鉗制徐州之敵，爭取適當休整；以主力另一部協同中野殲擊黃維兵團，並擔負阻擊李延年、劉汝明兵團的任務。粟裕等華野領導人收到這一建議後，經過認真研究，即於11月20日聯名致電劉伯承、陳毅、鄧小平，並報中央軍委、華東局，「我們完全同意劉陳鄧指示，抽出四五個縱隊，必要時還可增加三個縱隊，協同中野殲擊黃維、李延年。」「首先以求得徹底殲滅黃維兵團為主」，同時建議對華野部署作必要調整，令原來負責殲擊邱清泉、李彌兩兵團的華野北線部隊，以大弧形的態勢包圍徐州，繼續監視鉗制徐州之敵，以阻止其向南增援。假如徐州、蚌埠、蒙城之敵以宿縣為中心點，從北邊、南邊和西邊向宿縣對進，試圖打通南北聯繫，華野則予以阻擊，以全力保證殲滅黃維兵團的勝利。並決定當晚由韋國清、姬鵬飛率二縱、六縱、十一縱、十三縱等部分途南下，於11月23日至25日全部進至指定地區待命。其中六縱、十三縱都是剛剛解除殲擊黃百韜兵團的任務，由碾庄圩地區撤下來的。
此後，中央軍委與劉陳鄧和粟陳張之間進行了多次電報往還，反覆磋商，上下意見逐漸趨於一致。這時敵情也漸趨明朗。黃維兵團遠道而來，一路受到中野部隊的襲擾，處於孤立狀態；李延年、劉汝明兵團害怕落得黃百韜兵團的下場，行動極其謹慎。11月23日22時，劉伯承、陳毅、鄧小平致電粟裕、陳士榘、張震，並報中央軍委，表達了先殲擊黃維兵團的決心，指出：「現殲擊黃維之時機甚好，而李延年、劉汝明仍遲遲不進。因此，我們的意見是，除王張十一縱外，請粟、陳、張以兩三個縱隊對李、劉防禦，至少以四個縱隊加入殲黃維作戰。只要黃維全部或大部被殲，較之殲滅李、劉更屬有利。如軍委批准，我們即照此實行。」
11月24日15時，中央軍委致電劉陳鄧，並告粟陳張：「一完全同意先打黃維；二望粟陳張遵劉陳鄧部署，派必要兵力參加打黃維；三情況緊急時，一切由劉陳鄧臨機處置，不要請示。」
這樣，淮海戰役第二階段殲擊對象最後定為黃維兵團。華野第二階段的作戰任務這時也就變換為鉗制、阻擊徐州杜聿明集團和南線的李延年、劉汝明兩兵團，同時派出必要兵力直接加入殲擊黃維兵團作戰中。
黃維兵團，即國民黨第十二兵團，組建於1948年9月。蔣介石任命黃維為兵團司令官，胡璉為副司令官，後來又提升吳紹周為副司令官，下轄第十軍、第十四軍、第十八軍、第八十五軍和第四快速縱隊，共約12萬人，裝備精良，有較強的戰鬥力。其中第十八軍是陳誠一手培植起來的，一式美械裝備，各級軍官清一色為軍校畢業生，號稱國民黨軍「五大主力」之一。
黃維，江西貴溪人，黃埔軍校一期畢業，早年得到陳誠的賞識和信任，先後任十八軍六十七師師長、十八軍軍長、五十四軍軍長等職，後負責青年軍的教育工作，培訓青年軍學員多達五六千人，並以這些人為骨幹編成青年軍，後任青年軍三十一軍軍長、國防部聯勤總部副總司令、「新制軍官學校」校長等職——他曾誇口要把這個學校辦成像美國西點軍校一樣的學校。組建第十二兵團時，黃維被蔣介石親自定為司令官人選。起先他頗為猶豫，還一心想辦學校，直到得知「五大主力」之一的十八軍隸屬該團，親眼看到該團所屬四個軍高度機械化，一式美械裝備，這才滿意地走馬上任。
黃維滿意了，胡璉卻有了情緒。十二兵團是由十八軍擴編而成的，胡璉作為十八軍中將軍長，本來以為兵團司令官非他莫屬，結果卻只當了副司令官，當然滿肚子不高興。因此他鬧情緒，便以父親病重為由，告假去上海，遲遲不肯就職。
淮海戰役開始前，蔣介石電令武漢華中「剿總」所屬的黃維兵團加入徐州方面作戰，「不得以任何借口遲延行動」。因蔣介石與華中「剿總」總司令白崇禧之間的矛盾日益加深，幾經討價還價，直至11月8日黃維才帶著他的12萬人馬由平漢鐵路南段的確山等地出發，沿著正陽、新蔡、阜陽一線，日夜兼程東進。這時，該兵團的副司令官胡璉仍遠在上海，此事似乎與他無關。
一場驚心動魄的追堵戰開始了，使黃維感到從未有過的身心疲憊。
遵照中央軍委指示，戰役之初，中原野戰軍劉伯承司令員和李達參謀長指揮中野二縱、六縱和陝南十二旅等部在平漢線上盡量看住和滯留黃維兵團，將其注意力引向平漢路以西。當其開始東援時，我方又立即先敵出動，不斷對敵人實行追擊、側擊和迎頭痛擊，發動地方武裝破橋、破路，以阻滯其行動，並於11月15日先敵進到渦陽、蒙城地區，創造了解放軍的鐵腳板超過了敵人車軲轆的奇蹟。
為了保障華野全殲黃百韜兵團，攻佔宿縣後，中野各縱隊即渡過澮河，進至東起津浦路上的固鎮，西至蒙城、渦陽一線，在澮河南岸成扇形展開。
11月19日，黃維兵團浩浩蕩蕩地向宿縣推進時，萬萬沒料到，中野已集中5個縱隊在蒙城、宿縣一帶地區嚴陣以待，另以1個縱隊指揮豫皖蘇獨立旅及豫西2個團，在津浦路東側任橋地區負責對蚌埠李延年、劉汝明兩兵團進行阻擊。直到11月22日黃百韜兵團被殲時，黃維兵團仍被阻於澮河上游以南地區，4天僅推進30餘公里；李劉兩兵團被阻於澮河下游以南地區，只前進15公里，陷入不能北上又不能靠攏的難堪境地。這三個兵團「北上解圍，拱衛徐州」的計畫成為泡影。
這時，中原野戰軍各縱隊中，除四縱、六縱、九縱人員比較充足外，其餘幾個縱隊都不滿員，總兵力約12萬人，經過千里躍進大別山，重裝備多已丟失。但全軍上下鬥志高昂，對打黃維之戰役決心很大。鄧小平一再教育中野部隊官兵要有顧全大局的思想，他說：「只要消滅了南線的敵軍主力，就算中野全軍覆沒，其他各路解放軍也可以取得全國勝利。這個代價是值得的！」
根據總前委部署，中野主動放棄澮河南岸的南坪集，採用「圍三缺一，網開一面，虛留生路，暗設口袋」的戰法，以四縱十旅在澮河北岸布成袋形陣地，誘敵深入。
11月24日上午，黃維兵團先頭部隊渡過澮河，傲氣十足，趾高氣揚，如入無人之境。我軍利用黃維兵團自視裝備好、天下無敵的特點，將其誘入預設的袋形陣地，隨即以中野四縱、九縱鉗制其主力第十八軍，而以中野一縱、二縱、三縱、六縱、十一縱共五個縱隊由東西兩側同時出擊。胡璉調任兵團副司令官後，不再兼任十八軍軍長，改由楊伯濤擔任。楊伯濤年輕，頭腦活絡，富有實戰經驗。這天他越往前走越覺得不對勁，不禁腦子發麻——糟了，中了共軍的埋伏！於是他趕緊下令部隊停止前進，向來的方向後撤。部隊不知發生了什麼情況，潮水般往後退。澮河岸邊擁擠著國民黨軍大批部隊、車輛、火炮、騾馬，互相搶奪船隻，秩序混亂不堪，有一種大難臨頭的恐怖。過了河的國民黨軍又把混亂和恐怖帶到南岸各個部隊。
入夜後，中野各縱隊乘敵退卻的混亂之際全線出擊，到處響起槍炮聲和喊殺聲。經一夜激戰，中野殲敵數千。至11月25日晨，西側的六縱與東側的十一縱紮緊了「口袋」，實現了在宿縣西南雙堆集地區對黃維兵團的合圍。
黃維沒有想到中原野戰軍有如此大的胃口，他大感意外。但他並不把中野放在眼裡，自認為以中野那樣的實力和裝備奈何不了他。
他當即召集各軍主官開會商討作戰問題。他說：「本兵團自確山出發以來，沿途受到共軍襲擾，行動一再受阻。現在劉伯承主力又在宿縣西南阻我前進，並從四面八方向我們合圍。兵團的任務是打到宿縣和徐州杜聿明會師。現在我們陷入共軍的四面包圍，應該採取怎樣的打法才能完成任務？」
幾個軍的主官還沒有從剛剛的噩夢中恢複過來，情緒壓抑，不肯多嘴。等來等去，照例還是楊伯濤放頭炮。