我軍在殲滅了敵黃伯韜兵團以後，下一步如何行動？怎樣將淮海地區的敵人重兵逐次殲滅？這個問題早在戰役第一階段尚未結束時，中央軍委、總前委和華野司令部就進行了研究。
經充分權衡，綜合總前委領導等各方意見，毛澤東最後決定先殲黃維兵團。
淮海戰役發起前，國民黨在徐州地區駐有4個機動兵團，即邱清泉兵團、黃伯韜兵團、李彌兵團和孫元良兵團，3個綏靖區部隊，即馮治安部、李延年部、劉汝明部。共18個軍，60多萬人。
戰役發起後，國民黨軍調黃維兵團由河南東援徐州，加入淮海地區的作戰；並於11月中旬，在蚌埠地區新建了第六兵團（即李延年兵團），改編了第八兵團（即劉汝明兵團）。這樣，國民黨投入淮海戰役的總兵力就達到了80餘萬人。
經過第一階段的作戰，我軍全殲了黃伯韜兵團，迫使馮治安部起義，並給予邱清泉、李彌、孫元良等3個兵團和劉汝明部相當打擊，共殲滅了敵人在淮海戰場上的兵力基本相等。
中央軍委在戰役發起後，及時成立了淮海戰役總前委，統一指揮華野、中野兩大野戰軍和地方部隊與敵人進行空前規模的戰略決戰。
經過第一階段的作戰，完成了中間突破的任務，擴大了戰役規模，把敵人重兵分割成互不聯繫的幾塊，使徐州敵軍完全陷於孤立，整個態勢對我軍極為有利。
淮海戰役第二階段：1948年11月23日至12月15日，中原野戰軍在華東野戰軍主力配合下，在堆集全殲國民黨軍第十二兵團，生俘兵團司令官維。華東野戰軍於永城東北的青龍集，陳官莊地包圍了由徐州南逃的3個兵團，並殲滅其中的第六兵團。這期間，敵第六、八兵團幾次由蚌埠北部均被我軍擊退。
截至22日黃伯韜兵團被殲滅時為止，徐州以東增援黃伯韜兵團的邱清泉兵團和李彌兵團，被我軍阻擊於大許家南北一線，此時已失去東援意義，正準備縮回徐州；徐州以南蚌埠以北的李延年兵團和劉汝明兵團被我軍阻擊於固鎮以北的任橋、花庄集等地區；徐州西南方向，遠道趕來增援徐州的黃維兵團，經過數百里行軍，進至蒙城與宿縣之間澮河南岸的趙集地區，遭到中野部隊的阻擊、牽制，不能前進。
在華野方面，華野部隊在殲滅了黃伯韜兵團以後，四縱在碾庄以西曹八集地區監視徐州以東的敵人；八縱、九縱、十縱南移至隴海路以南張庄、占城、右霞等地區；一縱、十一縱、十二縱、魯中南縱隊仍位於徐州東南一帶；三縱、兩廣縱隊及冀魯豫軍區部隊位於徐州以南津浦鐵路東西兩側桃山集、孤山集等地區監視孫元良兵團；六縱、十三縱及江淮軍區部隊南下至大胡家、張大庄及蔣家廟等地區，並殲滅了靈壁縣城守敵，解放了靈壁縣城；二縱進至西寺坡以北地區阻擊由固鎮北犯的李延年兵團。七縱位於宿縣以南為戰役預備隊中野部隊此時除以一部位於任橋、西寺坡一線阻敵李延年、劉汝明兩兵團外，其主力已全部展開於渦河、澮河之間，南坪集以東、以西、以北的廣大地區。四縱、九縱位於澮河北岸正面阻擊黃維兵團，一縱、三縱、六縱等則呈扇形展開於黃維兵團的東西兩側。
中央軍委於11月23日，分析了淮海戰場上的敵我態勢，強調指出：在戰役第一階段我軍取得了偉大的勝利，但敵人仍有50個師左右的兵力，在防守方面尚有相當頑強的戰鬥力。對於我們，最有利的是以現態勢各個殲滅當面之敵，我們應力爭這一著。如果我們能在第二階段中，大量殲滅南面敵人，即可全部實現戰役計畫。總前委及時把中央軍委的指示傳達到全軍，使全體指戰員更加牢固地樹立了與敵人進行決戰，把敵人主力殲滅在長江以北的思想，從而發揚連續作戰的優良作風，對敵人展開了更加猛烈的攻擊，開始了淮海戰役第二階段的戰鬥。
黃維十二兵團被共軍確定為淮海戰役的第二個作戰目標，經歷了一個演變過程，也可以說是戰場演變的結果。
黃維（1904—1989），江西貴溪縣人，黃埔軍校一期畢業後留校擔任第三期入伍生總隊的中尉區隊長，隨同蔣介石參加了第一、二次東征，並隨同北伐。
1928年升任團長，1929年到國民黨陸軍大學特別班第一期學習，畢業後升任旅長。1931年後參加了蔣介石「圍剿」井岡山革命根據地的戰役，在戰爭中升任師長。
1937年被派往德國深造，因抗日戰爭爆發而提前回國。1938年升任第十八軍軍長，受到蔣介石接見。1939年調任第五十四軍軍長，歸第九集團軍總司令關麟征指揮。五十四軍是陳誠軍事集團的基本部隊，由於陳誠與關麟征的恩怨，關麟征有意為難黃維，黃維被迫要求辭職。蔣介石調黃維為軍事委員會中將高參。1944年秋冬之交，蔣介石將由桂林撤退到重慶的「軍事委員會督訓處」改組為「知識青年從軍青年軍編練總監部」，黃維改任副總監。以後又設立青年軍編練總監部東南分部，以黃維兼任主任，黃維主持青年軍訓練，制定了一整套訓練和教學計畫。
抗日戰爭勝利後，即1946年6月，黃被委任為第三十一軍軍長。1947年春，調國民黨南京政府國防部任聯防總部副總司令。同年秋，任武漢新制軍官學校校長。1948年8月，蔣介石編組機動兵團，任命黃維為十二兵團司令官。十二兵團的前身是第十八軍，原轄整編第十一師、整編第三師、整編第十師，軍長是胡璉。整編第十一師是胡璉的骨幹部隊，國民黨「五大主力」之一。將整編師升格為軍後，第十一師改稱第十八軍，第三師改稱第十軍，第十師改稱第十四軍，後又調入第八十五軍，並配屬第四快速縱隊。這樣，十二兵團共有4個軍1個快速縱隊，總兵力達12萬人。
當組建兵團時，大都認為胡璉會出任司令官，國民黨軍事當局也擬定胡璉出任司令官，但華中「剿總」總司令白崇禧對胡璉屢加攻擊，蔣介石不得不另外考慮人選。陳誠推薦黃維出任司令官，儘管白崇禧和何應欽反對，但參謀總長顧祝同積極支持。結果蔣介石任命黃維為司令官，胡璉為副司令官。胡璉不甘心副職，於10月以父親病重和醫治牙病為由，請假離開部隊去武漢了，甚至連第十八軍軍長楊伯濤也稱病住院，可見，第十二兵團組建伊始，內部就是矛盾重重。
在淮海戰役打響前，劉伯承率中野一部偽裝成主力，意在調虎進山，豫西牽「牛」，黃維兵團於1948年10月中下旬被中野調動於泌陽、店河、南陽地區，一無所獲後於月底回師河南駐馬店附近，至11月上旬才在該地區集結完畢。
淮海戰役打響後，蔣介石令黃維兵團馳援徐州戰場。11月8日，黃維兵團奉命從駐馬店出動，按照指定路線經正陽、新蔡、阜陽、蒙城、宿縣，向徐州進發。然而，這一帶地區沒有鐵路和公路幹線，而且河流縱橫，要渡過南汝河、洪河、潁河、西淝河、渦河、澮河等大小淮河支流。這樣一個龐大的兵團，且帶著眾多的戰車、卡車、榴彈炮等重武器，在坑坑窪窪的土路上行軍，又要架設一座座橋樑通過一道道河流，其困難程度可想而知。然而，蔣介石又嚴令「不得以任何借口遲延行動」，在蔣介石的嚴厲督促下，至18日，其先頭部隊到達蒙城。
對於黃維兵團馳援徐州戰場，毛澤東和我軍領導人都非常警覺。11月1日，毛澤東便電告劉伯承，要求牽制黃維兵團東調，並指出：「除六縱必須立即尾黃維東進外，十縱如在南陽附近，亦宜協同二縱尾黃維東進。」11月2日，劉伯承便電報牽制黃維兵團的部署：「1以六縱並指揮陝南部隊4個團，與一縱之二十旅，附豫西1個團，經由西平、駐馬店中間地區，側擊尾擊之。2以二縱由花園，經由宣化店，於魚日到息縣，側擊尾擊之。3以豫皖蘇相關武裝，破壞敵之進行道路橋樑，並分彆扭襲行進之敵。」
同日，毛澤東回電劉伯承等，提出六縱的行動值得考慮：「似不如由內鄉取直徑開太和、阜陽，先黃維到達該地，從正面或側面阻滯黃維為適宜。二縱到商城後渡淮向太和、阜陽進，與六縱協力拖阻黃維。」
劉伯承根據毛澤東的電示，立即部署六縱、二縱牽制、拖阻黃維兵團，並強調：「此次配合徐州方面之主作戰，不僅關係中原戰局之轉變，即對推動全國戰略形勢之發展，爭取早日打倒國民黨亦屬重要之關鍵，因此需動員全體指戰員服從整體利益，不惜任何疲勞，不怕任何困難、消耗與犧牲，採取一切有效辦法來截擊、阻擊東進之黃維兵團，遲滯其運動時間，以協助主作戰達到勝利。
中原野戰軍完全包圍了黃維兵團，這是戰士們在散兵掩體內阻擊敵人的情形
為此，二縱應計算行程在6日黃昏以前趕到息縣；六縱計算行程在6日夜趕到沙河店，並爭取先敵於8日趕到上蔡、汝南間，對敵右側適時阻擊、腰擊，利用諸河流方向阻敵也需注意。」
11月13日，針對黃維兵團有可能由太和、阜陽進抵亳縣、渦陽、永城地區，策應邱清泉、李彌