中原和華東野戰軍從11月23日開始，經過18天緊張而激烈的戰鬥，分別包圍了黃維兵團和杜聿明集團，並予以沉重的打擊，但這兩股國民黨軍拚死頑抗，仍圖向南突圍。
解放軍全殲該敵尚需一定時日。此時由蚌埠北援之敵第6兵團在第8兵團的策應下，已推進到余家集、包家集以南地區，距離雙堆集僅70餘里，從華中白崇禧集團中抽調的第20、第28軍已陸續到達浦口，估計12月15日前後可以到達蚌埠地區。
此外，國民黨正在上海集中待命的數十艘船隻，有可能突然北上接走平、津、塘、唐地區的蔣系各軍，轉用於徐蚌戰場。
針對這些情況，總前委為爭取戰役主動，經中央軍委批准，決心首先集中中原野戰軍主力，並使用戰役預備隊華東野戰軍第7、第13縱隊及特縱炮兵一部，先殲滅黃維兵團。華東野戰軍主力則圍困杜聿明集團。另以華東野戰軍第6縱隊，並調中原野戰軍第2縱隊及豫皖蘇、豫西軍區5個團和渤海縱隊1個師，統歸華東野戰軍第6縱隊司令員王必成、政治委員江渭清指揮，擔任阻擊李延年、劉汝明兩兵團的任務。
劉伯承把這個作戰方針形象地比喻為：「吃一個（黃維），挾一個（圍困杜聿明），看一個（阻止李延年、劉汝明）」。
5日，劉伯承、陳毅、鄧小平下達《總攻黃維兵團命令》，指出：敵黃維兵團經與我半月作戰，已損失兵力至少三分之一，戰鬥部隊至少損失五分之二，其主力18軍（包括18師）亦已殘破，這是解放軍各部隊英勇作戰的結果。根據總的作戰要求及當面實際情況，決定組成3個攻擊集團。命令中原野戰軍第4、第9、第11縱隊及豫皖蘇獨立旅，華東野戰軍炮兵一部組成東集團，由第4縱隊司令員陳賡、政治委員謝富治指揮，向雙堆集以東地區攻擊；命令華東野戰軍第13縱隊、中原野戰軍第1、第3縱隊和華東野戰軍特縱炮兵一部組成西集團，由第3縱隊司令員陳錫聯指揮，向雙堆集以西地區攻擊；命令中原野戰軍第6縱隊、華東野戰軍第7縱隊和陝南軍區第12旅組成南集團，由中原野戰軍第6縱隊司令員王近山、政治委員杜義德指揮，向雙堆集以南攻擊。
在總攻發起前，各縱隊進一步動員，補充兵源，實行火線整編，充實連隊。各級指揮員深入第一線，動員組織突擊隊。開展軍事民主，組織沙盤作業，解決戰術難點，研究殲敵辦法。增強火力，推廣被敵稱為「特大威力炮」的土造炸藥拋筒。加強通信保障，架設環形電話網，重要線路架設雙線，並加強和改進支前後勤工作，將糧草、彈藥、藥品送到前沿陣地，保障部隊連續作戰。
6日，解放軍經過充分準備，尤其是進行了大量的土工作業後，3個集團同時發起全面攻擊，各部隊採取穩紮穩打，攻佔一村鞏固一村的戰法，對敵實施有重點的多面多點的連續突擊。至10日，共殲敵近5萬人。
為加速殲滅黃維兵團，總前委決定，將華東野戰軍第3、第13縱隊加入南集團，由華東野戰軍參謀長陳士榘統一指揮，突擊敵核心陣地雙堆集，東西兩集團的各縱隊分別向當面之敵實施突擊。
12日，劉伯承、陳毅發出《促黃維立即投降書》，指出：現在你所屬的4個軍，業已大部被殲。就是你所依靠的王牌18軍，亦已被殲過半。你的整個兵團全部被殲滅，只是幾天的事。在這種情況下，你本人和你的部屬，再作絕望的抵抗，不但沒有絲毫出路，只能在人民解放軍的強烈炮火下完全毀滅。你身為兵團司令，應愛惜部屬與生命，立即放下武器，不再讓你的官兵作無謂犧牲。如果你接受我們這一最後警告，請即派代表到本部談判投降條件。時機緊迫，望即決策。（《人民日報，1948年12月16日》）
對此，新華社連續廣播，各縱隊抓緊時機，廣泛開展政治攻勢，國民黨軍整連整營紛紛來降。但黃維仍負隅頑抗，拒絕投降，並施放毒氣，作困獸斗。國民黨空軍也頻頻出動，支援黃維兵團防守，僅13日，敵機就向解放軍陣地投彈百餘噸。
13日晚，解放軍發起總攻。14日，南集團攻佔敵臨時機場南端陣地以及雙堆集以南尖谷堆陣地，黃維兵團部完全暴露。東集團攻佔楊老五庄、楊子全庄。15日黃昏，各集團乘勝繼續攻擊，東西集團通過敵人嚴密火力網，突破敵人用汽車築成的防線，與南集團會合。3個攻擊集團密切協同，迅速摧毀敵人的指揮中心。殘敵分散突圍，均被截殲。15日12時，解放軍全殲黃維兵團，活捉兵團司令黃維、副司令吳紹周（兼85軍軍長）、第18軍軍長楊伯濤，第10軍軍長覃道善等人。兵團副司令胡璉乘戰車潛逃。第14軍軍長熊綬春被擊斃。至此，黃維兵團全軍覆滅。
由蚌埠北援的李延年、劉汝明兩兵團遭解放軍阻擊部隊的頑強阻擊，連攻10餘日，終未能與黃維兵團靠攏。黃維兵團覆滅後，該敵於16日撤到淮河以南。被圍在陳官莊地區的杜聿明集團從11日至15日曾連續向南突圍，均未得逞，其防區進一步縮小，處境更加不利。
黃維兵團被殲，淮海戰役第二階段的任務已經完成，其間，解放了戰略重鎮徐州。正如中共中央賀電中指出的：「徐州是南京的門戶，是匪首蔣介石進行反革命內戰的巨大軍事基地，徐州的迅速解放，對於全國戰局，極為有利。尚望繼續努力為全殲當面匪軍而奮鬥。」（《人民日報，1948年12月6日》）
中共中央、毛澤東在電賀淮海戰役第二階段大捷時，指出：黃維兵團的被殲，迫使李、劉兵團向淮河以南回竄，從而使杜聿明集團「完全孤立於永城東北地區，糧盡援絕，坐以待斃」。「望團結全體軍民，繼續努力，為全部殲滅當面匪軍而戰！」（《淮海戰役》，第233頁）