黃伯韜兵團在碾庄圩地區被解放軍合圍後，蔣介石命令黃伯韜固守待援。碾庄圩地區位於運河以西，隴海路兩側。以碾庄圩為中心，共有十幾個村莊。其周圍是平原開闊地和低洼地、水塘。道路寬廣、村莊稠密。為防洪水泛濫，每個村莊都修築有高出地面二尺三寸的圍子。該地區原為李彌第3兵團的防地，已經形成了比較完整的防禦陣地。黃伯韜兵團退守該地後，利用這些工事和有利的地形，迅速築成以地堡群為骨幹，並有縱橫交錯的支撐點，村與村之間又可以以兵力、火力相互支援，易守難攻。黃伯韜以碾庄圩為中心，部署第100軍在西，第44軍在南，第64軍在東，第25軍在北，形成集團式環形防禦陣地，實施固守。上述4個軍中，以第25、第64軍戰鬥力較強，第100、第44軍戰鬥力較弱。
蔣介石的各路援軍在解放軍強大打援部隊的頑強阻擊下，與黃伯韜會合的美夢破滅了。
華東野戰軍擔任圍殲黃伯韜兵團的6個縱隊，從11月11日起，從四面八方向敵展開猛攻。敵人在空軍掩護下逐村頑抗。各縱隊由於從追擊倉促轉入村落攻堅，準備不足，火炮均未跟上，以致連續3天進展緩慢，傷亡較大。
14日晚，華東野戰軍司令部召開擔任攻堅任務的6個縱隊（含特縱）指揮員及山東兵團指揮員參加的作戰會議，總結經驗，研究殲敵的有效措施。會議決定先打弱敵，後打強敵的方針，採用村落攻堅戰法。把第100、第44軍較弱之敵，作為首先突擊的目標，而後圍殲碾庄圩兵團部與戰鬥力較強的第25、第64軍。
具體部署是：由山東兵團兼政治委員譚震林、副司令員王建安統一指揮，聶鳳智第9縱隊在南，王必成第6縱隊在西南，周志堅第13縱隊在西北，陶勇第4縱隊在北，張仁初第8縱隊在東，特縱（炮兵、坦克）按配屬分別進入陣地。針對平原地形開闊，敵依託村落組成集團防禦、火力密集、接近困難等不利情況，要求各部隊抓緊時間做好攻堅的各項準備工作，特彆強調各部進行土工作業，想方設法把塹壕挖到敵陣地前沿和攻擊目標的兩側，用眾多的交通壕連接，以求隱蔽接敵，每戰能以較小的傷亡，攻殲守敵。
16日晚，圍殲黃伯韜兵團的各主攻部隊經過兩晝夜的土工作業和各項準備工作後，集中兵力、火力，以碾庄圩以西、以南各村落據點為目標，發起猛攻，廣大幹部戰士不怕犧牲，英勇頑強，逐村逐屋展開爭奪。
18日，解放軍全殲國民黨軍第100軍、第44軍。第100軍副軍長楊詩云、第44軍軍長王澤浚被活捉。第150師師長趙壁光率殘部2000餘人投誠，敵第25軍、第64軍也傷亡慘重。
19日晚，各攻擊部隊對碾庄圩黃伯韜兵團部發起總攻，經一夜激戰，於20日晨攻佔碾庄圩，殲敵兵團部和第25軍大部。黃伯韜逃到大院上第64軍軍部，作垂死掙扎。
21日晚，解放軍向敵第64軍所在地大、小院上及第25軍殘部所在地尤家湖發起總攻。22日黃昏，全殲殘敵，生俘第64軍軍長劉鎮湘。
黃伯韜與第25軍副軍長楊廷宴於22日由碾庄東北之小費庄向西突圍，至一獨立家屋草堆下，黃舉槍自殺。黃臨死時對楊廷宴懊喪地說：「我有三不解：第一、為什麼那麼傻，要在新安鎮等待44軍兩天。第二、我在新安鎮等兩天之久，為什麼不知道在運河上架設軍橋。第三、李彌兵團既然以後要向東進攻來援救我，為什麼當初不在曹八集附近掩護我西撤。」（《中共黨史參考資料》第11冊，第320頁）
從1948年11月6日至22日，華東野戰軍和中原野戰軍協同作戰共消滅敵軍1個兵團、8個軍（含馮治安部起義、孫良誠投誠各1個軍部）、18個整師（含起義3個半師、投誠兩個師），重創敵各路援軍，共殲敵17.8萬餘人。控制了戰略樞紐宿縣，將劉峙集團分割為南北兩大股，為全殲該集團創造了極為有利的條件。
23日，中央軍委致電華東、中原野戰軍領導，慶祝戰役第一階段的偉大勝利，並指出：造成這一勝利的原因，「主觀上是因為我華東、中原兩大野戰軍會合併攻佔宿縣，客觀上是敵人只有某種程度的防禦能力（對於這一點絕不可輕視），很少有攻擊能力（對於這一點必須有充分認識）。」（《淮海戰役》，第181頁）並勉勵他們作好充分準備，「在第二階段中大量地殲滅南面敵人」，爭取新的更大的勝利。