六營集殲滅戰的槍聲方才終止，第2、3縱隊就對羊山集的敵整編第66師發起了進攻。羊山集是一個上千戶人家的大莊子，坐落在微山湖西金鄉縣的低洼地帶。
莊子北面是一座平地突起的小山，形狀很像一隻坐西北面東南、昂頭蜷卧的大公羊，莊子西北波狀起伏的小山包，構成「羊尾」，從這裡可以通向「羊背」。東面的「羊頭」，北面的「羊身」都是高低不等的斷崖。南面傍山是一條從西向東的大街。
敵軍利用天然地形構築了堅固的工事，加之連日大雨，三面環水，第2、3縱隊事先沒有認真偵察地形，即於15、16日兩日進行攻擊。結果在敵人制高點火力壓制下，傷亡不小，未能奏效。
7月19日，蔣介石急飛開封親自指揮，從安陽、西安、潼關調整編第40師、第10師、騎兵第1旅，從洛陽調第206師，編入王仲廉的第4兵團。又從豫皖蘇調整編第52師，從山東抽出整編第7師、第48師、第85師、整編第5師等主力部隊，一齊馳援羊山集。同時嚴令王敬久就近指揮整編第58師及整編第66師第199旅，立即北渡萬福河，解羊山之圍。劉伯承聞訊，又安排了另一個口袋陣，等候敵人鑽進來。他令冀魯豫軍區部隊首先在萬福河北岸阻擊，殺傷北援之敵，在正面留一缺口，誘敵第199旅過河後，切斷其與整編第58師的聯繫，在運動中予以殲滅。
20日，敵第199旅果然渡過萬福河向北挺進，羊山集守敵也派出1個團向南迎接該旅。第3縱隊及冀魯豫軍區部隊，冒著傾盆大雨，突然將敵人包圍於野外。22日經兩小時激戰，全殲第199旅及羊山集派出接應的1個團。第199旅旅長王仕翹被生擒。他滿身泥水，高舉雙手，很認真地說：「昨晚我算了卦，知道今天不吉利！」
第199旅的覆滅，使敵人各路援軍畏縮不前。第4兵團司令官王仲廉借口道路泥濘，率部連日徘徊於冉固集、城武地區。
23日，中共中央軍委和毛澤東電令：「為迅速擴大已取得的主動權，應即短期休整，速向大別山躍進。羊山之敵如能迅速殲滅，則殲滅之，否則即轉入休整。」
劉伯承與鄧小平研究後認為，各路援敵尚在行進途中，金鄉之敵已無力北援。主力可以全部集中，完全有迅速殲滅羊山守敵的把握，於是決定繼續攻殲據守羊山的整編第66師。他們指示攻擊部隊重新組織偵察，並調整了部署，以第2縱隊一部由西向東攻擊，第3縱隊第7旅、第6縱隊第16旅從北向南攻擊，第3縱隊一部由東向西攻擊。各部加強炮火，著重奪取制高點。兵力上達到了我敵十比三的優勢。
部署已畢，劉伯承、鄧小平前往羊山集前線，向縱隊領導傳達了中共中央軍委的指示精神，然後問他們到前沿察看了地形沒有？幾個縱隊指揮員都說沒有。劉伯承說：越是勝利越要細心謹慎，不能疏忽大意，更不能急躁。你們要親自到前沿看地形，了解一下為什麼攻不下來，跟下邊指戰員研究如何打法。總之，不能再拖了，必須儘快把羊山集的敵人殲滅。各縱隊指揮員應命而去。第2縱隊司令員陳再道、第3縱隊司令員陳錫聯都直接到陣地前沿勘察。陳錫聯一下子跳進齊胸深的水壕里，測量壕溝的寬度和深度，布置部隊備好過壕器材，並制訂了具體的進攻方案。
經過細密的準備工作，27日晚對羊山之敵發動總攻。激戰1晝夜，28日晚全殲羊山守敵整編第66師。
至此，晉冀魯豫野戰軍主力，在魯西南連續作戰28天，殲滅國民黨軍4個整編師師部，9個半旅，共5.6萬餘人。俘敵整編第66師師長宋瑞珂、第70師師長陳頤鼎、第32師副師長理明亞以下4.3萬餘人，收復了魯西南解放區，從而打開了千里躍進大別山的大門。
羊山集失守的消息傳到開封，蔣介石惱怒異常。為了推卸責任，他以「行動遲緩，貽誤戎機，縱敵殃民，陷害友軍」的罪狀判處第4兵團司令官王仲廉8年有期徒刑，遺職由羅廣文接任。26日趕到商丘指揮的陸軍總司令顧祝同，也灰溜溜地退回到徐州總司令部。
晝夜奮戰28天的劉伯承，滿懷勝利的喜悅和豪情，寫下了他的著名詩篇：
狼山戰捷復羊山，炮火雷鳴煙霧間。
千萬居民齊拍手，欣看子弟奪城關。