國民黨軍主力在整編第72師在泰安被殲後，仍按原計畫繼續向新泰、蒙陰地區進攻。華東野戰軍為了創造新的戰機，對部隊作了如下部署：一面以第1、第3、第6縱隊沿津浦路側南下，出擊寧陽，威脅敵重要補給基地兗州，誘殲可能西援之敵第5軍，其中以第1縱隊直攻寧陽，第3縱隊相機圍攻兗州，第6縱隊位於汶河南岸準備打援，並以第10縱隊向肥城進攻，迷惑和分散敵人；一面以主力主動撤離新泰、蒙陰，轉移到臨蒙公路以東地區，待機殲敵。
4月27日，第1縱隊一夜強行軍80餘里，以奔襲攻勢包圍寧陽，28日解放該城。
29日，國民黨軍佔領新泰、蒙陰。這時，其整編第74師分布在界牌、蒙陰地段，整編第64師2個團位於垛庄，整編第83師控制於雙侯集、青駝寺地段，整編第25師位於桃墟及其以西地區，第7軍和整編第48師位於河陽、湯頭一線。這個態勢表明，臨蒙公路沿線的國民黨軍配置分散，間隔較大，且剛到各地，立足未穩。
當日晚，華東野戰軍決心乘機攻殲臨蒙公路沿線的國民黨部隊。部署是：以第2縱和第7縱隊主力攻殲其第83師，並以1個師位於青駝寺以南地區打擊可能由臨沂、葛溝來援之敵；以第9縱隊攻殲垛庄、界牌沿線之第64師和第74師；以第7縱隊控制於堯山、塌山、天馬山、界牌等地，準備打擊可能由新泰來援之第11師；以第8縱隊位於坦埠東南地區為總預備隊。各縱隊發起攻擊後，國民黨軍各部十分警覺，未作有力抵抗，即急速收縮，退踞公路以南山區固守待援。
30日，華東野戰軍準備攻擊退守南山之國民黨軍第25、第74、第65師等部，但因主力來不及迅速集中，未能實現。僅第7縱隊於當天下午在青駝寺以北殲敵第83師第44旅一部，5月1日下午又在青駝寺以南的磨石溝殲第44旅1個團，共殲敵1個半團。2日，國民黨軍第7軍和第83師全力向臨蒙公路增援，第5軍亦向新泰快速開進，華東野戰軍主動撤出戰鬥。
當天，陳毅、粟裕等人報告中央軍委：4月30日至5月1日，本為我軍圍殲第74、第25、第65師等部計7個旅之絕好機會，不料我展開兵團已西渡汶河，轉到寧陽方面，回師不及，故不能適時施行對第74師等部之攻擊。4天後，中央軍委複電勉勵：「得悉青駝寺殲敵三千。但因1縱遠去寧陽，來不及集中兵力打74師等部，失殲敵機會。……但失去一次時機並不要緊，當著不好打之時避開敵人挑釁，忍耐待機，這是很對的。」
3日，華東野戰軍鑒於國民黨軍整編第11師剛佔新泰不久，又決心以第4縱隊協同由津浦路西東返的第1、第3、第6縱隊，求殲該敵，並於當夜完成了包圍，但因敵第5軍和整編第85師迅速向新泰靠攏，遂撤出戰鬥。
至此，泰蒙戰役即告結束，此役共殲敵24000餘人。