國民黨軍見華東野戰軍停止南進，遂於4月中旬全線發起進攻。第1兵團除以一部守備臨沂、郯城、新安鎮等地外，主力積極「清剿」臨沂、郯城以東和新安鎮、海州以北地區，企圖阻華東野戰軍南下華中，並伺機配合第2、第3兵團的進攻。第2、第3兵團主力積極向新泰、蒙陰推進，企圖占沂蒙山區，逼迫華東野戰軍主力退於濱海一隅，然後與其決戰。第3兵團以一部兵力守備泰安。
華東野戰軍為分散國民黨軍之兵力，求得在運動中各個殲滅其主力及南下開闢華中戰場，於4月中旬制訂了泰蒙戰役計畫：以陳士榘參謀長指揮第1、第3、第10縱隊圍攻國民黨軍左翼、態勢孤立的泰安守軍整編第72師，吸引整編第75、第85師由大汶口北援而殲滅之，並誘進犯新泰、蒙陰之國民黨軍回援，而後集中野戰軍主力分批尋殲回援的第5軍及整編第11師等部於大汶口、太平邑地區；以華東野戰軍副政治委員譚震林指揮第2、第7縱隊集結在青駝寺、雙候集以東地區，第7縱隊待機南下華中；以第4、第6、第9縱隊集結在新泰、蒙陰地區，待機出擊；以第8縱隊進入臨磁公路以南山區，殲滅整編第64師主力。
泰安，地處津浦路徐濟段要衝，交通便利，是魯中重鎮、軍事要地。守備泰安的整編第72師原為川軍之精銳，日械裝備，擅長守備，轄第34旅和新編第13、新編第15旅，共2.8萬人。其部署：以第34旅主力（欠第3營）守備城區，以一部配置在東、南、北關外各要點及泰山南麓、韓家嶺、摩天嶺、玉皇頂各要點；新編第13旅（欠第37團）附新編第15旅主力守備城西關基督教堂以北、育英中學以南及清真寺以西娘娘廟、泰安車站、蒿里山、雲山莊至鐵路以東霍家窯之線各要點；師部在城內。在各要點上，整編第72師均構築了較堅固的防禦工事，憑堅據守。
22日夜，第10縱隊以及加強該縱的3個榴彈炮連按時發起進攻，相繼攻佔泰安四周據點，包圍該城，第1、第3縱隊開至泰安以南津浦路兩側地區，準備打援。但至24日，大汶口等地之國民黨軍整編第75、第85師雖近在咫尺，亦不敢出援泰安。
華東野戰軍遂決定增調第3縱隊第8師和第9師一部於24日夜配合第10縱隊，加速攻佔泰安，殲滅守軍整編第72師。以第10縱隊從泰安北、東和東南方向攻擊；以第3縱隊部隊從泰安西南、西北方向攻擊。經徹夜激戰，控制泰安四關大部。
當時擔任第3縱隊第8師政治委員的王六生後來記述該師參戰和攻佔蒿里山要點的情況：國民黨軍這次進攻「採取的是密集平推的部署，西起津浦線，東至臨沂，在飛機、坦克配合下，叫嚷著要攆我們『跳黃河』，日夜向北壓來。那陣勢，那凶焰，真像要把泰山推倒，把沂蒙山踏平似的。我們一路往北走，幹部、戰士就嘀咕起來：『怎麼搞的，真的要過黃河呀？！』『過了泰山，往北到濟南府，就是黃河了！』直到泰山腳下停住步，有的人才眉開眼笑地說：『要從泰安開刀了。』」。他還說：該師在魯南戰役後，多是打阻擊，演「配角」，這次擔負主攻任務，指戰員們的戰鬥情緒特別高漲，投入戰鬥後，便打了一個硬仗，攻佔了蒿里山。（王六生：《泰安腳下》，《星火燎原》選編之8，第441、第443頁）
蒿里山，離泰安城7里，俯視泰安全城，扼守津浦鐵路。國民黨軍第72師派有重兵固守這一制高點。第8師一部於24日晚投入戰鬥後，即向蒿里山發起強攻，經半夜激戰，多次衝擊，雖付出較大傷亡，但仍未能拿下主要山頭。該部改變戰術，再次發起衝擊，採取小群動作、互相掩護、交替前進的戰術，打掉敵人的子母堡，僅用30分鐘，就攻佔蒿里山，接著又佔領火車站，為大部隊攻城掃除一大障礙。
25日黃昏，對泰安城發起總攻。第10縱隊第28師首先從東門突進城內，接著第29師和第3縱隊部隊也相繼從南門和西門突進，經過多次猛烈衝鋒，激戰至26日10時，殲滅國民黨軍整編第72師師部和新編第13旅、第34旅共2萬餘人，俘其中將師長楊文泉、新編第13旅少將旅長楊本固、少將副旅長宋竹青、少將參謀長韓明、第34旅少將旅長李則堯、少將參謀長劉新甫等官兵15000餘人。
整編第72師系原川軍精銳，師長楊文泉24日還向顧祝同拍胸保證，要堅決守住泰安。他怎麼也沒有料到，不到兩天，就把泰安丟了，自己也當了俘虜。
國民黨政府對泰安戰局異常關注，山東省政府主席兼第2綏靖區司令王耀武經常向行政院院長張群電告戰況。直到4月30日，他才報告：「4月22日敵進犯泰安附近。」行政院負責官員看到後哭笑不得，乃批示道：「據報載及國防部白部長在立法院5月1日報告，泰安業己陷敵手，但該省4月30日來電所報尚系敵開始進犯泰安之情形，且該電5月2日始到院，是以此項情報，不免失去其軍事機要價值矣！」（國民黨《山東省政府反共軍事戰況及情報》）
泰安是在堅決阻擊國民黨軍的強大援軍的情況下攻取的。對此，華東野戰軍在《泰蒙戰役概述》中作了詳細記載：自4月20日起至27日止，在雲蒙山麓東起界牌、西至觀山100里的戰線上，我軍展開了英勇的阻擊戰，第8、第9縱隊經7晝夜的血戰，阻擊了10餘萬敵軍的陸空猛烈進攻，其中尤以雲台山、天台山、黑山、白馬關、紫錦關等地得而復失、失而復得，戰況更為激烈，給進犯之敵以4000人以上的殺傷，保證了攻打泰安的勝利。
攻克泰安、殲敵整編第72師主力並阻擊10萬大軍的增援，是華東野戰軍迎擊國民黨軍對山東重點進攻中取得的首次勝利，中央軍委5月6日在給陳、粟的電報中，對此役評價很高，稱之為「泰安大勝」。