1946年12月18日，中共中央軍委致電陳毅、粟裕：「慶祝宿沭前線大勝利，望對一切有功將士傳令嘉獎。」並指示，「第二步作戰，擬以集中主力殲滅魯南之敵，並尋機收復棗嶧台（棗莊、嶧縣、台兒庄），使魯南獲得鞏固，然後無顧慮地向南發展，逐步收復甦北、蘇中一切失地。」陳毅和粟裕率領山東、華中野戰軍主力，從宿北迅速進抵魯南。
12月20日，魯南國民黨軍整編第三十三軍、整編第二十六師、第五十一師及第一快速縱隊進佔卞莊、蘭陵、稅郭等地。我魯南軍區部隊進行頑強阻擊與反擊，斃傷國民黨軍1000餘人，並擊毀坦克六輛。國民黨軍被迫停止前進，轉為防禦態勢。
同日，在南京「國防部」，蔣介石親自主持召開軍事會議。會上，先由參謀總長陳誠詳細闡述在魯南地區的作戰方案。隨後，國防部長白崇禧說：「七十四師日前陳兵沭陽地區，應在那裡與共軍作戰為好。」蔣介石見勢說：「從共軍近日動態來看，陳毅、粟裕有去魯南撈便宜之意。因此，我要求整編第二十六師師長馬勵武、整編第五十一師師長周毓英、第三十三軍軍長馮治安加緊準備，待共軍一到魯南，將其徹底消滅。決不允許類似宿北情況再次發生！」陳誠當即表示：「請委員長放心，我明晨即飛往徐州，將委座旨意和作戰方案面告薛岳，要他儘快部署，以打贏此次戰役來將功補過！」
陳毅和粟裕也召開會議，專門研究下一步對敵打擊方向和打擊目標。陳毅坐在一張長條桌子的正中，一言不發，只是不斷地抽著煙。屋中充滿了煙霧，大家踴躍發言，激烈辯論。有的認為敵整編七十四師太驕橫，應先在沭陽地區圍殲他們；有的主張圍殲桂系敵軍；還有的建議回師淮北，調淮陰、漣水的敵人回援，然後殲滅之。但直到黃昏，才形成三種方案。
其一，殲滅由漣水北犯沭陽之敵整編第七十四師。華中野戰軍部隊可就近調整兵力，但敵整編第二十八師和第七軍等部已沿六塘河設防，不易分割。
其二，乘國民黨軍後方兵力空虛，出擊淮北，威逼徐州。這一行動可調蘇北、魯南之敵回援，可於運動中尋求殲敵機會。但深入敵後方須有準備時間，若敵未被調動，我軍將陷入被動。
其三，揮師山東臨沂西南，尋殲敵整編第二十六師等部，鞏固後方。部隊須長途轉移，但有利條件甚多：老區群眾基礎好，可隱蔽我軍作戰意圖；駐守該地的敵三十三軍系西北軍，整編第五十一師為東北軍，他們為保存實力，一遭打擊，即行收縮；而駐守該地的敵整編第二十六師，自恃為蔣介石嫡系，又有第一快速縱隊附屬於己，盛氣凌人，與友鄰關係不好，目前所處位置又比較突出，與左右翼空隙較大，有利於分割尋殲。
直至晚上八九點鐘，陳毅還在與身邊的粟裕、新四軍兼山東軍區參謀長陳士榘等領導一邊嚼著饅頭，一邊低聲商議。最後確定採用第三方案，並由陳毅擬制電報。陳毅將電報反覆修改後，交給參謀主任王德，立即發往軍委。
12月25日，中共中央軍委電示陳毅、粟裕：「魯南戰役關係全局。此戰勝利，即使蘇北各城全失，亦有辦法恢複。你們必須集中第一、第六、第八、第四、第九、第十師及一縱、警旅等部，並有必要部署準備時間，以期打一比宿北更大的殲滅戰。第一仗擬以打二十六師3個旅為適宜，因該師系魯南主力，該師被殲，全局好轉。若先打馮部，則恐一時不能解決魯南問題。」
在作戰會議上，陳毅說：「我們的參戰部隊正在向魯南嶧、棗、台地區逼近，與敵交戰已迫在眉睫。在那一帶有敵2個整編師和1個軍，其中二十六師為蔣介石嫡系，師長馬勵武是黃埔軍校第一期畢業生，曾任蔣介石的副侍衛長，頗得重用。此人是個熱衷吃喝、迷戀女色之徒，在軍事指揮上沒有多少道道兒。我們在宿北，一舉殲敵一個整編師。這次爭取殲滅他兩個師，叫蔣介石傷心得更厲害一些，開創軍委提出的『使魯南獲得鞏固，然後無顧慮地向南發展』的局面。」
12月30日，陳毅報告中共中央，決定1947年1月2日開始打敵二十六師，而後打馮治安部。
山東、華中野戰軍決心集中二十七個團的兵力圍殲敵二十六師，其部署是：以第八師、魯中軍區第九師、魯南軍區第十師、第四師之第十團、濱海警備旅共12個團組成右縱隊，由魯中軍區司令員王建安、政委向明、魯南軍區政委傅秋濤、副司令員郭化若統一指揮，以主力攻殲敵四十四旅，並切斷敵向嶧縣、棗莊的退路，以一部兵力割裂敵第一六九旅與第四十四旅的聯繫。上述任務完成後，再配合左縱隊圍殲敵整編第二十六師師部及第一快速縱隊。由陶勇所部第一師和葉飛所部第一縱隊共15個團組成左縱隊，歸陳士榘指揮，擔負殲滅敵第一六九旅及第一快速縱隊的任務。首先圍殲卞莊之敵，同時切斷敵整編第二十六師與整編第三十三軍的聯繫，在右縱隊配合下攻殲敵第一六九旅和第一快速縱隊。魯南第三軍分區武裝，以馬頭、新村段沿沂河東岸進行防禦，保證主力側翼安全，維護華中與山東的交通。並以一部兵力和精幹民兵，挺進蘭陵、邳縣間及蘭陵、嶧縣、台兒庄間，開展游擊活動，破壞交通，監視敵人的活動。作戰命令規定，各部均應於1947年1月1日拂曉前進入指定集結地域，戰役發起時間為1月2日24時。
此時各部隊正在進行緊張的戰後工作，部隊的慶功會還沒有開，野戰軍首長立即北上的緊急命令便傳達下來。於是，各參戰部隊迅速隱蔽北上。各部隊一律夜行曉宿，行軍途中，地方武裝、民兵和人民群眾主動協助我軍偵察敵情、封鎖消息、當嚮導、運糧彈……所有參戰部隊都利用行軍的間隙進行臨戰訓練，著重研究打坦克的方法。1947年1月1日拂曉前，各部隊都按時到達指定的地域隱蔽集結，在緊張的戰前準備中度過了元旦。
中央軍委和毛澤東在戰役發起前幾個小時來電，勉勵參戰部隊要以宿北戰役為例，力爭打大殲滅戰，即每戰全部徹底殲滅敵三四個旅。這個電報使參戰部隊倍感親切並深受鼓舞。
1947年1月2日22時，各部隊突然對敵發起全線攻擊。
此次戰役發起時間比原定時間提前2個小時，但敵人毫無覺察。
元旦這天，敵二十六師師長馬勵武已離開指揮位置，在馬家莊師指揮部與幾個同僚飲酒作樂。酒過三巡，馬勵武舌頭不聽使喚，語無倫次，派人把副師長曹玉珩和參謀長鄭輔增找來，醉醺醺地說：「嗯……曹兄、鄭兄，今晚我有要事，部隊指揮權就交給你們二位了。」說完就跌跌撞撞地爬上美國吉普車，連夜趕至嶧縣城內，與唱紅當地、年輕美貌的京戲女旦鬼混去了。
戰鬥一打響，敵軍就失去了統一指揮。山東野戰軍、華中野戰軍各參戰部隊則動作迅猛，以排山倒海之勢沖向敵人各守備要點，打得敵人暈頭轉向，倉皇應戰。
右縱隊激戰至1月3日拂曉，除石龍山守敵一個營逃向楊家橋外，四馬寨、平山、石城崮、青山、鳳凰山、尚岩、石龍山均被攻克。
平山位於嶧縣東部，三面為陡峭的岩石，東西比較平緩，築有四道防禦工事，前沿有半月形鹿砦，砦內有高牆和碉堡、炮樓林立，鹿砦與圍子相通。國民黨軍控守山頂的是二十六師四十四旅的一個加強連，該連武器精良、彈藥充足。駐守平山前村的為四十四旅一營營部和二連、機炮連。
奪取平山的為魯南軍區第十師，師長賀健、政委張雄把主攻任務交給三十團。團長黃作軍組織三營八連於當晚10時發起攻擊，突破第一、二道工事後，遇到退居中心碉堡敵人的瘋狂掃射。連長王廣希指揮三次爆破未見成效，這時爆破能手趙學生奪過炸藥包說道，「連長，我去完成任務！你叫機槍手們把敵人火力壓住！」連長立即組織全連的火力進行掩護。趙學生利用有利地形，躲過敵人火力，迅速接近碉堡，用盡全身力氣，硬是把炸藥包塞進碉堡內，拉燃導火索，然後翻身滾下山坡。隨著一聲巨響，中心碉堡被炸塌了半邊，敵連長和他的四十多個兵坐上了「飛機」。戰後，魯南軍區為表彰這個連的功績，授予其「平山連」光榮稱號。一連從東南角發起攻殲平山前村守敵的戰鬥。從另一個方向發起衝鋒的是二連，前進的道路被敵人從暗堡里射出的子彈封鎖。爆破英雄、三排長朱孝春趁敵人換彈夾的瞬間，一躍而起，飛身衝到敵人地堡跟前，前貼門壁，對準敵機槍手就是一槍。其餘敵人見勢不妙，就從另一個堡門奪路而逃。朱孝春跟蹤追擊，躍至另一個暗堡跟前，發現裡面有十幾個敵人亂成一團，一個戴大蓋帽、穿黃色呢大衣的傢伙正在電話里向他的上司呼救。朱孝春靈機一動，拉動槍栓，大聲喊道：「你們被包圍了，不準動！誰動打死誰！」隨後，又故作鎮靜，大聲地向外喊道，「同志們，先不要開槍，都聽我指揮！」在這一瞬間，堡內敵人扔出一顆正在冒煙的手榴彈。朱孝春急中生智，迅速拾起手榴彈，扔進暗堡，炸得敵人血肉橫飛、鬼哭狼嚎，活著的都乖乖當了俘虜。