當宿北戰役還在進行時，山東野戰軍司令員兼政治委員陳毅和華中野戰軍司令員粟裕就醞釀組織一次新的戰役。面對當時的戰場形勢，從戰略全局著眼，宿北戰役勝利結束後究竟從那裡打開局面？當時有三種可能：一是主力北上魯南，尋殲整編第26師；一是南下漣水，尋殲整編第74師；再就是西出淮北，轉入外線作戰。
9、10月間，陳毅就曾與中共華中分局領導多次醞釀過西渡運河，恢複淮北，逼近津浦路及徐州，調動敵人，尋機殲敵於運動中的方案。宿北戰役結束的前一天（12月18日），陳毅、粟裕向中共中央軍委報告：我們擬於此戰役結束後，不論殲滅敵11師大部或一部，決即渡運河西進，恢複淮北局面，逼近津浦路和徐州，迫使魯南敵人後撤，兩淮敵人回援。譚震林率第1、第6師及7縱（5旅與19旅合編）全部及第6旅兩個團，仍留漣水以東打擊74師等部東進，或尾擊其回援淮北。
恰在此時，中共中央軍委亦致電陳毅、粟裕：「第一、慶祝宿沭前線大勝利，望對一切有功將士傳令嘉獎。第二、此戰勝利使整個蘇魯戰局好轉，漣水暫失將來可以收復，也一定要收復。但第二步作戰，擬以集中主力殲滅魯南之敵，並相機收復棗嶧台，使魯南獲得鞏固，然後無顧慮地向南發展，逐步收復甦北、蘇中一切失地。」（《毛澤東軍事文集》第3卷，第581頁）
但中共中央軍委對戰區指揮員的意見很尊重，立即複電：如你們覺得這樣有利，可以這樣做，唯宿沭戰役結束後，須略作休整，並補充新兵，以使西進後能在津浦徐州附近連續作戰。
然而並非所有的領導人都同意打74師，在臨沂的黎玉、張雲逸馬上電告中央，請求主力回援魯南。山野參謀長陳士榘、政治部主任唐亮於12月22日聯名給中央發了一封長電，要求調山野主力1縱、8師回援魯南，待魯南局勢穩定後，再配合華野合殲蘇北之敵。陳士榘一面發報，一面打電話向陳毅彙報。
陳毅對參謀長越過他這個司令員向中央發報十分不滿，在電話里發脾氣：「你們有電台，你們能發報，你們向黨中央告我的狀！」
陳士榘見老總發火，連忙解釋他這樣做是出於對全局的考慮，並不是鬧個人意見。（陳士榘：《天地翻覆三年間》，第2章第2節）
陳毅雖然發火，冷靜下來後便與粟裕研究情況。已經等了幾天，74師不見動靜。而魯南之敵又向前推進，迫近臨沂、郯城，企圖切斷我軍主力與魯南解放區的聯繫。
陳毅、粟裕當機立斷，決定改變決心，12月24日他們請示中央：「我為應付今後蘇魯敵人之南北夾擊，必須先擊破一面，故不再等74師進，決即集中主力徹底殲滅魯南之敵，攻佔台、棗、嶧之線。」同時電告山東的張雲逸、黎玉：「74師遲拔，我決放棄殲擊，留部隊鉗制，大軍回援魯南。」陳毅、粟裕命令1縱當天夜裡全部北上，陶勇的1師西進。陳毅、張鼎丞、鄧子恢返回臨沂，張雲逸組織山東部隊阻擊敵人保衛臨沂，陳士榘、唐亮到新安鎮指揮1縱、8師進攻馮治安部。
各部得到命令，立即開始分頭行動。