回師魯南的方案定了下來，但怎樣選擇打擊目標呢？先打弱敵，後打強敵，這是人民解放軍作戰常用的原則。這時，國民黨軍分布的態勢為：南線的兩大主力11師在宿遷，74師在陳師庵，隔運河、六塘河與華野6師、9縱、山野2縱、7師對峙。國民黨7軍在泗陽、28師在漣水作2線部隊。西線是馬勵武的26師附第1快速縱隊突前到嶧縣以東，準備進攻臨沂。周毓英的51師在棗莊，馮治安的77、59師在台兒庄。因宿北之戰剛結束，各部都暫時停止行動，未敢輕進。
從上述敵軍兵力部署來看，魯南弱敵為馮治安部之整編59師，但若先打馮治安部，一時解決不了魯南問題，扭轉不了戰場的形勢。整編第28師和第1快速縱隊為敵魯南主力，如該敵被殲，則全局可望好轉。
為此，野戰軍首長進一步對魯南戰區的地形、民情及敵我雙方兵力兵器對比和戰鬥力等情況，進行了全面的分析研究，一致認為，敵整編第26師和第1快速縱隊雖是強敵，但它所處態勢不利，孤軍突出，且與馮治安部有矛盾，在它受攻擊時，馮部有很大可能不會支援或不全力支援，特別是在戰役開始階段，我可集中27個團的兵力，打敵第26師和第1快縱6個團，兵力四倍半於敵，以絕對優勢，可以實現戰役上以多勝少。
野戰軍首長決定反常用兵，放著弱敵馮治安部不打，反而首先殲滅強敵整編第26師和第1快速縱隊。故於1946年12月23日定下了回師魯南殲敵的決心，隨即令葉飛的第1縱隊、第1師、第8師秘密兼程北上，會同已由魯中到達魯南之第9師及第4師1個團，和原在魯南作戰之第10師、濱海警備旅等部，準備首先殲滅敵整編第26師及第1快速縱隊，而後直下嶧縣、台兒庄，殲滅馮治安整編第33軍一部或全部，決定以第2、第9縱隊和第6、第7師及第13旅，由譚震林同志指揮，在沐陽東西地區組織防禦，遲滯敵人的北犯行動，並相機殲敵一部。
當野戰軍將此決心上報後，立即得到中央軍委和毛澤東的批准，同時強調指出：「魯南戰役關係全局，此戰勝利，即使蘇北各城全失，亦有辦法恢複」，希望「打一個比宿北更大的殲滅戰」。而後，野戰軍及時下達了政治工作指示和戰役動員口號，對部隊進行了深入的政治動員，中央軍委、毛澤東的指示精神和野戰軍的戰役決心，很快變成了廣大指戰員的自覺行動。