殲敵整編第5軍設想提出，中央軍委指示下達後，華野1兵團上下群情振奮，大家摩拳擦掌，都想儘快投入戰鬥。此時，敵我雙方的兵力分布狀況是：
敵人在中原戰場上除保安部隊外，有正規軍25個整編師（57個旅）。其中13個整編師（30個旅），擔任重要點線的守備；另外12個整編師（27個旅）和4個快速縱隊編成4個兵團，執行機動作戰任務。其意圖是控制隴海路東段、津浦路和平漢中南段的交通線，以鄭州、信陽、蚌埠、開封、商丘和徐州等城市為據點，乘我華野部隊整訓分離之際，集中一切可以使用的機動兵力，尋我主力兵團決戰，同時監視和堵擊我在濮陽地區進行整訓的華野第1兵團渡河南下。
我軍方面，中原野戰軍主力及華東野戰軍第10縱隊，在取得宛（南陽）西戰役勝利後，正向南陽、確山之間轉移；華東野戰軍第3和第8縱隊在完成宛西阻擊戰之後，於5月10日由象河關、春水地區北上，14日襲占許昌，全殲敵獨立第21旅，而後即在許昌、襄城地區轉入休整；華東野戰軍第1、第4和第6縱隊以及另外兩個縱隊和特種兵縱隊，在濮陽地區進行新式整軍運動後，根據打整編第5軍的作戰要求開展軍事訓練。中原野戰軍第9縱隊位於鄭州西南地區；中原野戰軍第11縱隊位於豫皖蘇地區。
5月23日，粟裕作出了在魯西南求殲整編第5軍的作戰部署。「即先以第3和第8縱隊由許昌地區向淮陽方向轉移，吸引邱清泉兵團南下；然後以第1、第4、第6縱隊和兩廣縱隊、特種兵縱隊乘機由張秋鎮、范縣（今舊范縣）之間南渡黃河，進抵定陶、成武地區，力求殲滅魯西南守敵一部，開闢戰場，吸引邱兵團迴轉北上。在邱兵團向北轉移時，立即以第3縱隊、第8縱隊和中野第11縱隊尾敵北進，協同我南渡黃河的各縱隊夾擊該敵於魯西南地區。」（《粟裕戰爭回憶錄》第545頁）
為此，華東野戰軍前委頒發了「為殲滅敵第5軍給全體指戰員的一封信」。信中指出：蔣介石以第5軍為骨幹，帶著一批小嘍，拚命來騷擾中原，企圖把中原搞爛，再進而破壞華北解放區的建設。我們要解放中原4000萬人民也好，鞏固中原也好，建設華北也好，南下過江也好，加速蔣介石的死亡也好，都非殲滅第5軍不可。為保證勝利，號召全體指戰員做到：堅決服從命令聽指揮，爭取時間收集敵情，展開廣泛的研究；在野戰中要發揚「三猛」精神，把勇敢與技術結合起來；全軍上下緊密團結起來，協同動作；發揚艱苦奮鬥的優良傳統，不怕跑路，不怕餓肚；嚴格維護政策，執行紀律，一切繳獲要歸公。殲滅第5軍，為人民立個頭等大功！