1947年1月，魯南戰役後，國民黨還沒有從蘇中、宿北和魯南戰役的失敗中警醒。
南京。陳誠在他的官邸經過一番深思熟慮之後，認為國軍雖然在內戰以來損失了近30萬，但蘇皖解放區被佔領，而且這是富庶地區，是陳、粟的根據地。現陳、粟主力被擠進山東境內，這應當說是國軍在戰略上的「勝利」，因為30萬與國軍幾百萬部隊相比，僅僅是個小小的數字。他為他的這個見地而有些沾沾自喜，便向蔣委員長呈報，「共軍大勢已去」，「國軍部隊雖略受損失，但就全盤戰局而言，實屬莫大之成功」。與此同時，他還推斷，共軍經過連續作戰，傷亡損失一定重大，而且部隊剛剛集中，有不少原來的地方武裝，戰鬥力不會強。臨沂是山東解放區首府，共軍必竭力死守。蔣介石見到陳誠的呈報後，覺得有道理。於是，蔣介石、陳誠便制訂了「魯南會戰計畫」。至此，蔣介石還嫌不夠，還派陳誠坐鎮徐州。
完成了魯南戰役後的華中部隊，轉移到山東解放區首府臨沂休整。此時，華東戰場的作戰中心由蘇北轉入山東。陳、粟首長分析了華東戰場形勢，為迎接敵人的大舉進攻，首先按中央軍委命令，對山東、華中兩支部隊進行合編，正式組成華東軍區、華東野戰軍，建立中共華東野戰軍前敵委員會（簡稱華野前委）。新四軍兼山東軍區、華中軍區、山東野戰軍、華中野戰軍番號同時撤銷。
華東野戰軍由原山東野戰軍、華中野戰軍和山東軍區主力部隊組成。陳毅任司令員兼政治委員，粟裕任副司令員，譚震林任副政治委員，陳士榘任參謀長，唐亮任政治部主任，劉先勝、張元壽任副參謀長，鍾期光任政治部副主任。陳毅同時擔任中共華東野戰軍前委書記。華東野戰軍下轄第一、第二、第三、第四、第六、第七、第八、第九、第十縱隊共九個縱隊和特種兵縱隊，後來又組建了第十一、第十二縱隊。
第一縱隊為原山東野戰軍的第一縱隊：司令員兼政治委員葉飛，副司令員何克希，副政治委員譚啟龍，參謀長張翼翔。第一、第二、第三旅依次改稱第一、第二、第三師。原華中野戰軍第十三旅改稱獨立師，歸第一縱隊指揮。
第二縱隊由原山東野戰軍第二縱隊及華中野戰軍第九縱隊三個團合編組成：司令員兼政治委員韋國清，副司令員張震，副政治委員康志強，參謀長詹化雨，政治部主任鄧逸凡。第四旅改稱第四師，第九縱隊三個團組成第五師，第九旅改稱第六師。
第三縱隊由原山東野戰軍第八師和魯南軍區濱海警備旅合編組成：司令員何以祥，政治委員丁秋生，副司令員覃士冕，政治部主任劉春。第八師番號不變，濱海警備旅改稱第九師。3月，把魯南軍區第十師調歸第三縱隊，改稱第七師。
第四縱隊為原華中野戰軍第一師：司令員陶勇，政治委員王集成，參謀長梅嘉生，政治部主任劉文學。第一、第二、第三旅依次改稱第十、第十一、第十二師。
第六縱隊為原華中野戰軍第六師：司令員王必成，政治委員江渭清，副司令員皮定均，副政治委員兼政治部主任陳時夫，參謀長杜屏。第十六、第十七、第十八旅依次改稱第十六、第十七、第十八師。
第七縱隊為原華中野戰軍第七師：司令員成鈞，政治委員趙啟民，副司令員林維先，參謀長鬍定千，政治部主任黃火星。第十九旅改稱第十九師。第五旅改稱第二十師。3月，以第二十師第五十九團和魯中軍區獨立第四、第六團合編組建第二十一師。
第八縱隊由原魯中軍區第四、第九師和警備旅合編組成：司令員王建安，政治委員向明，副司令員孫繼先，參謀長張仁初，政治部主任王一平。三個師旅依次改稱第二十二、第二十三、第二十四師。
第九縱隊由原膠東軍區第五、第六師及警備第三旅合編組成：司令員許世友，政治委員林浩，參謀長聶鳳智，政治部主任劉浩天。三個師旅依次改稱第二十五、第二十六、第二十七師。
第十縱隊由原渤海軍區第七、第十一師合編組成：司令員宋時輪，政治委員景曉村，副政治委員劉培善，參謀長趙俊，政治部主任肖望東。第七師改稱第二十八師，第十一師改稱第二十九師。
第十一縱隊為原華中野戰軍第七縱隊：司令員管文蔚，政治委員姬鵬飛，副司令員兼參謀長鬍炳雲，政治部主任李干輝。轄第三十一、第三十二旅。
第十二縱隊為原華中野戰軍第十縱隊：司令員陳慶先，政治委員曹荻秋，副司令員覃健、常玉清，政治部主任孫克驥。轄第六、第十、第三十旅。
特種部隊司令員陳銳霆，政治委員張藩，參謀長鍾國楚，政治部主任劉述周，轄榴炮團、野炮團、騎兵團、工兵團和特科學校。
除第十一、第十二縱隊在蘇中、蘇北堅持鬥爭外，其餘縱隊共27萬人，均在山東解放區執行內線作戰任務。
華東軍區由原山東軍區、華中軍區合併組成。陳毅任司令員，饒漱石任政治委員，張雲逸任副司令員，黎玉任副政治委員，陳士榘任參謀長，舒同任政治部主任，袁仲賢、周駿鳴任副參謀長，唐亮、張凱任政治部副主任。
華東軍區轄魯南、魯中、膠東、渤海、蘇中、蘇北六個軍區，加之華東軍事政治大學和東江縱隊、淮北支隊、濱海軍分區，共約30萬人。
魯南軍區司令員張光中，政治委員傅秋濤，副司令員郭化若、萬春圃，副政治委員張雨帆，參謀長趙一萍，政治部主任張雄。
魯中軍區司令員王建安，政治委員向明，副司令員鄺任農、錢鈞，副政治委員高克亭，副政治委員兼政治部主任李培南，參謀長張仁初。
膠東軍區司令員許世友，政治委員林浩，副司令員王彬，副政治委員金明，政治部主任賴可可。
渤海軍區司令員袁也烈，政治委員景曉村，副司令員宋時輪、廖容標、曾生，副政治委員王卓如，副政治委員兼政治部主任周貫五。
蘇中軍區由第十一縱隊兼。
蘇北軍區由第十二縱隊兼。
華東軍政大學校長由張雲逸兼任，副校長余立金、曾生，政治部主任歐陽平。
這次整編，統一了組織、編製、制度，調整充實了基層組織，進一步實現了組織指揮上的集中統一。但由於國民黨軍大規模進攻在即，整編任務未能全部完成，許多工作是在萊蕪戰役以後進行的。
在部隊整編的同時，中共中央華東局和華東野戰軍在臨沂附近召開了前委擴大會議，即魯南會議。
饒漱石在會上傳達了中共中央和毛澤東對當前形勢和任務的指示，著重研究了加強部隊建設和提高部隊戰鬥力的問題。在會上，饒漱石作了《艱苦奮鬥，迎接民主新高潮》的報告，陳毅作了《一面打仗一面建設》的報告。陳毅強調指出：「華東野戰軍是山東、華中部隊的會合，是全解放區兵力最大最集中的地方，是解放區愛國自衛戰爭的主要戰線之一，又是美蔣集中大軍進攻的主攻方向。特別是今後山東地區將成為中國人民與美蔣惡勢力的決戰場所之一。因此，我們的任務很大，擔子很重。」針對當時部隊中存在的某些不良傾向，陳毅號召華東全軍要樹立整體觀念，加強黨的領導，加強政治工作，打破由於過去歷史條件造成的山頭主義、本位主義和游擊主義；要加強群眾觀念和群眾工作，遵守群眾紀律，積极參加農村的土改運動；要「以戰養戰」「以戰教戰」，打一仗，進一步；加強軍隊內部及軍政、軍民團結，以爭取偉大的勝利。
魯南會議後，華東部隊上上下下抓緊時間準備，迎接即將來臨的大戰。
1947年1月下旬，在華野指揮所，粟裕和華野的幾個領導有些坐卧不安，他們一次次地圍在一起分析研究著敵情。在粟裕腦中，中央軍委的那封「爭取在1個半月到2個月內再殲敵10個旅」的電報已經變成了一紙作戰命令。他不斷地考慮如何利用內線作戰的有利條件，依託山東解放區，積極創造戰機，打更大的殲滅戰。
與此同時，國民黨在徐州召開軍事會議，制訂了「魯南會戰」計畫，集中近30萬人由南北兩線進攻山東解放區，企圖在臨沂附近或沂蒙山區同華東野戰軍主力決戰，蔣介石派陳誠坐鎮。南線由整編第十九軍軍長歐震指揮8個整編師（軍）21個旅（師）為主要突擊兵團，自台兒庄、新安鎮、城頭一線三路北犯臨沂。北線由第二綏靖區副司令官李仙洲指揮3個整編師（軍）共9個旅（師）為輔助突擊兵團，自明水、周村、博山南下，乘虛直驅萊蕪、新泰、蒙陰一線，企圖搗毀解放軍後方基地，配合南線聚殲華東野戰軍於臨沂、蒙陰地區。另以8個整編師（軍）擔負隴海、津浦、膠濟鐵路沿線的守備任務。國民黨軍不但糾集了華東戰場所有機動兵力，而且派出大批飛機配合作戰。此外，還從冀南、豫北戰場抽調4個整編師（軍）集結於魯西南地區，企圖阻止晉冀魯豫野戰軍東援和華東野戰軍西撤。
1月27日，一年前被迫起義並擔任華中民主聯軍總司令的郝鵬舉率所部叛變，