1946年6月，國內陰雲密布，大規模的內戰即將爆發。在東北，杜聿明的國民黨軍精銳部隊已經將林彪的東北民主聯軍壓制到松花江北岸；在鄂豫皖，劉峙的軍隊已將李先念部隊團團包圍。在平漢、津浦路，乘火車北上的國民黨軍集結於徐州、鄭州，準備向山東、晉冀魯豫解放區發起攻擊。
從1946年1月停戰令下達以來的半年內，蔣介石是非常忙碌的。一方面他要重建國統區經濟，接收日偽留下的財產，另一方面他要整頓軍隊，為消滅共產黨和解放區作準備。2月，他在南京主持召開「全國整軍會議」，要將抗戰中擴編拼湊起來的600萬國民黨軍精簡壓縮，汰弱留強，減少開支，提高部隊戰鬥力。
整編之後，國民黨擁有86個整編師（軍）、248個旅（師）的正規軍約200萬人，加上非正規軍和海、空軍、後勤、院校，總兵力為430萬人。國民黨軍接收了日偽軍100萬人的武器裝備，並從美國得到大批軍火和飛機、艦艇。在國民黨軍整編師中，有1/4的師是美械或半美械裝備。
4月國民黨軍開始實施整編，一部分雜牌部隊撤銷番號，士兵遣散回家，部分軍官編入軍官訓練團集中管理。保留的部隊進行縮編，軍改為整編師。如「五大主力」中張靈甫的第74軍整編為第74師，胡璉的第18軍整編為第11師。但是人員和裝備反而比過去增強了。東北和華北的部隊暫時沒有整編，維持原編製。
就在蔣介石進行整兵之際，晉冀魯豫軍區在劉伯承的率領下也開始了練兵。
早在5月1日，當東北四平保衛戰激烈進行時，毛澤東就預感到全面內戰可能爆發，遂以中央名義向各解放區下達《關於練兵問題的指示》：「國民黨反動派除在東北擴大內戰外，現正準備發動全面內戰，在此種情況下，我黨必須有充分準備，能夠於國民黨發動內戰時堅決徹底粉碎之。」「接此指示後，立即下令全軍練兵，上級督促檢查，將此看成決定勝負的關鍵之一。」（《毛澤東軍事文集》第三卷）
晉冀魯豫軍區司令員劉伯承接到毛澤東的指示後，便立即貫徹執行，掀起了練兵熱潮。