1938年4月21日，毛澤東、洛甫、劉少奇聯名致電朱德、彭德懷、劉伯承、徐向前、鄧小平等人，指出：在河北、山東平原地區應堅決採取盡量廣泛發展游擊戰爭的方針，盡量發動最廣大的群眾走上公開的武裝鬥爭。
4月22日，八路軍總部命令第129師主力及第115師344旅一部迅速從太行山向冀南、豫北平原及各鐵路沿線展開。
接到中央的指示和八路軍總部的命令後，劉伯承、徐向前、鄧小平立即進行了認真的研究，對在平原地區游擊戰爭的展開和開闢工作做了具體的分工和規劃。決定由徐向前率第689、第769兩個團和曾國華支隊赴冀南，陳賡率第386旅主力進至平漢路西側的冀豫地區，王新亭率第771團兩個營進至平漢路東側的永年、肥鄉、成安一帶。此外，陳錫聯和謝富治則率剛成立的第385旅主力繼續在正太路以南、平漢路以西地區活動，並相機分兵向石家莊以東地區發展。幾個月後，冀南的武裝力量已發展得十分龐大了。
八路軍先後收編和改編了大小數十股土匪、游雜武裝和20多個縣的保安隊。其中較大的如段海洲的青年抗日義勇軍，已改編為八路軍青年游擊縱隊；趙輝樓的民眾抗日自衛軍，已改編為八路軍冀豫游擊支隊。這樣，在冀南直接受第129師領導的抗日武裝已達2萬多人。
隨後，在鄧小平和徐向前的主持下，冀南地區武裝力量的改造和合編也在緊張而又有條不紊地進行著——第771團、東進縱隊第2團和抗日游擊第2師合編為第129師獨立旅。稍後，獨立旅又併入青年抗日游擊縱隊，由段海洲任司令員，李聚奎任政治委員，徐深吉任副司令員。
東進縱隊第1、第3團合編為新1團，撥歸第386旅建制。
汪乃貴支隊和民眾抗日自衛軍合編為冀豫支隊，撥歸第385旅建制，由趙輝樓任支隊長，趙月舫任政治委員，汪乃貴任副支隊長。
津浦支隊、各軍分區基幹隊、各縣民團和保安團合編為東進縱隊第1至8支隊及獨立團，仍由陳再道任司令員，宋任窮任政治委員。
與此同時，從行政上統一領導冀南全區的冀南行政主任公署亦告成立，以無黨派民主人士楊秀峰為主任，宋任窮為副主任，下設5個專員公署，計轄51個縣。