日軍即將投降，在蔣介石授意下，山東國民黨省政府主席何思源，匆匆趕到濟南。到達濟南後，他做的第一件事，就是命令山東各地日偽軍堅守城鎮，待國民黨軍趕到向其投降。第二件事就是收編偽軍。於是這伙日軍的走狗，殘害自己同胞、為虎作倀的傢伙，搖身一變成為「中央軍」。
在國民黨軍的慫恿和支援下，山東的日偽軍拒絕向八路軍投降。
針對這一新情況，8月13日，山東分局和軍區向所屬各區發出了《決心徹底消滅日偽軍》和《奪取大城市的部署》。
8月15日，軍區發出《部隊作戰方向的規定》。規定：
魯中軍區奪取濟南，並圍攻益都、安丘、泰安、臨沂等地之敵。
渤海軍區以主力配合魯中軍區奪取濟南，以一部收復津浦鐵路滄（縣）德（縣）段沿線各要點及壽光、濰縣等地。
膠東軍區主力進軍青島，一部收復濰縣以東之膠濟鐵路沿線及沿海各城市。
魯南軍區主力奪取徐州，一部向滋陽及其以南津浦鐵路沿線之敵進攻。
濱海軍區一部配合膠東軍區奪取青島，一部收復沿海地區，進佔連雲港等，並沿隴海鐵路西進，策應魯南軍區奪取徐州。
命令中同時規定，以上5路大軍首先應當掃清各自任務區的中小城市，之後再向山東鐵路沿線地區和敵佔大城市進軍。
接到山東軍區命令後，各軍區迅速編組部隊，展開行動。
這5路大軍在羅榮桓和黎玉、肖華的指揮下，浩浩蕩蕩，冒著酷暑，跋山涉水，日夜兼程，分別奔赴各重要城市和交通要道。
第一路大軍在前線指揮王建安、政治委員羅舜初的率領下，主力第3師、第4師向膠濟路西段和濟南方向疾進。8月11日到16日，我軍即掃除據點23個，19日解放臨朐，22日攻克博山。當日晚，經數日急行軍的第一路八路軍主力部隊，以閃電之勢楔入膠濟路中段，包圍了益都縣城。經過激戰，殲滅偽軍2000餘人；隨後，於23日解放萊蕪縣城，25日攻下淄川，全殲日、偽軍1800餘人。此後，第4師越過膠濟路，協同第7師於26日解放章邱。至此，第一路大軍共殲日偽軍5000餘人，切斷了膠濟路西段，從東南方向逼近濟南城郊。
8月17日，第一路大軍回師臨沂，與第二路大軍和軍區特務團一起發動了臨沂戰役。臨沂北屏蒙山，東傍沂河，是聯繫膠濟、隴海兩鐵路的交通樞紐，隴海路北的軍事重地。經日偽長期經營，它一直是楔入到八路軍魯中、魯南、濱海三戰區中心的堡壘和「掃蕩」解放區的軍事集結地。臨沂守軍夥同從費縣竄來的偽軍，妄圖憑藉高牆深壕、明堡暗碉和日軍留下的大批武器彈藥及糧食，據守待援，拒絕投降。羅榮桓決心剷除這個反動堡壘，於是令第2師4團、警2旅11團、山東軍區特務團和沐水獨立營，運動包圍臨沂。另有3000民兵擔任前線勤務和運輸。
8月17日黃昏，各戰鬥部隊開始對臨沂發起攻擊。20日至22日，八路軍兩次向城內發起強攻，皆未奏效。羅榮桓急電臨沂前線：「此次臨沂之久攻不下，主要由於軍事上遲緩猶疑而失時機！」他要求前線指揮員認真研究作戰方案，做好準備後再發進攻。9月10日晨，經過充分準備的八路軍再次發起攻勢，預先埋好的2000公斤炸藥，在坑道里「轟」的一聲巨響，磚飛石舞，塵煙翻滾，城牆立即被崩開了一個約30米寬的大豁口。八路軍各攻擊部隊乘勢衝擊。但偽軍在「督戰隊」的脅迫下，拚死封鎖缺口。八路軍的兩次衝鋒受阻後，又於10日黃昏從三面同時發起總攻，連續擊退敵軍的8次反撲，終於沖入城中。八路軍洶湧入城，勇猛衝殺。敵人5次施放毒氣，也沒能挽救其覆滅的厄運。守敵除被八路軍斃傷600餘人外，2000餘人被俘。
戰鬥結束後，羅榮桓、黎玉、肖華特別在9月14日發出嘉獎令，向參戰部隊致以熱烈的祝賀與深切的慰問。臨沂城的解放，使魯南、魯中、濱海3個地區完全連成一片。隨後，山東省政府、山東軍區機關即遷駐臨沂。
第二路大軍在前線指揮陳士榘、政治委員唐亮的率領下，北向膠濟路東段，南向隴海賂東段挺進。
向北進軍的第1師及濱海支隊，8月中旬於諸城地區出發，迅速越過崎嶇的五蓮山區。當八路軍抵膠縣城南30餘公里處時，偽軍張洪飛將所部調集於膠縣及附近地區，企圖憑藉城垣及堅固工事頑抗。陳士榘當即命令有關部隊跟蹤壓縮，並於19日將其包圍。當日晚上，月明夜靜。第1師1團派出一個連的突擊隊，僅用10分鐘即登上城牆，其他部隊隨後也沖入城中，戰至次日下午，一舉奪下膠縣，俘獲偽軍2000名，並切斷了膠濟路東段，保障了向青島方向進軍的第三路大軍側翼的安全。同日，八路軍又佔領了莒縣，控制了與青島隔海相望的薛家島。此時，從南線向贛榆、臨沂地區及隴海路進發的第2師，一路順利，進展迅速，先後攻取了海尖、石臼所等地。8月21日，八路軍收復贛榆、青口等沿海城鎮後，繼續南進，切斷了隴海路東段，逼近海州和連雲港。
1945年9月2日，第1師從膠縣一帶突然進逼諸城。諸城位於膠濟路東段南側，係數條公路的交叉點，是日軍控制山東半島的一大堡壘。城裡聚集著張步雲所屬偽第1、2、3師以及諸城偽警備旅等4000餘人。張步雲是個心狠手毒、罪積如山的劊子手，日本投降後，他被蔣介石委任為「膠南邊防司令」，拒絕八路軍的通牒，發誓「就是殺老百姓吃，也要死守諸城」，並掩護600餘名日軍逃離當地。此敵不除，民眾何以安生？9月5日晚，第1師的1、2團冒著大雨，連夜佔領了諸城外的東、西關，並於6日晚開始總攻。師長梁興初指揮各部八路軍英勇衝鋒，分路堵擊。戰鬥於當晚結束，除張步雲率少數殘敵逃脫外，計俘偽第1集團軍秘書長以下2100餘人，斃300餘人。是夜，諸城萬家空室，群眾提著紅燈籠，擁上街頭高呼：「歡迎八路軍！」「歡迎救命人！」在八路軍的威逼下，日照城守敵於9月8日也棄城逃竄。整個濱海區一步步地全部被解放。
第三路大軍在前線指揮許世友、政治委員林浩的率領下，分南、北兩線向膠濟路東段和沿海各城市的日偽軍發起進攻。
8月17日，八路軍解放威海。8月24日，佔領煙台和劉公島。26日攻克即墨。至8月底，第三路大軍共斃日偽軍1700餘人，俘日偽軍4400餘人，另有偽軍1500餘人投誠。
至此，地處膠東腹地的平度，成了膠東僅剩的反動堡壘。城內盤踞著王鐵相部以及從萊陽、掖縣、招遠等地逃竄來的偽軍共6000餘人，日軍600餘人。由於蔣介石剛剛封王鐵相為第9軍軍長，王鐵相立即打起「中央軍」旗號，自恃人多槍好，工事堅固，揚言要在平度「二十里內外殺得人煙不留」。對此，八路軍打出「打進平度城，活捉王鐵相」的標語。許世友親臨前線，指揮第5師13團等部於9月7日晚發起平度之戰，各路部隊旋風般地勇猛直進，分別從平度城的西、東、南門衝進街巷，同敵短兵相接，巷戰竟夜。王鐵相被打得無力再戰，慌忙逃向居民區，很快也被八路軍戰士活捉。這一仗，八路軍共生俘偽軍官兵5700餘人，斃傷700餘人。
第四路大軍在前線指揮楊國夫、政治委員景曉村的率領下，兵分3路，向津浦路濟南至滄州段及膠濟路西段沿線的日、偽軍進攻：8月17日，解放壽光；19日克臨邑；20日攻下高苑、桓台、博興；21日解放廣饒；22日佔領陽信、吳橋；23日又克膠濟路上的臨淄及辛店、淄河等車站；22日克齊東；30日解放惠民；31日拂曉，八路軍猛攻鄒平，15分鐘即突入城內，全殲拒降偽軍，生俘1200餘人；同日，又解放了青城。至此，第四路大軍共殲日偽軍7800餘人，切斷了膠濟路中段，從東北方向朝濟南城郊挺進，與第一路大軍形成鉗擊濟南之勢。
隨後，第四路大軍乘勢出擊，於9月4日解放濟陽，9日解放鹽山，10日解放寧津。這時渤海區內大股偽軍尚有：偽保安第6旅張子良部盤踞在無棣；偽師長田敬堂等部聚集在商河；偽軍成建基等幾個「司令」，糾集殘餘部隊，散踞於惠民、濱縣、青城、陽信等網縣邊區。楊國夫決定要先「拉網」掃清「四縣邊區」的殘偽，然後再攻取無棣和商河。
參加「拉網戰」的八路軍部隊在民兵的配合下，於9月10日在「四縣邊區」構成一個周長80公里的大包圍圈，然後逐漸拉緊「網繩」，將殘偽壓擠到徒駭河畔。緊接著，八路軍從四面八方同時發起攻擊，偽軍除成建基等少數漏網外，大部被圍殲，2000餘人被生俘。
與此同時，八路軍的部分主力、各縣獨立營和3000多名民兵，已先將無棣城圍困起來。無棣城牆高城堅，四野開闊，四關外圍有寬25米、深四五米的護城壕，壕內灌滿水，插遍竹籤。張子良氣焰囂張，自吹無棣是「金湯城池」，攻打不破，