山東日軍第12軍將1941年度「肅正」地區的重點確定為津浦路以東、膠濟路以南山區的抗日根據地。9月中旬至10月上旬，日軍首先對沂蒙山區周圍的泰山區和邦城、碼頭地區進行「掃蕩」，並積極策劃於11月初開始對魯中沂蒙山區抗日根據地進行大規模的「掃蕩」，企圖一舉消滅山東地區的中共黨政軍領導機關和八路軍主力，摧毀沂蒙山區抗日根據地。其參戰兵力，除第12軍主力（第17、第21、第32師團和獨立混成第5、第6、第7、第10旅團）外，還有日華北方面軍配屬的第36師團、獨立混成第3、第4、第9旅團各一部，總兵力5萬餘人。這是抗日戰爭時期，日軍對山東敵後抗日根據地發動的規模最大的一次「掃蕩」。
10月底，日軍向沂蒙山周圍地區集結。其部署是：以第32師團和獨立混成第10旅團主力集結於新泰、蒙陰、平邑、費縣地區；以第21師團、獨立混成第5、第6旅團主力集結於沂水、莒縣地區；以第17師團主力、第36師團一部集結於臨沂地區，對沂蒙山區構成合圍態勢。
為了鞏固山東抗日根據地，加強山東地區的軍政領尋和統一作戰指揮，中共中央和中央軍委於9月13日指示，山東縱隊、第115師軍政委員會合組為山東軍政委員會，羅榮桓任書記，山東縱隊歸第115師首長指揮。
10月7日，山東軍政委員會根據日軍對魯中「掃蕩」的動向發出緊急指示，指出敵有集中更優勢兵力，以沂蒙區為中心，對山東進行長期「掃蕩」的可能，要求全區黨政軍民緊急動員起來，開展全面的群眾性的游擊戰爭，採取內外線相結合的方針進行反「掃蕩」作戰。13日，第115師也發出反「掃蕩」作戰準備的指示，要求軍區、軍分區立即劃定地方武裝及游擊小組的作戰地域；所有黨政軍機關有計畫地分散，加強對反「掃蕩」鬥爭的領導，主力部隊靈活地襲擊敵之翼側和後方交通線與據點。
11月2日，山東軍政委員會針對日軍的合圍企圖決定：中共山東分局和第115師直屬隊適時轉移至魯南地區；山東縱隊直屬隊轉向泰山區；山東縱隊第1旅主力轉向敵合圍圈外圍，待機作戰；抗大第1分校轉向泰安、泗水、寧陽地區，魯中軍區及備軍分區和縣區武裝就地領導民兵堅持鬥爭；活動於魯中區附近的教導第1旅和山東縱隊第2、第3、第4、第5旅等部，分別在濱海南部和北部、膠濟路沿線及新泰以東和煙台一帶，積極開展攻勢，配合沂蒙山區反「掃蕩」作戰。
11月2日，日軍開始向沂蒙山區壓縮和封鎖，北面日軍400餘人於4日拂曉偷襲駐馬牧他的山東縱隊指揮機關。山東縱隊指揮機關遂分散向東轉移，至沂水西北的南牆峪，復遭日軍合圍，經激戰後，轉移至新泰西南之石萊一帶，跳出日軍的合圍圈。
5日拂曉，日軍第12軍主力由四面一起開始進攻。其中，日軍以2萬餘人的兵力，在飛機、坦克配合下，分11路向中共山東分局、第115師師部等領導機關所在地區進行大合圍，並以重兵由北向南進攻。同時，根據以往「掃蕩」時八路軍多向濱海地區轉移的規律，在沂河沿岸河陽、葛溝一帶預伏重兵，布成口袋，企圖待八路軍向東轉移時予以圍殲；在西面津浦路上，構築碉堡，加強戒備，防止八路軍西撤。面對日軍的「鐵筒包圍陣」，第115師首長決定向西南方向突圍，轉移至日軍兵力較為薄弱的費縣東北地區。
5日黃昏，中共山東分局和八路軍第115師等領導機關5000餘人，在僅有1個營兵力的掩護下開始突圍。6日拂曉，順利地從留田西南鐵山子附近東西不過1.5公里的間隙中，迅速隱蔽地通過第一道封鎖線；接著，又在一個25公里的間隙中，隱蔽地通過了第二道封鎖線，安全到達蒙山南端的護山莊地區，跳出了日軍的合圍圈。
日軍合圍撲空，即以一部兵力在根據地內建立臨時據點，對根據地基本區實行嚴密的分割和封鎖，其主力則繼續尋找八路軍主力作戰。8、9兩日，日軍一部合擊蘆山，魯中軍區司令部遭到襲擊，軍區司令員劉海濤犧牲。
12日，進入魯中沂蒙山抗日根據地的日軍轉入分區「清剿」，將沂蒙山抗日根據地分為4個「清剿」區：一是以南牆峪為中心的北蒙山區，一是以孫祖為中心的南蒙山區，以上兩區為「清剿」的重點；其次是以銅井、界湖為中心的東蒙山區和以朱滿為中心的西蒙山區。日軍每「清剿」一地，即挨戶搜查根據地的黨政幹部和失散人員及傷病員，對根據地基本區實行「三光」政策。許多村莊被洗劫一空，大批村莊被燒成一片廢墟。日軍還趕修臨時公路網，嚴密分割封鎖根據地，以限制八路軍主力機動，為長期控制沂蒙山區作準備。
為粉碎日軍的「清剿」，保衛根據地，第115師除令教導第2旅、山東縱隊第2旅主力在外線濱海區積極破襲日軍公路、據點外，中共山東分局和第115師師部又率山東縱隊第2旅、蒙山支隊、抗大第1分校各一部返回沂蒙基本區，配合當地游擊隊和民兵，打擊日軍的「清剿」、「搜剿」分隊，鎮壓漢奸，支援廣大群眾在內線堅持鬥爭。
14日，日軍集中7000親人兵力，反覆合擊蒙山西部地區。為判明日軍「掃蕩」動向，中共山東分局和第115師領導機關進至東西蒙山之間的大谷台。17日午後，日軍從空中偵察發現後，即對大谷台進行合擊，中共山東分局和第115師領尋機關遂東越臨（沂）蒙（陰）公路，進入沂蒙山基本區的北材，指揮內線部隊在垛庄、綠雲山等地，以伏擊、襲擊，阻擊等戰術打擊分散「清剿」之敵。同時，抽調大批幹部分赴各地，領導群眾開展抗日游擊戰爭。
30日，中共山東分局和第115師領導機關轉移至大谷台以南大青山時遭日軍合擊，受到很大損失，山東省戰時工作委員會秘書長陳明、第115師敵工部副部長王立人、國際友人德國記者希伯、山東縱隊直屬第3團政治委員劉濤等犧牲。
12月4日，第115師直屬隊及蒙山支隊又在瓦城子一帶再次遭到合擊。為了保障安全和不問斷地指揮作戰，中共山東分局和第115師領導機關遂再次轉向外線，進入天寶山區，內線作戰部隊由遲回坦埠地區的山東縱隊統一指揮。12月11日，山東縱隊領導機關在蒙陰以東的高湖地區遭日軍合擊，山東縱隊宣傳部長劉子超等犧牲。
12月上旬，日軍第12軍除留少數部隊建立據點，扶植偽軍，鞏固其佔領區外，以部分兵力分別對天寶山和濱海區進行「掃蕩」，掩護其主力撤退。根據地軍民以廣泛的群眾性游擊戰不斷襲擊殘留在根據地內的日偽軍。23日，日軍主力分路撤退，八路軍乘機反擊，收復村鎮。至28日，基本恢複沂蒙山區抗日根據地，反「掃蕩」作戰結束。
在將近2個月的反「掃蕩」中，八路軍共作戰150餘次，殲敵2000餘人，打破了日軍的「鐵壁合圍」，保存了有生力量，堅持了沂蒙山區的抗日鬥爭。但根據地軍民也付出了重大代價。八路軍傷亡1400餘人，群眾被殺害或被抓走1.4萬餘人，損失糧食160餘萬斤，基本區四分之一以上的房屋被燒毀經過此次「掃蕩」，日軍將台（兒庄）濰（坊）、臨（沂）蒙（陰）、沂（水）臨（沂）等公路打通，在沂蒙區增加了近70個據點，從而構成對八路軍根據地的嚴密分割封鎖。