「百團大戰」第一階段宣布勝利結束、各參戰部隊轉入休整的當天，中共中央發出了《中央關於時局趨向的指示》和《中央關於「擊敵和友」的軍事行動總方針的指示》兩個重要文件，要求八路軍「應擴大百團大戰戰役行動」，並且提出擴大的方向和任務是「到那些尚未遭受打擊的敵人方面去用以縮小佔領區，擴大根據地，打破封鎖線，提高戰鬥力」。彭德懷、左權根據中央指示精神，著手制訂第二階段的破襲計畫。
還在對正太路破擊正酣的時候，彭德懷、左權等就按照毛澤東來電提出的「像這樣的戰鬥是否還可組織一兩次」的希望，開始考慮「在正太不能繼續堅持作戰或已徹底完成正太戰役任務之情況下，我之行動方針」問題，曾提出：「乘勝開展正太路兩側之戰鬥，去收復敵深入各該根據地內之某些據點」的設想。
中央9月10日發出新的指示後，彭德懷、左權進一步分析敵情我情，經過一連數日的運籌謀劃，於9月16日發出了以朱、彭、左署名的百團大戰第二階段作戰命令。命令指出：第二階段的作戰基本方針是：繼續破壞敵寇交通，克複深入我基本根據地內之某些據點，作戰於9月20日開始，具體部署是：
——120師以截斷同蒲路北段交通為目的，集結主力破擊寧武、軒崗段同蒲路而徹底毀滅之。——晉察冀軍區以開展邊區西北方面工作為目的，應集結主力破壞淶源、靈丘之公路並奪取該城（主要是淶源），並以有力部隊在同蒲路東側積極配合120師之作戰。
——129師以收復榆社、遼縣為目的，開展榆遼地區鬥爭，並以一部分兵力不斷破擊白晉路北段。
——晉察冀與129師原留正太路沿線行動之部隊不變，並積極阻撓敵我之修復鐵路。
命令還就冀中、冀南、挺進軍等部隊的作戰部署提出了具體要求。
第二階段作戰，八路軍各部主要進行了淶靈戰役、榆遼戰役、同蒲路寧武南北段破襲戰役、任（丘）河（間）大（城）肅（寧）戰役，破襲德石路、邯濟路戰役等。
第二階段作戰結束時，彭德懷、左權、羅瑞卿、陸定一等八路軍總部和野戰政治部領導人，曾計畫再組織一次大規模的進攻，以便繼續擴張勝利，鞏固華北抗日根據地，進一步吸引敵人，爭取全國時局的好轉。他們在10月2日的電報中向各兵團提出了這一任務，並要求各兵團做好相應的準備。
可是，八路軍總部的具體部署還沒有做出，新的大規模進攻的命令還沒有下達，敵情卻發生了重大變化。10月6日，遭受沉重打擊的日本華北方面軍，在修復好被八路軍突襲的鐵路後，窮凶極惡地開始了「報復」，集中兵力向華北山地和平原抗日根據地進行多路殘酷的報復性「掃蕩」，瘋狂地向各戰略區反撲，對根據地實行「三光」政策，見人即殺，見屋就燒，見糧就搶。
日軍的殘酷報復使八路軍「百團大戰」在第一、二階段之後再組織一次大規模進攻的計畫已無法實現，彭德懷等八路軍總部領導人遂果斷放棄10月2日提出的「於近期內在一個命令下再作大規模的進攻」的設想，彭德懷遂命令部隊停止休整，轉入第三階段的反掃蕩作戰。
10月19日，彭德懷、左權發出《百團大戰後反「掃蕩」計畫》，就「百團大戰」結束後日軍「掃蕩」的動向和各兵團反「掃蕩」的作戰任務，作了明確指示。
「百團大戰」雖然於10月10日隨著第二階段的結束而結束，但八路軍總部、野戰軍政治部當時發布的文告、指令、戰報、戰績以及延安和各抗日根據地報紙、廣播的宣傳報道，並沒有公開宣布「百團大戰」結束，反而把10月11日開始的連續55天的反「掃蕩」作戰又列為「百團大戰」的第三階段。這是為什麼呢？
這實際上是策略上的需要。
「百團大戰」進行期間，日軍大本營陸軍部建議內閣制定所謂「大東亞共榮圈」的施策綱領，積極研究南進作戰計畫，並派兵佔領了法屬印支北部。9月27日，日本正式與德國、義大利結成法西斯軍事同盟。英、美企圖利用中國抗戰來遏制日本南進，遂將它們犧牲中國利益的「東方慕尼黑」政策轉變為積極支持中國抗戰，而德、意為了利用日本在亞洲鉗制英、美，則極力促日本南進，並極力勸蔣介石對日妥協和加入德意日軍事同盟。蔣介石在日本誘降、德國勸降和英、美開始積極支持中國抗戰的新的錯綜複雜的國際形勢下，雖然一時下不了投降的決心，但在國內親日派陰謀家和內戰挑撥者的包圍壓迫下，也根本不打算政變消極抗戰、積極反共的路線，正暗中策劃新的反共高潮，企圖借日軍南進，調集重兵「掃蕩」八路軍、新四軍以鞏固其佔領區之機，與日軍配合，消滅共產黨及其領導的人民抗日武裝和抗日根據地。
針對國民黨蔣介石集團對日妥協、消極抗日，積極準備發動新的反共高潮的陰謀，中共中央提出了「穩健地對付國民黨的進攻，軍事上採取防衛立場」「政治上強調團結抗日」的對策，全黨中心的任務是反投降與反內戰。一方面，動員黨內外一切積極分子，運用一切可能的方法，向政府當局、向國民黨、向軍隊、向各黨各派各界，誠懇地說明：剿共就會亡黨亡國，投降必使全國人民陷入牛馬奴隸的境地，爭取蔣介石；另一方面，要求八路軍、新四軍的一切抗日根據地，必須堅持長期的獨立自主與自力更生的抗日戰爭。同時必須準備應付任何嚴重的反共戰爭，必須充分地準備著去粉碎日本與親日派聯合夾擊的陰謀。
正是由於這種全局鬥爭的需要，已在全國民眾中造成巨大聲威，使國民黨頑固派、親日派不寒而慄的「百團大戰」，沒有按實際結束的時間宣布結束。直到這年的12月22日，毛澤東、朱德、王稼祥還從延安給彭德懷發來這樣的電報：
「百團大戰對外不要宣布結束，蔣介石正發動反共高潮，我們當尚須利用百團大戰的聲勢去反對他。」
這再次說明，中共中央和毛澤東等中央領導人對「百團大戰」的肯定，同時也回答了「百團大戰」為什麼沒有按實際結束時間宣布結束的原因。