在115師「分家」後的第二天，聶榮臻又來到不遠處的八路軍總部，希望總部幫助解決幹部奇缺的問題。
八路軍副參謀長左權同聶榮臻很熟。1925年他在黃埔軍校教導團當排長、連長時，聶榮臻是黃埔軍校政治部的秘書兼政治教官。1933年，左權調任紅1軍團參謀長，聶榮臻已是紅1軍團政治委員。所以，左權對自己的老上級很是支持。他提議說：「是不是把唐延傑調去當晉察冀軍區參謀長，他在總部先當作戰處處長，現在是副官長。」
聶榮臻說：「唐延傑我認識，他原是安源的礦工，大革命時還是我分配他去獨立團當的兵，以後在紅28軍當參謀長，這個人可以。」
左權很快把唐延傑叫來，告訴要他擔負新的任務。
唐延傑感到有些為難：「我怕勝任不了參謀長的職務吧。」
「怎麼勝任不了，你過去當過軍參謀長，現在缺人，先幹起來再說吧！」聶榮臻信任地說道。參謀長有了，聶榮臻又提出缺政治部主任。於是，他找到了八路軍總政治部主任任弼時和副主任鄧小平。
任弼時同鄧小平商量：「是不是把舒同調去擔任此職？他現在是總政治部秘書長，字寫得很好，曾被毛主席譽為『馬背書法家』哪，目前正率工作團在五台、定襄一帶開展工作。」然後，他又問聶榮臻：「你看怎樣？」
聶榮臻滿口答應。
幹部問題慢慢有了眉目，聶榮臻頓感兵力太少，他的「家底」只有3000人。在這麼大的區域創建根據地，這點兒「家底」是遠遠不夠的。他同大家商議：「要創建根據地，必須首先發展武裝工作。沒有武裝，一切都談不上。現在我們只有用『滾雪球』的辦法來發展。你們看這3000多人『滾雪球』怎麼個滾法？」
舒同說：「9月間，我帶工作團在五台、定襄一帶做發動群眾的工作，王逸群、洪水、羅亦經等同志在繁峙一帶發動群眾，看到這裡的老百姓抗戰熱情很高，犧盟會做了很多工作，有些地方還有黨的基層組織，只要有支主力部隊作骨幹，就可以開展游擊戰爭。」
聶榮臻點頭同意。他想了一會兒說：「趙爾陸同志不是率領八路軍總部特務團直屬隊和部分部隊留下了嗎？就讓他在那裡開闢冀晉邊界地區的工作好了。楊成武同志的獨立團已經在北部地區收復了廣靈、靈丘、渾源、蔚縣、易縣等地，可以作為一坨坨，開闢冀察邊界地區的工作。羅榮桓同志告訴我，他在阜平等地活動時，阜平還成立了戰地動員委員會，由王平同志任主任，這裡已經有了初步基礎，同樣可以成為一坨坨。我們可以把這三大塊先定下來，開展工作。」
他接著講：「聽左權同志說，八路軍總部已派周建屏、劉道生同志率領一支小部隊，到平山、壽陽一線平漢路和正太路交界地區活動，工作很有起色，將來也可能成為一坨坨。我們『滾雪球』就先這樣滾吧。」
經過反覆商議，大家都同意聶榮臻的意見。
1937年11月7日，也就是太原失守的前一天，晉察冀軍區在五台縣石嘴的普濟寺正式宣告成立。
這一天，五台縣城大街小巷到處張貼出晉察冀軍區成立的布告，普濟寺慶祝大會的會場上涌動著花花綠綠的小紙旗。38歲的聶榮臻，風紀扣扣得緊緊的，正在用濃重的四川口音宣讀中共中央軍委命令：聶榮臻任軍區司令員兼政治委員，唐延傑任參謀長，舒同任政治部主任，查國楨任供給部部長，葉青山任衛生部部長。接著，他又發表了熱情洋溢的講話，動員大家共同抗日。
老鄉們則以熱烈而又新奇的目光注視著這位高高的個兒、既威嚴又和藹、被稱為「聶司令員」的八路軍將領，興奮地交頭接耳。
晉察冀軍區成立後，各部加緊收集槍支彈藥，動員群眾參軍，改編雜色武裝工作，做得有聲有色。
11月13日，經八路軍總部批准，晉察冀軍區以在北部、西部、南部和東部的部隊和工作團為基礎，分別組建第1軍分區、第2軍分區、第3軍分區和第4軍分區，各軍分區主力部隊均整編為支隊，每個支隊（相當於團）轄3個大隊，每個大隊（相當於營）轄3～4個中隊。
第1軍分區兼第1支隊，轄第1、第2、第3大隊，司令員楊成武，政治委員鄧華。該軍分區以原115師獨立團為骨幹組建。活動範圍包括淶源、廣靈、蔚縣、易縣、繁峙、靈丘等27個縣，稱為冀西北區。
第2軍分區兼第2支隊，轄第4、第5、第6大隊，司令員兼政治委員趙爾陸。該軍分區以八路軍總部特務團為骨幹組建。活動範圍包括五台、代縣、崞縣、定襄、忻縣、盂縣等9個縣，稱為晉東北區。
第3軍分區兼第3支隊，轄第10、第11、第12大隊，司令員陳漫遠，政治委員王平。該軍分區以115師騎兵營為骨幹組建。活動範圍包括阜平、唐縣、完縣、曲陽、新樂、定縣、望都等7個縣，稱為冀西中部地區。
第4軍分區兼第4支隊，轄第7、第8、第9大隊，司令員周建屏，政治委員劉道生。該軍分區以115師第685團2營第6連為骨幹組建。活動範圍包括晉東北、雁北、直西和冀察邊等地區。