延安成了中共中央所在地和陝甘寧邊區的首府，共國兩黨實現合作抗日建國，蔣介石的國民政府承認陝甘寧邊區作為國民政府管轄的一個特區。但是蔣介石並沒有放棄吃掉共產黨，取消邊區，消滅革命力量的野心。陝甘寧邊區四周國民黨軍駐紮得滿滿的，對邊區形成包圍態勢。蔣介石將較同情共產黨的東北軍、西北軍調離陝西，把他的嫡系胡宗南調來陝西布防邊區南面，西邊有馬鴻逵，北面有二十二軍和傅作義的軍隊，共約30萬兵力，東面日軍陳兵黃河東岸，虎視眈眈。中國共產黨也清楚地認識到實現國共合作，鞏固和發展統一戰線，保衛中共中央和抗日民主策源地——陝甘寧邊區的安全，並「造成抗日和民主的模範區」，沒有強大的武裝力量，沒有槍杆子是不可設想的。正如毛澤東說：「槍杆子裡面出政權」。「軍人是國家政權的主要成分，誰想奪取國家政權，並想保持它，誰就應該有強大的軍隊。」高崗在邊區工作中把毛澤東的這一英明論斷落到實處。
1937年7月17日開始，國民黨以蔣介石、張沖、邵力子為代表；中國共產黨以周恩來、博古、林伯渠為代表，經過多次談判均無結果。在上海吃緊的情況下，蔣介石被迫同意中共的條件，最後在廬山達成協議，將工農紅軍改為國民革命軍第八路軍，隸屬國民黨軍委會。中共中央軍委於8月25日發布命令，紅軍改編為八路軍(後稱十八集團軍)，下轄三個師，即一一五師、一二0師(以陝北紅軍和一方面軍部分改編的)、一二九師，共4萬多人(一說3萬多)，實際大於這個數字。紅軍改為國民革命軍八路軍時，一些人對更換著裝、領章、帽徵等接受不了。高崗親自給一些幹部戰士做工作。他說：「我們共產黨和紅軍，要解放全中國是實質，是紅軍的目的，改個名堂，換個帽子，變不了我們的心是紅的。為了打日本，救中國，改個番號，換個著裝，有利於抗戰，沒有改變性質，別在感情上通不過去……」
紅軍主力改編時，將一部分地方武裝改編為八路軍和充實了主力，其中有些作為八路軍留守處部隊，一部分改編為保安部隊。但是，八路軍主力改編後，開往抗日前線作戰，邊區的留守處部隊(一二九師的七七0團，一二0師的七一八團)和保安部隊，數量少，裝備差，素質低，而任務卻很繁重，遠不能承擔後方保衛的任務。當時，國民黨政府不給留守部隊番號，也不委任領導，企圖取消邊區的武裝力量。
1937年5月，陝甘寧特區成立，中央軍委決定成立保安司令部，任命高崗為司令員。9月6日，陝甘寧邊區政府成立，保安司令部正式對外宣布。高崗仍任保安司令部司令員、政治委員兼公安處長，譚希林為參謀長，呂振球為政治部主任，統領地方武裝和保安部隊。
從此，高崗擔任著用槍杆子保衛黨中央、保衛邊區、保衛革命勝利果實和人民既得利益，保衛抗戰大後方建設的重任。他根據毛澤東「重新編製保安部隊，肅清漢奸和搗亂分子，造成抗日和民主的模範區」的指示和洛川會議決定「擴大紅軍」的精神，集中全力抓緊整頓和擴建保安部隊，加緊培養訓練，提高戰鬥力，以適應大部隊開上前線後，加強鞏固抗日根據地需要，著手發動群眾，動員參軍，擴大八路軍留守處部隊和保安部隊，改造赤衛軍組織。其間，收留一部國民黨軍一些散兵游勇和小股起義隊伍，擴充紅軍。如高崗派慕生忠到綏德收編國民黨吳堡一支暴動隊伍，時自稱「黑軍」(內有各聯保武裝)遂改編為抗日游擊隊並委任領導。
他按照地方部隊、游擊隊和警衛部隊的戰鬥力和政治素質等情況，分別改編為保安基幹大隊、縣保安大隊和警衛隊。首先組建起關中、慶環、三邊、神府和延屬等保安司令部(後稱警備司令部)和10個基幹保安大隊，23個縣均建立保安大隊和若干警衛隊以及加強騎兵團、教導營等部隊，還整組起3萬多人的一支基幹自衛軍。
保安部隊肩負著肅清邊區內土匪、漢奸，保衛黨中央，保衛邊區，保衛人民生命財產安全，並隨時準備同日軍作戰的任務。他們除了獨立作戰以外，還承擔配合八路軍作戰，為八路軍留守部隊輸送幹部和戰士的任務。
1937年冬，為適應剿匪和抗戰的需要，黨中央將邊區地方部隊統一整編為8個警備團和騎兵團，以利指揮和擴大隊伍。之後在綏德、佳縣、吳堡、清澗等地設警備司令部。八路軍留守處改為留守兵團司令部(對外仍稱留守處)。留守部隊擴編2500人，高崗從自衛軍動員一些人蔘軍外，大部分是保安部隊輸送的。同時，保安司令部決定：擴充保安隊4000人，從11月開始到12月中旬完成任務。邊區第二次黨代會上又作出擴大3500名軍隊的決議。到1940年保安部隊和留守部隊達3萬多人。這支部隊參加戰鬥都與保衛家鄉相聯繫，多數打仗在本地區，人情地形熟悉，便於發揮優勢，戰鬥力較強。所以，保安部隊是地方政權的直接依靠力量，為鞏固政權，保衛抗日民主根據地模範區建設，維護社會秩序發揮了支柱的作用。
1938年1月28日，高崗向中央書記處報告了保安部門和部隊整頓的情況。毛澤東聽後指示：保安部隊應受保安司令部統一指揮。在組建保安部隊的同時，加強自衛軍的建設，高崗親自主持起草，經邊區黨委作出《關於改造赤衛軍的決定》，指出將原來赤衛軍改編為抗日自衛軍。他還制定《陝甘寧邊區抗日自衛軍組織條例》，由邊區政府和保安司令部聯合發布命令，頒發了《條例》。條例明確規定，「抗日自衛軍系邊區內半軍事性質的群眾性抗日武裝組織，同時是抗日的後備軍。」配合保安部隊或單獨負責消滅漢奸、土匪，搜索零星土匪，捕捉偵探，擔任警戒，設置盤查哨，偵察敵人，遞送情報，進行抗戰訓練，戰時擔負有關軍事工作。
自衛軍組建以延安縣為典型，5月間，舉行了自衛軍檢閱，3000多名自衛軍參加，高崗在檢閱會上作了報告，宣布了《條例》和《決定》。
自衛軍以班排連營建制，以營為最高單位。每個自衛軍隊員都自備一件武器。保安司令部給發一部分槍支等武器，到1938年底，參加自衛軍的人數達22萬之眾。其中組建了3萬人的模範自衛軍和4萬基幹自衛軍。全邊區的村、鄉、縣都建立起自己的自衛軍組織，並給前方部隊和留守處部隊輸送了7000多名戰士。之後，又組織起少先隊28萬人。參加自衛軍和少先隊的人數佔全區總人口的四分之一，真正做到了全民皆兵，召之即來，來之能戰。到抗戰後的45年全區有3萬人蔘軍作戰。
在大部隊開赴前線的情況下，這支強大的地方人民武裝力量，既是保衛邊區安寧的主要支柱，又是我黨獨立自主、統一戰線和鞏固政權的基礎，也是抗日武裝力量的一個重要組成部分。
為了提高保安部隊和自衛軍的戰鬥力和政治素質，保安司令部加緊進行練兵習武，提出「任務重於生命，服從組織第一」的口號。採取官教兵、兵教官，互教互學的群眾路線訓練方法，經常整頓組織、政治教育和軍事訓練，不斷提高軍事素質和政治覺悟，加強了紀律性。在自衛軍中重點培養了基幹自衛軍隊，使之平時維持地方秩序，參加生產，戰時配合部隊打仗，有時完全脫產，隨部隊戰鬥，既是戰鬥隊又是生產隊。保安部隊和這樣一支強有力的地方「土八路」，經過整組訓練，組織性、紀律性和戰鬥力不斷提高，從抗戰開始，到抗戰勝利的艱苦歲月里，這支部隊在配合主力部隊，打擊日寇，保衛邊防，保衛河防，反擊摩擦，保衛政權和剿匪肅特、維護地方治安等方面發揮了重大作用。保衛了大後方，支援了大前方。正如陳雲說的「現在的陝甘寧邊區，如果沒有留守兵團和保安部隊，我們也就不能在這裡存在，早就被人家趕跑了。」他還說：邊區的群眾是有革命傳統的，對黨中央是全心全意擁護和支持的，有很高的政治覺悟和抗日熱情。但是，「我們要注意群眾的切身問題，幫助他們解決困難，這是發動群眾的關鍵。」「群眾切身利益解決不好，擴大軍隊就困難，甚至會影響軍隊的鞏固。」
為了發展和鞏固武裝，在邊區黨代會和參議會上，高崗主持起草並拿到會上討論通過了：關於根絕土匪、漢奸、擴大地方武裝案、擁護八路軍的決議，優待抗日軍屬案等法規文件，為發展和壯大武裝部隊提供了法規依據。
1942年5月中央軍委決定在延安成立陝甘寧晉綏聯防司令部，統一陝甘寧綏和晉西北兩個區域的軍隊指揮。賀龍任司令員，高崗任副政委，代理政委(政委關嚮應養病)，徐向前任副司令兼參謀長，林楓任副政委。一二0師、留守兵團、晉西北新軍、三五九旅、邊區保安部、炮兵團等統歸聯司領導和指揮。保安部隊編人正規部隊，在邊區的總兵力近4萬人。6月又成立陝甘寧和晉西北兩地區財政經濟委員會，高崗任財委委員，主任林伯渠。中央規定聯防司令部和財經委員會的職能：一、統一晉西北與陝甘寧綏兩個區域的軍事指揮和建設；二、統一兩個區域的財政經濟建設；三、統一兩個區域