陝甘紅軍初建時，沒有武器，軍事活動全靠打入軍閥內部做士兵和下級軍官工作，發展地下黨組織，學習軍事，培養幹部，伺機舉行兵暴，奪取武器，建立自己的武裝。
1929年春，在南昌和秋收起義並在井岡山建立根據地的影響下，陝北特委在榆林城北雄山寺翠然閣(即紅石峽)召開特委擴大會議，決定發動武裝起義。會議批判了特委負責人楊國棟的右傾、消極錯誤。會議決定今後黨的工作，重點由農運、學運轉移到兵運上來，集中力量抓武裝鬥爭，劉志丹擔任軍委書記。會後，劉志丹到延安視察，在延安黨組織的秘密機關——劉希向家裡召集彙報會。高崗、李馥華向劉志丹彙報了情況，馮世光、劉希向、吳鴻濱、杜守智、高鵬飛等參加會議。劉志丹在會上傳達了紅石峽會議「黨員到軍隊去，在西北培植革命的軍事基礎」的精神，主要講了趁著救災抓緊建立游擊隊，開展陝北游擊戰爭。他說，毛澤東、朱德在井岡山創建工農紅軍，開闢根據地，就是中國革命的道路，也是陝北人民鬧革命的道路；把農運、學運轉移到兵運工作上來，要求黨員同志們，奪取反動派的武裝以建立地下游擊隊，想辦法籌款，抓豪紳索款。劉志丹傳達的精神正中高崗的心意，如同久旱逢甘霖。高崗在會上說：革命非抓槍杆子不行，打進敵營拉來槍，槍杆子和農民結合，掌握武裝，打擊敵人，否則沒有出路。我們打進敵人內部的方針是「鑽進去，站住腳、爬上去，拉出來」。他還說：「咱陝西地區和毛澤東講的情況一樣，打倒帝國主義，打倒軍閥，打倒劣紳，是國民革命的主要任務」。會議對延安地區工作進行研究部署，決定延安地區總負責人李馥華併兼管延安縣工作；延長縣由馮世光負責；洛川縣王世泰負責；保安縣曹初本負責；黃龍縣李象九負責；甘泉縣薛太來負責。高雙成部負責兵運的有高崗、李含芳、高鵬飛等，亦稱軍事組。會議之後，在國民黨延安高雙成部負責兵運工作的高崗、李含芳等，在高崇義的小店裡和劉志丹一起研究了兵運工作，決定在高雙成部搞一次兵變，暴動勝利後，將部隊拉到保安縣二將川地區打游擊。
高崗是高雙成部地下軍事組負責人，他利用擔任旅部的司書為掩護，領導軍事組和部隊地下黨員一起，積極發動兵變。高崗為給地下游擊隊送武器，取得高雙成同意派兵出去「巢匪」的隊伍以失利為名給地下武裝隊送了武器彈藥，並以「被俘」而拉走了部隊，準備配合、接應延安兵變，少數人逃回延安報信，高崗又假意向高雙成做安慰工作。同時，他以旅部司書(團附)的身份，廣泛接觸了國民黨八十六師來往的上層人物，拉扯關係，開展統戰工作，為後來抗戰時期延安同榆林國民黨二十二軍實行抗日統一戰線打下基礎。
其時，橫山反動鄉紳，勾結政府和軍隊，到處捕捉高崗未獲，使盡卑劣之手段，以捏造高崗當「土匪」，在家裡私藏槍支為罪名，逮捕了高崗的叔父高仲魁、高仲發作人質，押送橫山公安局下獄。公安局令其找回高崗，並誘囑高崗回來可以委以重任，否則嚴懲他二人。他叔父將情況寫信託人轉告高崗。高崗接到信，未看完就勃然大怒，將信扯的粉碎，並連聲說：「難道我革命了幾年，再去當反革命？辦不到！」「革命就不能纏綿留戀了。」表現出了堅定的革命情操和共產黨員的氣節。
高崗打入高雙成部期間，除和李含芳(時任營長)、李妙齋(即王之憲）、劉景明等地下黨員，秘密組織發動兵變外，他還到延安四中搞學運，利用到學校打籃球，踢足球等活動，廣泛交朋友。他通過工友姚安吉(共產黨員)在學校發展黨員，策劃學潮，宣傳革命，以策應兵變，結識一些學校知識分子朋友，利用學校油印設備，親自刻臘板，印發上級來文來信，宣傳資料，和各縣支部聯繫，供給地下游擊隊宣傳資料。他和姚安吉建立了深厚的革命友誼，他們倆經常在一起交談工作，搞宣傳，姚叫高崗回老家時，到鎮川買點干爐嘗嘗，「聽說你們那裡干爐好吃」。
這年冬季，高崗在高雙成部發動組織兵變，已經有把握了，還聯繫安塞地區西河口、高橋、鐮刀灣地下游擊隊和哥老會配合拉出隊伍，奪取武器。在關鍵時刻，被叛徒出賣，說出高崗是共產黨，策劃部隊嘩變……破壞了延安兵變計畫。高雙成下令逮捕高崗等共產黨員和進步人士。高崗即找本城人姚安吉，他說：「黨內出了叛徒，我已被出賣，部隊決定抓我。」姚安吉及時把高崗藏在城北角王檯子農民劉勝華(共產黨員)家裡，白天不敢出門。三個城門關閉，城牆戒備森嚴，出入行人辨認，盤查極嚴，「抓捕高麻子」，城內捉拿高崗的風聲越傳越大。姚安吉以炊事員不打眼的身份，假借買菜、買柴的機會，觀察哨位和城牆的高低，選擇在清涼山對面延河畔的一座祠堂跟前城牆底有個污水洞，跟底堆積很多垃圾，洞口安幾根鐵柱，石頭多年腐蝕，鐵柱子夾的不緊。一天晚上夜深人睡後，姚安吉拿火柱將石縫挖寬，把鐵柱板斜，高崗從污水洞爬出去。這是高崗五次大難不死、死裡逃生的第二次。延安區委被叛徒出賣，慘遭破壞，大部分黨員逃跑，有的被捕，有的自首，有的被殺，全城一片白色恐怖。共產黨員王志環(時任高雙成部連長)和他的妻子王彩雲(時任地下黨聯絡員)因給地下黨通信慘遭殺害。區委遭破壞，兵變失敗，各縣支部都處於癱瘓狀態。
楊芝芳逃荒到延安後，高崗安排住在一家姓史的大戶院，她從橫山帶下去的兒子不服水土而夭折。高崗逃出城，托武善揚(橫山武鎮人)連夜把楊悄悄帶走，連房東也沒告訴。楊芝芳是小腳女人走長路困難，高崗用身帶的錢買了一匹馬，將楊芝芳送往安定縣。由於不敢走大路，繞山路走，馬在路上打滑掉入泥灘溺死。他們徒步到新窯灣周生華家住兩天，楊芝芳由武善揚送到武家坡的楊家峁娘家住。高崗路過安塞和胡立亭、薛應昌(後叛變)等將地下游擊隊(時誣為土匪)帶往保安二將川找到劉志丹，一起開展革命活動，策動兵變，抓槍杆子，發展武裝。敵人得悉新窯灣住高崗親戚，連續兩次到周生華家裡捉拿，周家人到山裡躲藏，家裡被洗劫一空。
共產黨人劉志丹、謝子長、高崗等學習了南方毛澤東、朱德領導的游擊戰爭的經驗，總結了清澗、渭華、旬邑、延安等地多次武裝兵變失敗的教訓，堅持正確的方向和道路，在陝甘邊交界地區，全力發展共產黨自己掌握的武裝。
1929年秋至1930年春，馮玉祥同閻錫山結為反蔣聯盟，爆發了蔣馮閻中原大戰，馮玉祥將他的嫡系部隊調去參戰。期間，西北各省軍閥都為自己擴充勢力奔波。國民黨甘肅軍閥蘇雨生騎兵四師為擴充勢力，新編了兩個旅即八旅、九旅，到處招兵買馬。陝北特委趁蘇雨生擴軍的機會，先後派高崗、張東皎、賀晉年、張秀山、高崑山、曹華山、白天齊、曹炳奎、史法直、常煥章等50多名共產黨員和革命青年，前往寧夏平羅縣的李崗堡、姚福堡谷連舫、石子俊部當兵，開展黨的地下活動和兵運工作，準備奪取槍杆子，拉走隊伍，到橋山山區打游擊戰爭。謝子長、劉志丹先行前去並擔任九旅副旅長和八旅十六團副職。接著，張東皎等返回陝北與井岳秀為聯繫擴軍問題，又帶去吳世才、李友竹、李貴春、魏長春、魏長城等黨團員、青年到八旅十五團，該團轄四個連隊都有黨團員，全是陝北來的。高崗、張東皎被派到石子俊旅較同情共產黨的王子元十五團，建立了一個學兵大隊(即教導隊)，十五團副團長張東皎兼任大隊長，高崗任副大隊長兼分隊長，李友竹任司務長、黃育華任秘書，盧子元、常柴良、牛化東等講軍事課。他們在學兵隊建立了秘密中共地下黨的特別支部(亦稱軍委)，張東皎、高崗任正副書記，受陝北特委領導。不久，劉、謝離開蘇雨生部。張東皎、高崗領導下，在蘇雨生部開展革命活動，巧妙地運用了統一戰線的策略，利用親友、社會和軍隊中的關係，和其他國民黨軍隊活動，進行爭取、改造和分化工作，建立秘密組織，發展楊林，曹勝榮、李向明、李仲英等為黨員，靈活的利用軍閥軍隊中及社會各階級矛盾來為革命服務，更重要的是學兵隊員通過活動和聯繫，學會了做統戰工作的方法，結識各方面的人士，培養和鍛煉了一批幹部。他們組織黨員和青年，聯合和支持比較進步的以及危害較小的勢力來打擊最反動的力量。比如利用當時較開明的陳圭璋的力量，反對陝甘邊最反動的惡霸張廷芝團(是石子俊旅的十六團)。在張東皎、高崗的領導下，學兵隊政治文化生活很活躍，經常舉辦學習會，討論會，講政治課，討論共產主義，唱革命歌曲，組織秧歌隊，還寫詩作畫，頌揚勞動人民，揭露反動派剝削百姓，壓制士兵的罪惡行徑。學兵隊官兵平等，互敬互愛，同軍閥剋扣軍餉打罵士兵的狀況形成鮮明對照。
1930年夏，蘇部奉馮玉祥令移防平涼，走到半路上，平涼已被陳圭璋部佔領，蘇部的八、九旅返回寧夏時，又受馬鴻賓部打擊，該部南下無路，北上受打，感到跟蘇雨生已無前途，在寧安堡宣布脫離蘇部，並收繳了蘇部的軍械處的一些破爛武器，上了羅山。大家