以南梁為中心的陝甘邊區革命根據地的創建、鞏固與發展，表明陝甘邊區的黨和紅軍領導的成熟和團結一致，由此奠定了西北革命根據地的統一和發展的基礎。劉志丹與高崗一道領導軍民在南梁重新燃起革命的燎原烈火，映紅了陝甘寧這塊土地。
照金根據地失掉後，包家寨會議決定以南梁為中心創建根據地，把紅軍後方機關移到南梁地區。高崗根據會議精神，著力奠基南梁創建新蘇區，發展壯大武裝。這一帶陝北難民很多，大都是1928年災荒後的貧苦農民到這落地求生，開荒種地，放牧為生。他們租種慶陽、合水地區地主的土地，給大戶放牧牛羊和攬工維持生活。他們對舊統治者深惡痛絕，堅決擁護共產黨、紅軍打富濟貧的政策。高崗、劉志丹對這一地區情況熟悉，特別是劉志丹人稱「活地圖」，他對每一條溝、每條嶺、每個村莊，都很清楚，甚至對各個村莊里住幾戶、多少人都清清楚楚。他們認為南梁一帶最適合作為紅軍的後方基地，於是率紅軍指揮部退出照金的薛家寨後，衝破了敵人的圍堵追擊，進軍到南梁地區。
為了打開局面，以南梁為中心創造根據地，部隊進至南梁後，師黨委決定兵分兩路，命楊森率騎兵團向西活動，打擊地方民團。高崗、王泰吉、劉志丹率主力三團向東挺進，到咸(陽)榆(林)公路，消滅沿線敵人和地方武裝。首先在甘泉縣道佐鋪消滅民團幾十人。隨後偷襲甘泉未克，劉、高率部轉由洛河川向北行進到葡萄溝門時，延安派出敵二五六旅一個營和200名多民團向劉、高的紅軍撲來。劉、高設伏擊圈，狡猾的敵人未進入伏擊圈而停止前進，伏擊計畫未實現，劉、高指揮三團反攻，打退了敵人的進攻。此次東行，雖未攻克甘泉和完全消滅來犯的敵人，但震住東面敵人不敢輕舉西進。劉、高決定率部返回南梁，紅三團和騎兵團在二將川會師。南梁地區有大小民團10多個，大的六七十人，小的四五十人，還有譚世鱗的騎兵營，張廷芝的新兵營，總兵力千餘人，他們勾結官府，佔山為王，稱霸一方，姦淫搶劫，無惡不作，名為民團，實為土匪。我軍在高崗、王泰吉、劉志丹的指揮下，對盤踞在南梁四周的地方反動武裝，展開左右掃蕩，先後消滅了荔園堡、閆家窪子、趙家溝門、新堡等地民團，拔除了這一帶的敵人據點，處決了慣匪頭子張廷芝的幫凶等反動傢伙，為民除了害，群眾拍手稱快。消息傳開後，周圍鑽進梢山的小股民團、土匪紛紛逃竄或投降紅軍收編，紅軍佔領梢山，站住了腳根，為建立南梁根據地奠定了基礎。
紅軍四十二師南梁休整時，在梁溝門召開師黨委和師部聯席會議，王、高、劉在會上講話，高崗在會上講話中指出，趁戰鬥空隙組織部隊，幹部配合幫助發展地方游擊隊，拔除敵人據點和清除散兵游勇，開展根據地建設。會議根據高崗的講話精神決定抓緊時機，加強後方根據地創建。會議決定，把傷病員安置在平定川、豹子川一帶治療養病。派一支留守隊看護，其他部隊以連、排為單位和幹部都到平定川、豹子川、大風川、白馬廟川、玉皇廟川、二將川、東華池、葫蘆河川等地宣傳群眾、組織群眾，組建第二路游擊隊。高崗、張策、習仲勛等挨門逐戶做群眾工作，訪貧問苦，啟發群眾的革命積極性，建立基層組織，發展黨員。
當時這裡的群眾覺悟低，又沒文化，對共產黨、愛國家、無產階級、紅軍認識並不十分清楚。我們的幹部也只能淺顯地解釋：共產黨是為人民謀福利的黨，無產階級就是窮的一無所有，每分一塊地就是共產主義，等等。這種解釋並不準確，但根據這裡的群眾覺悟水平只能如此。工作中，把消滅敵人，發動群眾，建立黨政組織，解決人民疾苦，分配土地，擴充武裝緊密結合起來。
1933年11月25日，南梁地區的第一個鄉蘇維埃政府成立。在二將川、東華池、葫蘆河川等農村建立起農民聯合會，把農民、手工業者、婦女組織起來，還組織起5個赤衛隊，約有1000多人參加，擔負站崗放哨送信，監視土匪惡霸，轉移傷病員，保護群眾等任務，積極配合主力紅軍和游擊隊作戰，發展、鞏固根據地。四十二師黨委根據高崗的提議，決定抽出一批幹部到保安、合水、慶陽等縣組織發展游擊隊，開展游擊戰爭，並利用各種關係派一些人打進敵軍和土匪中，開展分化瓦解工作。
荔園堡是南梁根據地中心地帶，是清朝末修築的土堡，後稱南梁堡，位於白馬廟川和玉皇廟川的交叉點，是南梁地區的交通要道，地理位置十分重要。堡子里駐敵張廷芝屬下的一個頭目——梁邦棟，號稱一個營，實際只是一個連。提起梁邦棟，這一帶的群眾恨得咬牙切齒。梁匪在南梁一帶給張廷芝拉丁搶馬，擴充勢力，催糧要草，專門對付紅軍，還暗地和土匪、流氓、強盜勾結一起，趁火打劫，姦淫婦女，禍害貧苦百姓。不拔掉梁邦棟這個釘子，紅軍別想在這裡站穩腳根，隨時會有地震的危險。
劉志丹、高崗一到南梁就謀劃消滅這股敵人，遂派了一個連長帶領一個排長、一個游擊隊長，前去荔園堡偵察地形和敵情。第二天天剛亮，劉志丹、高崗指揮紅軍包圍了敵人，槍聲大作，在幾分鐘內將敵人全部消滅，惡貫滿盈的敵營長梁邦棟被活捉。紅軍在荔園堡召開了公判大會，將作惡多端的梁邦棟五花大綁，押入會場。部隊領導例數梁匪的罪惡，會場群眾憤怒地高喊：「打死梁邦棟！」「槍打梁邦棟！」在群眾強烈的要求下，就地處決了梁邦棟。對俘虜願回家的釋放，願參加紅軍的經審查後參軍。荔園堡從此成了南梁根據地的中心，後來成了陝甘邊區蘇維埃政府的所在地。
1934年2月底，山東劉桂堂(外號劉二黑子，後來曾危害晉察冀邊區，先投靠日本，後為匪，解放戰爭中在山東被消滅。)帶萬數人在豫陝邊境活動，給王泰吉寫信，要求王泰吉來協助他搞起義。劉桂堂和王泰吉是黃埔軍校的同學。王泰吉接信後，向高崗、劉志丹提出要去河南搞兵運，爭取劉起義，為黨做工作，劉高挽留不住，王堅持要去爭取劉桂堂投紅。經師黨委研究，批准了王泰吉的請求。師黨委決定，四十二師南下，幫助第三路游擊隊擴大游擊區，同時護送王泰吉同志出邊區，王泰吉的師長職務由劉志丹接任。劉、高率四十二師從南梁出發，經連家砭，固城川，沿寧縣、正寧縣南下，到淳化縣後，王泰吉化裝成農民，離開部隊，進入白區的通潤鎮，被舊日相識的民團馬雲從認出並出賣被捕押送西安，於1934年3月3日，被國民黨反動派殺害，年僅28歲。王泰吉的壯烈犧牲，使我西北失去了一位好同志，我軍失去一個好指揮員，高崗、劉志丹失去一名好戰友。他自耀縣起義時和高崗合作共事以來，兩人建立了深厚革命友誼，志同道合，帶兵打仗，配合默契，連續打了幾個勝仗，為重建二十六軍做出了貢獻。對王泰吉的犧牲萬分悲痛，在部隊進行追悼緬懷。
四十二師南下後，在淳化、旬邑一帶開展游擊活動，幫助整頓第三路游擊隊組織，發動群眾，開展第三路游擊區游擊戰爭，相機打擊了一些小股地方反動武裝，擴大了游擊區，恢複了三原、耀縣、淳化等蘇區。之後，劉、高率部揮師北上。在北上的途中，部隊開到正寧縣秋頭原的南邑堡村宿營。南邑堡村溝畔有一戶大豪紳的寨堡，四周臨溝，僅有一個弔橋通過。堡內豢養少量武裝。當時，紅軍經費緊張，師部決定派部隊奪寨子，打土豪。高崗帶三團部分戰士化裝成農民混進堡子，消滅了地主武裝，繳獲十來支槍，沒收了土豪的財產。
英雄難過美人關。戰鬥結束後，打掃戰場和清理財產時，高崗犯了生活作風錯誤，被時任四十二師政治部主任黃子文發現並反映給劉志丹。第三天，部隊到達南梁的連家砭召開師黨委會，嚴肅批評了高崗的錯誤，並決定撤銷其軍師政委職務。劉志丹批評時說：「你這個毛病不改，將來要往這上死。」從此，高崗成了二路游擊隊指揮部的專職政委。師政委楊森接替(一說張秀山接任)。當時給高崗幾支槍，令其組建一個團隊伍，立功補錯。
春節後，四十二師主力離開南梁，在耀縣、同官一帶活動，以壯聲勢，擴大紅軍影響，尋機殲滅敵人。高崗留守南梁根據地，坐鎮指揮游擊隊，發動群眾，組織群眾，武裝群眾，擴大二路游擊隊，壯大實力，鞏固和擴大二路游擊區。
高崗坐陣南梁期間，認真學習毛澤東、朱德同志南方開展游擊戰爭的經驗，研究戰略戰術。吸取1932年游擊運動中遠離根據地的失利教訓，並親自到保安、安塞、合水、慶陽等縣組織整頓游擊隊，使二路游擊隊指揮部所轄各縣游擊隊人員迅速擴大，四面出擊，連戰連勝。慶陽游擊隊(隊長楊培勝，政委王保珊)開始只有8個人，3支槍。在高崗的指導下，以奔襲的策略，闖入二將川劉坪堡，收繳了民團的30多支槍，70顆手榴彈。他積極動員當地逃荒的橫山、米脂和三邊難民60多人蔘軍。接著又將二將川民團趙富奎的家眷抓獲，迫使趙團總交出60多支槍，將家眷換回，使游擊隊很快發展到100多人、槍。這支部隊到1934年夏發展到17