大革命失敗後，第一次國共合作破裂，白色恐怖籠罩全國。黨的活動轉入地下，轉向武裝鬥爭。
在陝北地區，盤踞在榆林的軍閥井岳秀，也發動了瘋狂的「清黨」運動。1927年8月4日，井部包圍了綏師，命令學校師生全部離校，焚燒了進步書刊，一時火光衝天，喊聲一片，校長常漢三憤慨痛哭。學生們一個個被迫走出校門，受到嚴格的檢查。綏師教員、中共綏德地委書記蔡楠軒和中共綏德地委宣傳委員關中哲以及黨員教員雷五齋、趙少西等被驅逐出境，校長常漢三被禁居綏德，三年不準任公職、任教，不準離開綏德。與此同時，延安駐軍亦奉令封閉了延安省立四中，中共延安地委書記、四中校長田伯英被軟禁在校，大部分教師被遣散回家；爾後由反動分子馮楚錫接任四中校長，對學校進行改組，黨、團員多數被迫離校。在井岳秀部總部的駐地榆林，中共榆林地委負責人馬雲程、周家於、郭洪濤、杜聿德等七人被通緝，他們隨即離開陝北。陝北的黨、團組織大多數一時陷於無人主持的散亂狀態，革命迅即轉人低潮。
1927年9月以後，中共陝西省委陸續派人到陝北恢複和整頓組織。1928年4月，中共陝北特委成立。1931年1月，馬明方任特委委員。恢複和發展黨的組織，積聚革命力量。
1927年下半年至1933年，陝北黨組織處於秘密工作時期。馬明方為恢複和發展黨的組織，積聚革命力量，做了大量工作。
1927年下半年，馬明方任中共橫山區委書記，在橫山響水堡 以小學教員為掩護，恢複和整頓黨的組織。當時，響水堡小學校長曹亞華、教員強雄飛等都是黨員，街上也有些黨員。他在響水堡積極開展了黨的工作，在教師和學生中發展黨員；同時在學生中進行革命宣傳和思想教育工作。響水堡的黨、團員和進步學生，後來大多數參加了陝北游擊區和陝甘寧邊區的工作。
1928年至1929年，馬明方先後在綏德北區、東區、四十里鋪工作，擔任中共綏德縣委委員、北區區委書記、巡視員等職。
1928年前半年，馬明方是在楊家溝小學以教員作掩護工作的。校長馬醒民，是楊家溝的大地主，教員和學生大部分是本村人，地富子弟多，和外村聯繫很不方便，半年後馬明方就離開學校了。當時與馬明方取得了工作聯繫的有李林威、魏錫九等，他們所地區的工作有進展，發展了一些農民黨員。
1928年下半年，馬明方沒有社會職業作掩護，以中共綏德縣巡視員身分，到各區巡視和幫助工作。8月，馬明方和景仰山到德南區巡視工作時，在鐵茄坪無定河畔開了區委會議，要求黨員人群眾，大膽開闢工作。當時南區區委書記崔田夫，僱農出身，作積極，在群眾中有威信；區委領導成員崔田民、崔正冉等能密聯繫群眾，所以南區鐵茄坪一帶，農民黨員較多，群眾工作基礎好，黨在群眾中的影響很大。隨後，馬明方又去綏德城區、東區巡視工作，發現東區義合鎮馬家川一帶工作較差，便指導黨員積極在群眾中開展工作。雷家溝、深溝里、義上坪一帶工作較好，區委負責人劉漢武、霍維德等工作積極。這一帶有一個小學校，冬天有冬書房作為黨組織活動的場所，黨員數量和黨的工作有所發展。這半年來，馬明方在巡視各區委工作時，向很多黨員和群眾進行了調查，對農村情況和黨在農村的工作，有了較多較細的了解。他在實踐中進一步認識到黨的工作重點轉移到農村的重要性。陝北農民是革命的主要力量，他們深受地主、官府的剝削壓榨，生活極端貧困，有很高的革命積極性和勇敢的鬥爭精神，如果脫離農村、脫離農民，革命鬥爭是不能成功的。
1929年，馬明方任北區區委書記，在四十里鋪小學以教員身分作掩護進行工作。校長是一位農民，教員馬繩武等都是黨員，農村、街上、學校中都有黨員、團員，黨的工作主要是發展黨員、團員，建立黨、團組織，在學校師生和農村群眾中進行宣傳工作。當時北區建立起四個支部，黨員發展到20多人，都是農民和僱工。
1929年陝北大旱，赤地千里，百姓吞糠咽菜，不能一飽。地里的野菜挖光了，榆樹皮也幾乎剝光了，百姓餓得沒辦法，成群結隊逃荒討飯，到處都有抬龍王樓子祈雨的人群。「黑龍大王老兒早鋪雲頭，下普雨喲！」的呼叫聲此起彼伏，有的黨員自動地帶領饑民結隊成群吃大戶、打稅局、闖衙門，有的饑民問他們認識的黨員：「平常你們宣傳鬧革命、鬧翻身，現在怎麼辦？」當時黨的縣委書記周發源一心做生意，工作消極。黨的縣委常委兼團縣委書記馬文瑞，到米脂縣參加陝北團代會時找黨的特委委員劉志丹、白樂亭等研究如何拯救饑民問題。劉志丹提出：「發動饑民鬥爭，向地主和官府要糧。」馬文瑞回綏德後，向黨的縣委傳達了這個意見，決定通知全縣黨、團組織，發動群眾按照確定的時間，齊集綏德縣城向地主官府要糧，當即用雞毛信傳遍各區。馬明方接到通知後，立即做了部署。由於他是小學教員，不便公開進城，便組織農民黨員帶領群眾進城。到了約定的日子那天，四五千農民背著口袋，拿著钁頭，浩浩蕩蕩地彙集綏德縣城。駐軍營長張建南看見群眾聲勢浩大，下令關閉四門，士兵荷槍實彈，守在城牆上面，但飢餓憤怒的群眾，不畏強暴，擠開城門蜂擁而入。張建南下令朝空鳴槍，仍然阻止不住潮水般的人群。當時，縣長和士紳正在開會，聞訊張皇失措，用繩子拴在腰裡縋城而逃。群眾找不到縣長，就在地主家裡挖糧，但不知藏處，沒有挖出糧食。於是齊擁到一個山西資本家制蛋粉的雞蛋廠，動手打砸，搶吃蛋粉，這就是有名的「打蛋廠」鬥爭。張建南感到事態嚴重，派人同縣長商量後，勸說群眾出城，但群眾堅持不給救濟決不出城。他們迫不得已在南城搭起檯子，給每人發放一塊銀元。當時進城的黨員很多，綏德四師（此時已復校）的黨、團員李光白、黨永亮、許金河、白泰康、賀晉年、吳志淵、白如冰等也化裝成農民在群眾中做工作。有的同志提出，要把經濟鬥爭提高為政治鬥爭。馬文瑞召集各區進城的負責黨員研究，認為時機尚不成熟，鬥爭應適可而止，於是動員群眾陸續出城。這次饑民鬥爭，是陝北黨組織領導的一次大規模的群眾鬥爭，說明這個時期黨在群眾中的工作已經有了相當的基礎；這場鬥爭的勝利，極大地鼓舞了群眾，擴大了黨的影響。
1930年，馬明方任中共鎮川區委書記（直屬中共陝北特委領導）。1931年陝北特委決定，米脂、佳縣和鎮川兩縣一鎮，合併成立黨的中心縣委，馬明方任中心縣委書記。此期間，他一直以鎮川小學教員為掩護進行工作。鎮川小學校長劉紹讓，教員崔明道、李俊藻、劉述向、杜宏亮都是黨員，工作開展得比較順利，黨員發展到60多人，團員發展到23人；在鎮川堡、上鹽灣和無定河以東的農村中，建立起幾個支部；還建立起鹽工工會、貧農團、互濟會、婦女會等群眾組織。黨領導各群眾組織秘密散發傳單，張貼標語，發動群眾開展了抗租、抗稅、抗捐等鬥爭；並開始醞釀組織游擊隊和開展打土豪的鬥爭。黨員和群眾的積極活動，引起國民黨特務的注意。1930年四五月間，榆林國民黨特派員孫士英帶兵到鎮川，對鎮川小學進行搜查，毀掉了圖書館的進步書籍，但黨的組織沒有遭受破壞，黨的工作沒有停頓，而且繼續向前發展。
這期間，馬明方還以中共陝北特委委員身分，到綏德西川一帶巡視工作。他到過周家瞼、苗家坪、三皇峁等地，那裡黨的組織和黨的工作都有發展，群眾工作也有了一定的基礎，大革命失敗後黨的工作一度處於散渙、停頓、無人領導的狀況，經過恢複整頓已經有所改變。此期間，由於盲動主義、立三路線的影響，城市中黨的組織和軍隊中的黨組織遭到敵人的破壞，力量有所削弱。但黨在農村中受到的影響不大，農村中黨的組織和黨的工作都有較大的發展。陝北黨組織在秘密工作的幾年來所集聚的力量，為發動游擊戰爭和開闢根據地創造了必要的條件。
正當各項工作向前發展的時候，馬明方受到敵人的通緝。1931年3月，馬明方回家時，被衙役捕捉，他奮力掙脫，頭髮被揪去了一撮，幸得村人救護，得以逃脫。村人李祿喜護送他渡過黃河。馬明方到了太原後，同中共山西特委劉天章取得聯繫，向劉天章報告了他被捕逃脫的經過和他所知道的陝北的一些工作情況，要求山西特委將他被捕逃脫的情況報告陝北特委，並要求山西特委給他分配工作。劉天章要他暫等一等，待陝北特委來信後再決定他回陝北還是留在太原工作。他在太原住了30來天，山西特委分配他在太原市攤販中開展互濟會的工作。有一天，他回到所住的會館，反動派正在會館裡搜捕共產黨人。馬明方回頭走出大街口時，也被捕了。他趁空隙把小本子上記的簡單的工作要點撕毀。同時被捕的人中只有個別人認得他，敵人傳訊時，他謊稱名叫趙得勝，山西磧口人，父親在北平做生意，他是在去北平看望父親，路過會館門口時被捕的。這樣競騙過了敵人，將他釋放