離開李明瑞和紅七軍後鄧小平去了上海，又遇見了周恩來和去廣西以前曾一起工作過的一些同志，不論以什麼方式，鄧關於廣西起義的報告被接受了，沒有遭到太大的批評，因為不久，在五六月間鄧小平被派往安徽代表中央巡視檢查安徽黨的工作。 這時李立三在中國共產黨的領導職務已被28名布爾什維克所取代，他們中的一些人如王稼祥，鄧在蘇就認識。儘管新的領導很勉強地接受了毛澤東正在江西所尋求的一條雖然緩慢卻更合實際的革命路線，他們一致認為江西應該是中共活動的中心，因此在1931年的前半年決定把黨中央遷到那兒。和毛澤東關係密切在李立三時期幸免於難的周恩來被任命為中共蘇區中央局書記。
1931年中期，鄧小平調往江西，在這裡他被任命為瑞金縣委書記，接著又被任命為管轄著會昌、安源和尋烏三縣的會昌邊區區委書記，這使他第一次有機會和毛澤東進行密切交往。尋烏縣在毛著名的農村包圍城市的戰略形成發展過程中起了十分重要的作用，毛通過一系列到農村的調查發展了這個戰略，其中有一次就是以尋烏為調查基地的。 雖然沒有當時鄧對毛的農民政策觀點的任何記錄，但鄧的實事求是的觀點通過江西南部和右江蘇維埃內發生的事件對比，給人留下了深刻的印象。當然，後來當鄧在抗日戰爭中和四十年代中期擔任太行山區的領導時，他反覆強調政治教育與生產鬥爭和游擊戰的重要性。當鄧剛到瑞金時就發現許多黨員都在等待處死。隨之而來的便是對可疑分子進行政治審查，鬥爭的擴大化，使許多無辜的人遭到殘酷的迫害。鄧迅速制止了這種歇斯底里的行為，並強調所有的案子均應該根據黨章來進行處理。立即釋放那些被非法拘禁的人，當周恩來年底到達瑞金時，他完全支持鄧的行動。
鄧在瑞金任職時間不長，當更多的人員被調到江西蘇維埃時，鄧又被提升了，調到了會昌邊區，負責會昌、尋烏和安源的工作，儘管共產黨實際控制的只有會昌縣。 1932年時，鄧小平已經明顯地成為毛的政策的有力的支持者，他們之間的友誼逐步加深，這一年他成為江西省委宣傳部部長，但此次任職也不長，不過這次的原因是由於政治上的一些原因，如曾經指出過的在共產黨內部形成了兩派，他們之間產生了相當緊張的關係，一派是毛和他的追隨者們，另一派是28名布爾什維克及他們的追隨者們。當後者遷到江西時，他們試圖撤銷毛及其追隨者的職務，並把他們的政治影響減少到最低限度。他們反對毛的游擊戰的觀點，強調放棄地方武裝，應創造單一的強有力的正規化的紅軍，並教條地認為，土地革命不僅應該剝奪地主的土地，而且應剝奪包括富農、中農的土地。
大概因為他在廣西及後來在江西的經驗，鄧小平發覺自己幾乎在所有問題上都與中央的意見相左，他特別為了保證土地革命的進行，保證群眾對共產黨和游擊隊的支持，必須要有一個穩妥的經濟環境來維持糧食的供應，因此很有必要對比較富裕的農民採取一種寬容的政策。1933年曾是李立三同事的福建省中共領導人羅明由於對動員群眾的態度太消極，受到28名布爾什維克的批評。實際上他僅僅是說那些居住在邊境地區的人不可能僅靠一些慷慨的許諾就能被動員起來，不管群眾對共產黨員多麼擁護，敵人反覆的「圍剿」削弱了士氣，這是蔣介石對江西蘇維埃的第四次「圍剿」時期，中共領導人抓住這個機會攻擊毛和他的支持者們所持的觀點，把他們與稱之為失敗主義的「羅明路線」聯繫起來。毛沒有被點名批評，但其他人，主要是鄧小平、毛澤覃（毛的三弟）、謝唯俊和古柏都被點了名。鄧理所當然地失去了他的職務，被囚禁和審問。鄧也失去了他的妻子金維映，他是1931年在上海遇到她並於1932年在瑞金與她結婚的，在他受批判的時候，她和他離婚了，不久後嫁給了李維漢。不管在「鄧、毛、謝、古」事件之前，毛和鄧的關係如何，在這之後，他們之間形成了一條牢固的政治紐帶。
後來鄧被派往一個貧困的邊遠山區樂安縣的中共南村委員會工作後，王稼祥又一次幫助了鄧。鄧在南村大約呆了十天後，王派鄧到他所領導的紅一軍團的總政治部工作，鄧被任命為總政治部秘書長，後來又在宣傳部工作，在那兒，他的主要任務是編輯軍隊機關報《紅星》，他做這個工作一直到長徵結束。
當中共中央機關在1934年10月10日離開瑞金開始長征時，鄧小平也離開了這裡。但關於鄧參加長征的詳細情況不太清楚。當鄧的女兒問他長征途中幹了些什麼時，據說他只簡單地回答：「跟著走」，儘管他確實記得他爬山時曾經丟了馬，丟了大衣，還丟了一卷干肉。 根據哈里森·索爾茲伯里說：當長征開始時，鄧仍處於被半批判的狀態中，後來他染上傷寒，因此在長征途中他的身體沒康復，直至中共中央到達陝北。
鄧的命運的轉折點，事實上也是中國共產黨的轉折點，都是1935年1月召開的「遵義會議」，在那次會議上推翻了「28名布爾什維克」的領導並採用了毛的方針政策。鄧當時是徒步離開瑞金的，一個較年輕的同事記得和鄧一直走到遵義，但後來沒有再步行。在獲得毛的完全同意後，周恩來指定鄧在政治局的遵義會議上進行幾分鐘的發言， 但沒有記錄表明他在那次會上發過言，只是坐在一邊，無疑他對大會的各項議程完全滿意 。至於其它長征開始前支持毛的人都得到平反和提升。鄧又一次成了中共中央委員會秘書長。後來長征途中，當紅軍重新縮編時他被任命為紅一軍團政治部宣傳部部長。
當紅軍1935年10月到達陝北時，紅軍首先要做的工作是擴充加強受到嚴重損失的兵力。自二十年代後期，一個農村蘇維埃已經在陝北這個地區建立起來了，現在得到逐步發展，後來在1937年1月把總部轉移到了更著名的延安。1936年前半年鄧康復後，參加了紅軍向山西省進軍的遠征隊中，被任命為一軍團政治部副主任，後來成了主任。這一職務是在他後來的十六年中的大部分時間內擔任軍隊的許多高級職務中的第一個職務。