在莫斯科，鄧小平終於有機會能夠深造了，儘管這裡的學習主要是政治上的而不是學術上的。他循著早年的中共黨員踩出的路從歐洲來到了莫斯科，從二十年代後期開始，許多中國人就在莫斯科的東方勞動者大學、中山大學就讀，後者創建於1925年底，即中國共產黨與國民黨關係最好的時期，目的是為中國革命培養人才，資金主要是富裕的國民黨黨員捐贈來的。這在中國共產黨的歷史上是一段有趣的歲月，不僅中國共產黨、蘇聯共產黨與國民黨之間互相密切合作，而且中國學生自己也捲入到蘇共黨派內部的衝突之中，並受到布哈林、斯大林、托洛茨基的追隨者的拉攏。
鄧小平在莫斯科結識的人中可能有陳紹禹，當時陳的這個名字比他以後所用的王明這個名字更有名氣。王明就是自1930年底至1935年初一直統治中國共產黨的28名布爾什維克中的最高領袖，還有張聞天，也是這28個人中的其中一員。鄧小平在中山大學的這些同學中還有三人值得一提：一個是當時他並不認識的蔣介石的兒子蔣經國，後來國民黨退守台灣，其父蔣介石死後，他成為中華民國的總統；另一個是王稼祥，也是作為28名布爾什維克的成員回國的，他後來較少在公開場合出頭露面，後來證明：在1935年中國共產黨內毛澤東為爭奪最高權力的鬥爭中，王稼祥給予了毛寶貴的支持，並且是長征的主要領導人之一，與毛澤東、張聞天一起在遵義會議上作了重要發言。1933年當鄧小平的日子不好過時是王稼祥立即伸出援助之手；第三個同學是馮玉祥的大女兒馮輔能，1926年馮玉祥去蘇聯尋求援助，他並不是一個典型的軍閥將領，而是一個接近共產黨具有高度嚴明紀律的基督教將軍。儘管他基本上是反共產主義的，但準備暫時接受蘇聯的援助，然而共產國際的援助是建立在馮玉祥加入國民黨並參與蔣介石重新統一中國的軍事行動——北伐——的基礎上的。這也受到中國共產黨的支持，馮玉祥回國時隨行的大約有一百多位共產國際的顧問，包括好幾個中國人，這其中就有鄧小平。 馮玉祥的國民軍是以中國西北部的西安為基地的，在軍隊的總司令部下有幾個信奉共產主義的軍官們，當時他們既是中國共產黨的黨員也都是國民黨員，建立了一所軍事訓練學校。——鄧小平在該校擔任政治指導員，幫助培養未來的軍官。但是到了1927年4月，這個計畫不得不放棄了，中國共產黨與國民黨之間的衝突越來越激烈，直到公開化。馮玉祥在這場衝突中公開倒向蔣介石一邊。
鄧把他的名字改為鄧小平，南下到了長江沿岸的武漢，又一次和周恩來到了一起。不知是由於他和周的關係，還是因為他的資格比較深，鄧被分配擔任中共中央委員會的秘書長，當時中央委員會總部設在武漢，國民黨已經分成兩派，左派總部設在武漢，遠離蔣介石的影響。中共把它的中央秘書處也設在此地，似是很自然的。因為它能提供一些政治保護。不幸的是，到了1927年七八月間，這個想法也不能如願，主要是由於共產國際的干擾，國民黨左派也把矛頭指向了中國共產黨，迫使其轉入地下。中共中央委員會在武漢召開緊急會議，鄧小平作為秘書長也參加了會議。這次緊急會議認為總書記陳獨秀個人應該對黨的災難負責並撤銷了他的領導職務，重新制定了一套新的軍事起義方針，中共中央委員會（包括鄧）秘密到了上海。在上海，年僅23歲的鄧小平被任命為中共中央秘書長，這是一個處理日常行政事務的行政職務，負責中共重要文件的保密工作、交通和財政事務。這段時間，對中共是一個考驗，上海和其它城市地區的中共活動差不多全部轉入了地下。1927年到1928年，中共進行了一系列的軍事起義，其中最著名的是1927年8月的南昌起義。
鄧在1927年到1928年期間的活動鮮為人知，即使在他女兒寫的傳記中也只是泛泛而談，大概因為中共秘書處的工作處於地下狀態，鄧在日常工作中隨時都會碰到危險，因此他的行蹤始終都是秘而不宣的。後來鄧回憶起這段歲月時說：當時到處都是白色恐怖，但他和他的妻子與周恩來和鄧穎超（周恩來的妻子）共住的一幢房子僅被搜查過一次。 由於中國國內的形勢和共產國際想繼續控制中共的雙重原因，1928年6月第六屆中共代表大會在莫斯科舉行。中共新集體領導班子大部分成員包括周恩來和領導抨擊陳獨秀的瞿秋白都去了莫斯科。然而工人運動的組織者李維漢，——鄧在蒙達尼認識他的——在大會期間留下來負責中共的日常事務，鄧成了他的助手。
1928年春天，通過一張私人紙條的聯繫，鄧第一次結婚了，他的妻子是張錫瑗，一個通曉歐洲語言的專家，也在中共秘書處工作，他們相識於莫斯科，在上海結的婚，不幸的是，這僅是一個短暫的婚姻，她在1930年1月死於難產後的一種疾病。儘管1929年9月中共中央派鄧去廣西組織政治活動，他在12月下旬的某個時候曾回到上海彙報工作，他妻於死時他正在上海。