根據國共兩黨合作共同抗日所達成的協議，1937年8月紅軍改編為國民革命軍第八路軍。八路軍由三個師組成：由林彪領導的一一五師從陝西省三原地區向山西東北部挺進；由賀龍領導的一二零師向山西西北部挺進；由劉伯承領導的一二九師向山西東南部挺進。1937年9月，按照國民黨政府制定的全國統一的戰鬥序列，八路軍改稱為第十八集團軍。但是這個軍隊仍然是共產黨的武裝力量，它仍然保持著某種獨立性，其原因就是在改編以前，共產黨已成功地贏得了人民大眾的支持，廣大青年紛紛踴躍參加八路軍，鄧小平在這一過程中所起的作用是非常重要的。
在抗戰開始時，鄧小平被任命為八路軍政治部副主任，當時的主任是任弼時，鄧的任務最初是分管宣傳，後來他又分管徵兵和動員工作。1937年9月初鄧小平參加了由周恩來在山西省會太原（太原兩個月後淪陷於日本人）召開的軍事會議，在這次會議上，鄧小平被任命為由閻錫山、國民黨和共產黨共同建立的「第二戰區民族革命戰爭戰地總動員委員會」的共產黨代表 。鄧小平從太原和八路軍總部一起轉移到石太鐵路線以北、太行山脈北部的五台縣。鄧小平以此為中心走遍晉東北，相繼建立起各縣的戰地總動員委員會和與此相適應的為抗戰服務的各種基層社會組織，包括農民協會、工人聯合會及各種形式的訓練班、學習班。儘管可能有莫斯科中山大學的各種方法，但是抗日救國的口號對民族主義者肯定最具有感染力 。有趣的是儘管鄧小平在當時見過阿格尼絲·史沫特萊，但是史沫特萊的印象中似乎只記得當時八路軍總部中的其他人，她只記得曾見過任弼時的助手，當時把這位助手的名字錯聽為「汀」 。
然而，在1938年初，鄧小平又一次被調動，和劉伯承到了一起——他們倆早在1931年在江西蘇區就相識 ，這次調動，鄧小平被任命為一二九師政委。在抗戰初期，毛澤東似乎已經注意到了鄧小平對一二九師的控制能力，在不久之前，毛澤東對此存有疑慮不是沒有道理的，因為長征途中張國燾拒絕毛澤東對共產黨的領導，特別是拒絕戰略撤退所要到達的目的地。一度時間，他分裂了共產黨和共產黨的軍隊，向蘇聯靠攏，然而最後又在陝北根據地與毛澤東和共產黨的其他人會師 。一二九師的前身就是紅四方面軍，1937年8月，毛澤東改組了一二九師的領導班子，任命久經戰場的武將劉伯承任司令員，張浩任政委。
鄧小平在當時長期離開延安工作，並成為黨內相當引人注目的人物，這些都反映了毛澤東對鄧的信任程度。甚至在1942年和1943年毛澤東和他的支持者所發動的整風運動和使共產主義運動中國化的過程中，鄧小平也沒有被召回延安參加整風運動，在毛澤東看來，他與鄧小平之間沒有什麼利害衝突，鄧小平是一個部下而不是一個同事。在任何情況下，他都能顯示出他是能夠被信賴的。
鄧小平被任命為一二九師的政委之後只去過延安三次，最長的一次是1938年的8月到12月，其間還出席了中國共產黨中央委員會六中全會的擴大會議；1939年8月鄧小平參加了政治局的擴大會議；1945年6月，儘管鄧小平沒有參加第七屆黨的代表大會，但是他參加了他被選入的中央委員會的第一次全會，並視察了冀魯豫根據地。1939年8月第二次回延安時，鄧小平認識了卓琳，次月和卓琳喜結良緣 。
政委制度是中國共產黨借鑒蘇聯共產黨的經驗而來的，俄國十月革命後，為了創建紅軍，蘇共認為許多士兵不是合格的共產黨員，需要對他們進行政治教育和控制，對中國共產黨來說，政委和政治部門的工作與蘇共略有不同，他們的任務不僅是在軍隊中從事政治和宣傳工作，而且還要在老百姓中也從事這種工作。確實在游擊戰的環境中這對中共的事業是極其重要的。在共產黨政權還不太牢固，敵人隨時都可能進攻的游擊區，鄧小平在這樣的環境中曾經戰鬥過12年，現在八路軍為了生存下來，需要得到老百姓的支持和幫助。實際上，軍隊和黨是沒有區別的，共產黨員白天是農民，到了晚上便成了軍人了。鄧小平當時是游擊區黨的高級幹部，負責軍隊中的政治事務，實際上，1942年共產黨中央委員會建立了太行分局，鄧小平被任命為書記——太行分局的最高職務。從此他在太行的地位才被正式承認。
劉伯承像鄧小平和一二九師的許多原四方面軍的人一樣，也是四川人。劉伯承生於1892年，是一位久經沙場，足智多謀，驍勇善戰的軍人，在1926年加入共產黨之前，一隻眼被打瞎了，1937年後半年，劉率領一二九師從太行山區北部出發通過平定縣，穿越石太鐵路來到太行山的南郊地區，儘管當時一二九師有6千人，比八路軍其它師的士兵多，但遠遠不夠一個師的標準人數。太行山南部地區歷來就是溝通華北與華中之間交通運輸的戰略要地。鄧小平到任之前，劉伯承已經組織了幾次突擊隊，成功地襲擊了日軍和日軍飛機 。然而那隻不過是日軍侵華的開始階段，後來隨著時間的推移，日軍佔領了華北的大部城市，所以太行根據地很快就成為共產黨在敵後開展活動的中心了，甚至在1937年11月朱德把整個八路軍總部搬到了太行根據地。
在太行山區位於邯鄲——長治公路以北的武鄉縣和遼縣（今左權縣，為紀念在此遇難的共產黨將軍左權而改此名） 是太行根據地的中心區。隨著日軍源源不斷地從這裡進入中國內地，主要是通過鐵路運輸的，因此這裡的鐵路運輸線就成了日軍保護的重點了。一二九師在敵後開展了鬥爭，建立了抗日的游擊隊，地方政府和與之相適應的系統的社會基礎結構。1938年和1939年上半年，共產黨在太行根據地及周邊地區的發展很快，截止1939年底，一二九師活動的區域南面包括黃河沿岸大片區域中的四個根據地，東北面的石家莊——濟南——徐州鐵路線和西北面的石家莊——西安鐵路線包括太行根據地；長治以西的太岳根據地；冀南和冀魯豫地區，這兩個地區都位於京漢鐵路的東面。
一二九師起初能夠取得成功，部分的原因是因為日本人的閃電戰進攻速度之快，使其後勤保障無法跟得上。另外的原因是因為共產黨和山西軍閥閻錫山的特殊關係。1936年閻錫山加入了與共產黨的愛國主義聯盟共同抗日，允許抗日組織的活動，到1937年底山西大部分的軍事和群眾組織置於共產黨控制之下。在一二九師活動的這個區域內，也就是後來的大岳根據地，情況更是如此，該根據地不再需要一二九師主力的幫助了。在太岳根據地有山西省共產黨的領導人薄一波、戎子和通過犧盟會控制了當地的閻錫山政府和山西新軍的部隊，直到日本人開始大掃蕩，八路軍的正規部隊才開始了幫助 。1938年底，一二九師穿越了京漢鐵路，部隊得到了進一步的發展，因此，在1938年底和1939年初的一段時間，甚至一二九師的師部也搬出了太行山區，駐到了冀南平原。
1940年的大部分時期，一二九師打的陣地戰要比游擊戰多。這一年一二九師開始遇到的敵人是駐紮在當地的國民黨部隊。儘管1937年後國共兩黨結成了統一戰線，但是雙方的衝突是司空見慣的，因而1940年3月雙方通過談判達成了一個協議，該協議的內容是：共產黨的部隊應從太行根據地中與國民黨接觸的地帶撤離到邯鄲——長治路以北；共產黨承認這一地區歸國民黨所有。鄧小平似乎參加了這個協議的制定，該協議肯定完全符合鄧小平爭取國民黨部隊的計畫 。
在與國民黨地方部隊達成這個協議的同時，一二九師正與其它共產黨和國民黨部隊準備參加抗日的百團大戰，這次戰役是由八路軍副總司令彭德懷指揮的。這次戰役是成功的，彭德懷的振奮似乎也是合乎情理的，因為日軍的鐵路運輸線遭到了嚴重的破壞，八路軍佔領和接受了一些縣和縣城 。但是這次戰役所產生的一個重要後果是日軍馬上把軍事力量集中對準了共產黨的邊區。