根據中共中央的部署，日本侵略軍一投降，我軍就開始向東北進軍。
最早進入東北的，是原來東北抗日聯軍的周保中、李兆麟等率領的部隊。
周保中年輕時在雲南講武堂畢業，曾任國民革命軍的副師長。1927年加入中國共產黨，次年到中央軍委工作。1929年去蘇聯學習，兩年後回國，任中共滿洲（按：滿洲是當時對整個東北的一種代稱）省委軍委書記、吉林省委書記。「九一八」事變之後，組織東北抗日聯軍，任第五軍軍長、第二路軍總指揮。
李兆麟1930年加入中國共產主義青年團，次年轉黨。「九一八」事變後，參加領導抗日武裝鬥爭，曾任東北抗日聯軍第三路軍總指揮。
東北抗日聯軍在發展最好的時期共有11個軍，分為三路。即第一、第二、第三路軍。但是在日本關東軍強大兵力的「討伐」、「清剿」
下，東北抗日聯軍逐步退入深山老林中堅持鬥爭，十分艱苦，損失很大。第一路軍總指揮楊靖宇於1940年2月23日在與敵人激戰後，自殺殉國。其他領導人如李延祿、趙尚志、魏拯民、趙一曼等先後犧牲。東北抗日聯軍在中國共產黨滿洲省委的領導下，將余部中的一部分縮編為一個教導旅，由周保中任旅長，李兆麟任副旅長，轉移進了蘇聯境內，進行整訓，被編入蘇聯紅軍系列，稱為國際八十八旅。其他的部隊則進行分散活動，由野營訓練總部負責領導，在內線堅持鬥爭。
當蘇聯紅軍決定向東北出兵時，周保中、李兆麟收到了以斯大林的名義發來的電報：
東北是你們中國人民的東北，蘇聯紅軍的任務是解放東北，建設東北的任務是你們的。待命。
隨著蘇聯紅軍向東北境內的快速進軍，周保中、李兆麟率領的國際八十八旅也和蘇軍一道行動進入東北，以後又分成很多小隊擔任各部隊的嚮導，並很快就和原來抗聯的各方力量恢複了聯繫，發展了部隊。由於他們在東北有深厚的群眾基礎，又極為熟悉情況，所以很快就同蘇軍一道先後攻佔了57個城市，在每個城市中，一般都是由蘇聯軍官任衛戍司令，我方擔任副司令。如周保中擔任了長春的衛戍副司令，李兆麟擔任了哈爾濱的衛戍副司令。
從關內最早進入東北的是冀熱遼軍分區的李運昌部。
李運昌是黃埔軍校四期學生，與林彪、劉志丹是同屆。他1925年入黨，參加過秋收起義，以後在滿洲省委做地下工作，對東北情況相當熟悉。抗日戰爭期間，他長期在晉察冀解放區的冀東地區領導抗戰，擔任過河北省委書記、冀東抗日聯軍司令員、晉察冀十三分區司令員、冀熱遼軍區司令員兼政委。
冀熱遼軍區在長期的抗日鬥爭中已經在遼寧和熱河建立了根據地，地跨長城內外，是我軍進入東北最近又最有條件的根據地。所以當李運昌於8月13日清晨在河北豐潤大王莊冀熱遼軍區的司令部從廣播中聽到日寇投降的消息和朱總司令發出的進軍東北的命令之後，立即同副司令員詹才芳等召開軍區黨委會，成立了以他為書記的東進工作委員會和東進總指揮部，調動了分區的八個團、一個營和兩個支隊共1.3萬餘人（占軍區主力的三分之二），同時還有四個軍分區司令員、四個地委書記以及2500多名地方幹部，分為三路向敵人的重要據點進發。一路直插熱河的承德，與蘇聯紅軍會合；一路直插平泉、赤峰；還有一路是由冀熱遼第十六軍分區司令員曾克林和副政委唐凱率領的分區主力第十二團、十八團和朝鮮義勇隊，目標是山海關。
這時的山海關有日偽軍和地方警察共約3500人駐守，依仗山海關的高城牆，聲稱只交槍給國民黨軍隊，拒不向共產黨軍隊投降。我軍先掃蕩了外圍，形成對山海關的包圍。
8月30日，蘇聯紅軍來到了山海關。由於我軍和蘇軍原來毫無聯繫，當曾克林命令部隊中所有的司號員吹起歡迎號時，蘇軍仍不知我軍是什麼部隊，並立即架起了武器。我軍立即唱起了《國際歌》，這一全世界無產階級的歌曲立即把兩支軍隊聯繫了起來。然後通過蘇軍帶來的蒙古翻譯，雙方才得以溝通。中國共產黨領導的軍隊在這裡和蘇聯共產黨領導的軍隊第一次會了師。雙方商定共同攻打山海關，蘇軍炮擊之後，我軍與蘇軍一道攻入了山海關，接受了日偽軍的投降。三天以後，延安的《解放日報》在頭版刊出了如下標題的報道：「華北軍事要衝山海關，即已陷敵手13年之久的榆關鎮已為我軍光復」。
攻下山海關之後，曾克林率軍坐上火車向東進發，連克興城、錦西、錦州後，第十八團留下來守衛錦州，第十二團也留下一些部隊接管各地政權。最後剩下一個營則由曾克林、唐凱率領，與蘇軍一道前往瀋陽。9月5日到瀋陽時，十八軍分區的政委焦若愚也趕了上來。
與各部隊向東北開進的同時，為了建設和鞏固東北根據地，中共中央又決定從延安和全國其他地方抽調幹部陸續派往東北。從延安出發的第一批幹部1000餘人組成的幹部工作團是由晉綏軍區副政委林楓率領的。8月28日，在去飛機場送走了到重慶與蔣介石談判的毛澤東以後，朱德在延安的中央黨校大禮堂為即將去東北的幹部做了一個重要報告，他說：
我們要積極向東北發展，東北大有文章可做。蔣介石的部隊大部分在南方，到東北要走半年。即使他到了東北，頂多是他占城市，我占鄉村。有的同志這幾天看到蘇聯和蔣介石訂了條約，有些灰心。過去以為蘇聯會大大幫我們一手，現在失望了。這是因為過去希望過奢。但是要知道，雖然有個條約，東北的工作還大得很。蘇聯三個月撤兵，中國要歸中國人自己管，東北要歸東北人管，我們當然可以管，條約上沒有規定不要我們去，不要我們管。現在要派五萬部隊插過去，再派萬把幹部，將來還要去。這是很長遠、很鞏固的路。
8月29日，由劉少奇主持的中央書記處以中共中央的名義向晉察冀分局和山東分局發出指示：
晉察冀和山東省準備派到東三省的幹部和部隊，應迅速出發，部隊可用東北軍和義勇軍等名義。只要紅軍（按：此指進入東北的蘇聯紅軍）不堅決反對，我們即可非正式地進入東三省。不要聲張，不要在報上發表消息。進入東三省後，亦不必坐火車進佔大城市，可走小路控制廣大鄉村和紅軍未曾駐紮之中小城市，建立我地方政權和地方部隊，大大地放手發展。在我軍不能進入的大城市，亦須儘可能派幹部去工作。對紅軍可進行非正式的接洽，將情報通知紅軍。但不要勉強與紅軍做正式的接洽與聯絡，亦不要請求紅軍給我們幫助。只要紅軍不作聲，不堅決反對我之行動即好。但紅軍所堅決反對之事我必須照顧，不要使紅軍在外交法律上為難。山東幹部與部隊，如能從海上進入東三省活動，則越快越好。