1946年4月下旬，哈爾濱解放後，北滿分局和北滿軍區機關進駐哈爾濱市。5月，東北局和北滿分局合併，北滿軍區和民主聯軍總部合併，中央決定高崗任東北民主聯軍副政委代理第二政治委員，東北局副書記，主持民主聯軍總部和東北局常務工作。他集中精力組織和指揮剿滅土匪戰鬥，根據中央《五四》指示，領導各省發動群眾性的土地改革鬥爭，進行反奸清算，加強北滿後方根據地建設和建立政權，發展中共黨組織，大力擴充軍隊和地方武裝，發展工農業生產和軍工生產，參加調整戰略方針及部署的決策，精心運籌解放全東北，打倒國民黨軍隊。
1946年3、4月間，國民黨同中國共產黨舉行東北停戰談判，國民黨乘此向東北大舉進軍。已調進東北的軍隊達27萬之眾，瀋陽、本溪、撫順、鐵嶺等大城市均被蔣軍佔領，並向四平、長春推進，野心勃勃，妄圖獨佔東北。3月下旬，國共雙方同意北平軍調處關於東北停戰的協議成立，停戰七天，由北平軍調處派停戰執行小組前往東北。本來東北就在1月10日全國停戰令的範圍之內，但蔣介石卻以「接收主權」為借口，在美國海軍的支持幫助下，大量運兵前往東北摘桃子，打內戰。
東北停戰協議成立後，蔣介石並未實行，國民黨東北保安司令杜聿明密令國民黨軍隊搶佔東北戰略要點，並嚴令在4月2日前佔領四平。中共中央于軍調處停戰協議成立的當日(3月27日)發出《關於對蔣對匪方針》致東北局電，指出了目前對蔣對匪兩項任務。東北局和聯軍總部接電後，立即調整軍事部署，一方面調動主力部隊準備與蔣軍作戰；另一方面要求各分局和軍區及各省加緊剿匪。北滿分局和軍區立即指示黑龍江省召開動員會，加緊剿匪、解放土匪佔領的縣城，竭盡全力保衛黑龍江省；北滿分局和軍區召開了幹部會議，決定松江軍區哈北分區與三五九旅合編，劃歸北滿軍區直接領導；哈西分區劃歸西滿分局領導，調整了軍事部署，加強了部隊領導，佔領哈爾濱、齊齊哈爾。會議還對我軍進入東北幾個月來工作進行估計，指出對北滿我們已經掌握主動權，農村包圍城市形勢成熟。
上年9月到11月，是坐在大城市擴大武裝，並且由於對國民黨及偽殘餘勢力施展的「先當八路軍後當中央軍」的陰謀無有警覺，又由於主要部隊、幹部集中於大城市，北滿幹部少，老部隊少，蔣軍大批進入東北後，北滿各縣都發生部隊叛變和蔣匪勾結一起，致使我軍多次遭到敵人進攻。12月至46年1月下旬，北滿將一切力量都用在掌握部隊，鞏固部隊，並積極組織機動兵力，向土匪主動進攻，穩住了局面，從被動挨打轉為主動打擊。2至3月中旬，我軍部分主力到達，北滿全面展開剿匪戰鬥，連克22座縣城，剿匪大獲勝利，開闢了發展農運的前途。
分局、軍區會議對把北滿建設成為全東北的大後方和最鞏固的根據地，提出三項任務：繼續積極主動地肅清殘匪；把發動群眾看成是一切工作的根本；使北滿成為兵源及練兵的基地，去補充主力。並向東北局提出避免遼西會戰等三點要求。會後將情況報告東北局和中央。
3月初，在撫順由彭真書記主持召開東北局擴大會議，討論東北形勢和戰略方針。正在開會期間，國民黨軍打來，會議移到梅河口繼續舉行。會上對戰略方針的分歧仍然存在，林彪等主張放棄大城市，佔領鐵路兩旁、中小城市，建立農村根據地，擴充軍隊；彭真、李立三等主張不放棄長春、四平等大城市，爭取優勢，以城市為中心，抗擊國民黨軍隊的進攻。林楓批評林彪一仗不打，一直退到這裡，「逃跑主義」。高崗贊成林彪等人的前一種意見。會議先後開了月余，黃克誠向中央提出：無黨組織、無群眾支持、無政府、無糧食、無醫藥、無衣服鞋襪，建議「避免」決戰，保存實力，時機成熟再出擊。最後以彭真等後一種意見確定下來，作出了《東北大會戰部署》。東北局把主力部隊集中於南滿大城市周圍，企圖「獨佔中長路和各大城市」。我軍奪長春、四平後，東北局部署守四平保長春，甚至提出變四平、長春為「馬德里」的口號。高崗當即提出反對意見，他認為我軍現有力量和頑軍決戰條件不成熟。林彪在會上受了批評，對高崗說，這樣下去要誤事的，你找個理由回延安一趟，把這裡的情況和我們的意見向毛主席講一講，建議中央派少奇來主持工作，高崗說：「行」。後因解放哈爾濱戰事緊張未成行。
彭真對會戰持樂觀態度，特別是3月18日佔領四平，殲敵4000人，解放長春後彭真在長春召開的幹部會上說：「本溪、四平、長春幾個戰役後，東北形勢已變，轉變到根本上對我們有利」，現在「優勢已到手，問題是鞏固優勢」。劉少奇依據他去年11月7日電報指出的「翌年春天」大決戰的目標，支持會戰，中央給林、彭、羅的電報說：為「和平民主，甚為英勇，請你們再接再勵，堅持到最後勝利，把四平變成『馬德里』。」中央把東北勝利寄托在「最後一戰」上。
東北解放戰爭中，我軍四次攻守四平，兩勝兩負，是最棘手的戰場。首次我軍佔領四平、長春等大中城市後，東北局主要領導，產生了樂觀情緒，在國民黨軍大批北進時，東北局對「大會戰」勝利信心十足，說「此次作為決定我黨在東北地位之最後一戰。」中央在致林彪的電報中也說：前線一切軍事、政治指揮，統屬於你，不應分散。如因工作繁忙，需人幫助，則可考慮調高崗同志來助你；東北戰爭，中外矚目，必須在四平、本溪兩處將頑軍打得精疲力竭。電報最後說：「以期必勝，望深入教育，一體遵行」。
高崗、黃克誠等幾次提出「避免應戰」的意見，讓敵拉長分散，再選其弱點，各個擊破。連手握全權決戰指揮權的林彪也不同意決戰，但他不能不執行中央的上述命令和東北局的部署。
我軍佔領四平、長春後，東北局主要領導對停戰談判抱希望，認為四平、長春保住，停戰談判達成，就可以「獨佔中長路和各大城市」。高崗不相信國民黨會停戰的，蔣介石要打內戰的主意已經暴露的明明確確，依敵我力量對比，我軍死守四平沒什麼意義了，他主張應該避免與強敵作戰。當時，我軍的力量與國民黨比較還差的遠，決戰必然輸多贏少。他認為把大城市撤出去，「讓敵人背上包袱，待他背的走不動時，我們有了鞏固的根據地和人民的支持，回頭再消滅他，我們就主動了」。黃克誠也有同感，他們給彭真、林彪和中央發電說：到東北的部隊經過幾次戰鬥，有的部隊人員消耗一半以上，連、排、班幹部消耗一半以上。目前雖能補充一些新兵員，戰鬥力已減弱。敵九十三軍到達，炮兵、坦克都用上來，四平堅守更困難。「四平守不住，長春亦難確保」。他意讓出四平、長春以求得一時停戰，「以爭取時間，休整主力，清剿土匪，鞏固根據地，以應付將來與敵決戰。」彭真、林彪和中央均未回電。
國共兩軍擺開會戰的架勢。4月18日守四平戰開始，國民黨軍副總長白崇禧親臨前線，協助杜聿明調集10個師組成「扇形攻勢」，以美式機械化部隊分南北兩路沿中長路氣勢洶洶北進，戰略是先奪南滿要點四平，然後追擊撤退的共軍。蔣介石說：「有『小諸葛』(即白崇禧)居中調度，東北之戰完全可以畢其功於一役」。
林彪根據東北局「大會戰部署」，調集重兵集結以四平為中心的百餘里防線，並下幾道命令，「人在陣地存」，把「四平變成馬德里」。
在「化四平街為馬德里」、「化長春變為馬德里」、「最後一戰，死守四平」的命令、口號下，我軍英勇作戰，堅守四平1月，殲滅敵萬餘人，使曾和日軍打過多次陣地的美械裝備、訓練有素、老兵較多、戰鬥力強的杜聿明部受到打擊，我軍亦傷亡嚴重。終因敵人機械化程度高，連續增兵，我軍腹背受敵，敵我力量太懸殊，在高崗支持下，中央命令未到前(中央撤退命令19日下的)，林彪被迫於5月18日撤出戰鬥。這次撤退極為被動，我跑敵追，林彪落個「逃跑將軍」、「撤退將軍」的罵名。撤退路上無群眾，無根據地，無醫藥，無情報，甚至電報密本也沒有，指揮官不知部隊的位置和裝備，團、營、連失掉聯繫，一直退到松花江畔，林彪灰心喪氣跑到舒蘭才住腳，這是林彪軍事生涯中最為狼狽的一次。部隊士氣極為低落，給養奇缺，又避開大道繞山翻溝行走，大熱天戰士還穿著破棉衣行軍。奔波幾天才擺脫敵人的追擊。逃兵成風，連當營長的也逃跑投敵，甚至林彪作戰參謀處的人員叛逃，把我軍撤退計畫、行軍路線和軍隊實力等情況送給杜聿明，邀功領賞。撤退到鄭家屯，彭真主持召開會議，仍堅持守長春，不能再撤退了，不能撤的過猛。林彪主張大踏步後撤至松花江北岸。意見分歧，林彪徵求在北滿的高崗意見，高贊同林的意見，並建議棄守長春，「一直撤到江北，以圖再戰，否則現有力量被敵打光的。」
我軍撤出四平、長春後，國民黨窮追不捨，集中力量向北推進，5月23日進佔長春，28日人吉林，敵前鋒已抵達德惠、三岔河