在希特勒的征服計畫里，向東方開拓「日耳曼生存空間」是其堅定不移的長遠目標，所以或遲或早要同蘇聯發生直接衝突。希特勒早在1939年11月就向手下將領表示：我們在西線騰出手來的時候，才能夠反對俄國。但英國在如此慘敗的情況下，仍然不肯屈服，使希特勒在驚訝之餘，感到麻煩。從全球戰略的角度，他認為英國仍是維持世界平衡的一個重要因素，德國消滅英國的話，那是為美國和日本在流血。因此他希望能同英國簽訂一個和約，當然必須滿足德國的條件：不干涉希特勒在歐洲大陸的「自由行動」；歸還上次大戰被奪去的德國殖民地。現在希特勒認定，英國人不妥協原因在於對蘇聯抱有希望。如果打敗蘇聯，英國就會感到沒了指望，不得不屈服於德國所希望的和約；如果打敗蘇聯，就會大大加強日本在遠東與美國抗衡的實力，英國對美國的希望也會破滅。
另外，希特勒對蘇聯趁德國對付英、法之際，在東面大肆擴張自己的地盤，乘機「勒索」的做法非常惱火和不安。1940年6月26日，俄國向羅馬尼亞發出最後通牒，並調動部隊向羅馬尼亞邊境集中，要求割讓比薩拉比亞和貝布科維納。前者是第一次世界大戰俄國割讓給羅馬尼亞的，後者是羅馬尼亞從前奧匈帝國奪得的領土，蘇聯割取它是要補償自己領土被割讓所造成的損失。1940年8月3日、5日、6日，蘇聯正式吞併立陶宛、拉脫維亞和愛沙尼亞三個波羅的海小國，雖然是對《凡爾賽和約》的踐踏，但從另外的角度看，卻是收回了第一次世界大戰所失去的領土。由於西線勝負未決，希特勒只得忍氣吞聲，不敢說一個「不」字，為了不至於壞了眼前的事，他指示外交部長里賓特洛甫勸告羅馬尼亞接受蘇聯的要求，最後羅馬尼亞終於屈服。
蘇聯對羅馬尼亞部分領土的吞併，使德國賴以生存的羅馬尼亞油田處於蘇聯轟炸機的航程內，這使德國有利刃在喉之感。雖然斯大林的策略是趁希特勒西邊有事，能勒索多少是多少，並不想真和德國關係破裂，但希特勒出於上面的種種考慮，決定對蘇聯動手了。1940年7月31日，希特勒第一次向陸軍首腦們宣布了入侵蘇聯的決定。但此時匈牙利為奪回上次大戰失去的特蘭西瓦尼亞，正準備與羅馬尼亞開戰。希特勒為使兩國在入侵蘇聯時充當走卒，同時也為保障羅馬尼亞油田的安全，強迫匈、羅兩國接受軸心國的仲裁，兩國各取特蘭西瓦尼亞一半。隨後，德國、義大利向羅馬尼亞保證其領土的完整。這就使得蘇聯人感到難堪，因為德國事先並未同蘇聯打招呼。德、蘇兩國的關係迅速惡化，雙方在羅馬尼亞、芬蘭、波羅的海國家等一系列問題上互相指責。
1940年9月27日，德國、義大利、日本在柏林簽訂三國條約，主要針對美國，但同時也是對莫斯科的一個警告。1940年11月中旬，蘇聯外長莫洛托夫到達柏林，同里賓特洛甫和希特勒進行會談，德、蘇雙方就未來各自的利益正式攤牌。德國希望蘇聯未來的擴張方向是波斯灣和阿拉伯海，甚至允諾慷慨「出讓」印度，想在瓜分世界時把蘇聯支得遠遠的，但蘇聯對德國指定的贓物不感興趣，卻緊緊盯住芬蘭、土耳其、保加利亞、羅馬尼亞。莫洛托夫要求德國軍隊撤出芬蘭，取消對羅馬尼亞的領土保證，並以給保加利亞相同的保證進行威脅。希特勒拒絕了莫洛托夫的要求，警告對方不要在上述四個國家打主意，並且威脅道：假如德國想同蘇聯發生摩擦，用不著拿海峽問題作借口。在接下來的談判中，里賓特洛甫要求蘇聯加入三國條約。莫洛托夫於10月25日正式表示，蘇聯政府準備加入到三國條約中來，變三國條約為四國條約，但必須滿足如下條件：
⒈德軍要立即從芬蘭撤退，芬蘭……屬於蘇聯勢力範圍……
⒉在今後幾個月內，蘇聯在海峽的安全要得到保證，辦法是蘇聯同保加利亞締結一項互助條約……並且蘇聯可以憑長期的租借權建立一個可以到達博斯普魯斯海峽和達達尼爾海峽的陸海軍基地。
⒊承認在波斯灣方向，巴統和巴庫以南的地區是蘇聯領土要求的中心。
⒋日本放棄它在庫頁島北部開採煤炭和石油的權利。
除此之外，斯大林要求締結5個類似波蘭性質的秘密協定，並提出額外要求：如果土耳其對蘇聯控制海峽的基地進行刁難，日、意、德、蘇四國應聯合對土耳其採取軍事行動。這次攤牌使希特勒弄清了蘇聯的擴張方向也正是德國正在打主意的地區，這就更增強了他發動對蘇戰爭的決心。12月初，希特勒批准了陸軍參謀本部制訂的對蘇作戰計畫。1940年12月18日，希特勒正式發出對蘇作戰的第21號指令，代號為「巴巴羅莎計畫」。
早在1940年10月28日，義大利的墨索里尼在事先沒有同德國夥伴打招呼的情況下，突然入侵希臘。因為德國人每次行動前都不和他協商，總是事後才通知一聲，這次墨索里尼也想報復一下希特勒。不到一周的時間，義大利向希臘的進軍變成了一場潰敗，更麻煩的是把英國軍隊引入了巴爾幹。丘吉爾首相於1941年1月初，要求希臘政府允許英軍入境，希臘總理梅塔卡斯認為，英軍提供的兵力足以引來德軍的入侵，而自己不足以對抗德軍，因而拒絕了丘吉爾的要求。但不幾天，梅塔卡斯逝世，在英國的威逼利誘下，希臘政府終於同意英軍入境。丘吉爾捨棄北非戰場上對義大利軍隊斬草除根的良機，調動北非英軍主力5.3萬人，於3月7日佔據希臘的克里特島。英國軍隊在希臘登陸使希特勒大為恐慌，因為從克里特島英國空軍基地起飛的轟炸機可以到達羅馬尼亞和義大利的油田，不僅威脅到德國的生存，也打亂了希特勒進攻蘇聯時保證南翼的巴爾幹安全的算盤。第一次世界大戰時，英、法開闢薩洛尼卡戰線的後果對德國來說記憶猶新。
希特勒很早就意識到希臘克里特島上的英國空軍基地對自己是個威脅，在1940年12月13日，他向三軍秘密下達了佔領希臘全境的第20號指令，代號為「馬里塔行動」。從地理上看，德國與希臘之間隔著匈牙利、羅馬尼亞、南斯拉夫、保加利亞四個國家，匈、羅兩國在接受德國的領土仲裁後，已徹底淪為德國的附庸，同意德軍過境。德國以希臘部分領土歸保加利亞為誘餌，在同蘇聯爭奪保加利亞的外交戰中獲勝，1941年2月9日，保加利亞加入三國條約，而在前一天，德國李斯特元帥同保加利亞陸軍參謀本部，達成德軍過境和共同進攻希臘的軍事協定。對於比較倔強的南斯拉夫，德國威脅與利誘並舉，用希臘的薩洛尼卡換取南斯拉夫政府在三國條約上簽字。希特勒向義大利外長齊亞諾表示，只要有好天氣，希臘的問題只需幾天時間就可解決。
1941年3月26日，就在南斯拉夫首相和外長在三國條約上簽字的第二天，南斯拉夫國內發生政變。儘管新政府願意同德國簽訂互不侵犯條約，但希特勒認為這不僅是對德國的侮辱，也是對他個人的侮辱，必須立即毀滅這個國家。3月27日，希特勒召集緊急會議，聲稱貝爾格萊德的政變危及了「馬里塔行動」，更嚴重危及了「巴巴羅莎計畫」，他要求三軍最高統帥部當晚制訂入侵計畫，並讓外交部長通知匈、羅、保、意四國，除了建立一個小小的克羅埃西亞傀儡邦外，它們都可以分得一塊土地。就在德國進攻南斯拉夫的前一天，4月5日，蘇聯為阻止德國的入侵行動，同南斯拉夫締結了《友好互不侵犯條約》，以示同德國對抗。希特勒根本不買斯大林的賬，4月6日，德國和匈、羅、保四國軍隊以排山倒海之勢攻入南斯拉夫，4月13日，德軍和匈牙利軍隊進入貝爾格萊德。4月18日，南斯拉夫殘餘部隊28個師在薩拉耶伏投降。
由李斯特元帥指揮的德軍第12軍團在德國空軍掩護下，橫掃了整個希臘半島。希臘軍隊雖然英勇地打敗了義大利軍隊，但卻無法抵擋德國精銳裝甲部隊的衝擊，以及猛烈的空中打擊。北部的希臘軍隊於4月23日向德軍和意軍投降。4天後，德軍坦克部隊開進雅典。到4月底，除克里特島外，希臘半島一切復歸平靜。英軍也和希臘軍隊一樣，被德軍打得一敗塗地，狼狽撤到克里特島。5月20日，德國陸海空三軍開始執行希特勒第28號指令，即所謂「水星」行動，目的是攻佔克里特島，德軍共投入2.2萬人的兵力，以空降兵為主要突擊兵種，在該島主要機場和港口實施登陸，德國憑藉空中優勢，經7晝夜激戰，約5萬多英軍又嘗了一次敦刻爾克撤退的滋味，1.2萬名英軍做了俘虜，德軍的空降兵也付出了前所未有的代價。更為嚴重的是，消滅南斯拉夫的行動，客觀上將入侵蘇聯的日期推遲了4～5周的時間，戰後相當一部分史家認為，德軍在1941年年底向莫斯科發動最後總攻時，若能在冬季到來前再有4～5個星期好天氣的話，莫斯科定將被攻克。因此，希特勒一怒之下做出的入侵南斯拉夫的決定是其致命的大錯。
德國海軍元帥雷德爾曾在1940年9月極力勸說希特勒先徹底解決英國，他向希特勒指出，地中海是大英帝國的