華北各抗日根據地開展的游擊戰爭，使日本將華北建為其戰爭後方基地，以推行其以華制華、以戰養戰的戰略企圖無法實現。日華北方面軍司令官多田駿，為了集中兵力「對共產軍根據地進行毀滅戰」，決心「對晉甫地區的中央軍發動一次大兵力的作戰，一舉掃清黃河以北的中央軍勢力」，以便轉用該地區的日軍於專門對付第八路軍，「迅速恢複華北的治安」；同時打擊重慶國民政府的抗戰意志。因而在1941年春決定發動中原會戰（當時中國軍隊稱之為晉南會戰，即中條山會戰）。
中條山會戰之前，日軍第11軍為抽出其第33師團轉用於晉南，先發動上高會戰。以2個師團又1個旅團的兵力，於1941年3月15日由安義、萬壽宮、原田街，分3路向上高進攻。其第33師團在19日突破第9戰區第70軍上富第三線主陣地後，即抽調轉用於中條山方面，其第34師團會合獨立混成第20旅，突破第74軍官橋第三線主陣地後，繼續向上高進攻。第19集團軍以第74軍固守上高、第49軍和第70軍分向日軍左、右側包圍進擊。激戰至25日，日軍退走，在守軍追擊、堵擊下，損失甚重。中國軍隊獲炮10門、步機槍1000餘支，4月2日，又恢複原態勢。
日中國派遣軍為增加進攻的力量，除由武漢方面抽調第33師團至晉南外，又從蘇州地區抽調第17師團至徐州接防，原在徐州的第21師團轉用於晉南。參加進攻中條山作戰的日軍，由第1軍司令官篠塚義男指揮，所屬部隊有：第21師團（田中久一）、第35師團（原田熊吉）、第33師團（櫻井省三）、第36師團（井關仞）、第37師團（安達二十三）、第41師團（清水規矩）、獨立混成第9旅團（池上賢吉）、獨立混成第16旅團（若松賓士）、騎兵第4旅團（佐久間為人）等共6個師團、3個旅團；總兵力約10萬人。此外，為增加此次作戰的空中力量，日本大本營於4月19日調關東軍第7飛行團之輕轟作第32戰隊和第2飛行團之偵察第83戰隊配屬第3飛行集團。第3飛行集團轄第1、第3飛行團，有輕轟炸第90戰隊、獨立戰鬥第10中隊、獨立偵察第83中隊和偵察直協第44戰隊，共有飛機約200架。
日軍第1軍根據1941年2月26日華北方面軍治安肅正作戰會議傳達的本年度第1號作戰計畫，制訂了進攻中條山的作戰計畫，其主要內容、作戰目的是：殲滅黃河以北晉南、豫北地區的中央軍主力，以確保華北之安定並給予重慶政權以重大打擊。其作戰指導是：徹底擊滅張馬、垣曲之線以西的中國軍隊，嚴重打擊該線以東的中國軍隊。其兵力部署是：對中條山西部地區，以第41師團和獨立混成第9旅團，分別由翼城、絳縣並列南下，攻佔垣曲、割斷第5集團軍與東部第14集團軍之聯繫，並對第5集團軍實施雙重包圍，以第36師團和第37師團分別由聞喜、運城從夏縣以南並列東進，進行雙重迂迴包圍，與第41師團和獨立混成第9旅團會合後，圍殲第5集團軍及第80軍；獨立混成第16旅團，由平陸沿黃河北岸快速東進至濟源，與東路的第35、第21師團在邵原會合，切斷第5、第14集團軍向黃河南岸的退路。對中條山東部地區，以第35師團和第21師團，分別由溫縣、沁陽並列西進，經濟源、王屋攻佔邵原，與獨立混成第16旅會合，切斷守軍退路後，由濟源至邵原的公路線北上進攻第14集團軍。以第33師團由陽城南下，協同第35、第21師團對第14集團軍進行南北夾擊。協同作戰的航空兵部隊，主要配合西路部隊的作戰，作戰開始後，從空中切斷西安至洛陽的隴海路。
中條山位於山西南部，橫亘黃河北岸，東西約170公里，南北50公里，東連太行山，太岳山，西接呂梁山，南屏渲關、洛陽，北控晉南，東控豫北。平漢、同蒲兩鐵路在其東西兩側。既是向華北進擊的前進基地，也是實施敵後游擊作戰的基地。戰略位置甚為重要。
1941年初，第一戰區在黃河以北共有11個軍，其中，4個軍配置於太行，太岳山區，7個軍配置於中年山區。這7個軍的具體配置是：第8軍（孔令恂，新編第27師、第165師）守備中條山西側；第5集團軍（曾萬鍾）以第3軍（唐淮源，第7、第12、第34師），第17軍（高桂滋，第84師，新編第2師），由左向右，並列守備垣曲，桑池之線以西地區（中條山西部）；第14集團軍（劉茂恩）以第43軍（趙世鈴，第70師、暫編47師）、第98軍（武士敏，第42、第169師）、第15軍（武延麟，第64、第65師）並列守備中條山北側；第9軍（裴昌會，第47、第54師，新編第24師）守備中條山東側。中條山守軍總兵力共16個師，約15萬人。
當日軍向中條山地區增調兵力時，中國軍事委員會軍令部判斷日軍有進攻中條山區的企圖，遂擬定了第一戰區作戰指導的3個參考方案：
第1案，主力向黃河南岸撤退，鞏固河防；
第2案，乘敵集中未畢，制敵機先，以擊破其攻勢；
第3案，採取機動戰術，變內線為外線。
4月18日，參謀總長何應欽在洛陽主持有第一、第二、第五戰區高級將領參加的晉南會戰作戰準備會議。他指出：「中條山地位異常重要，如現三角地帶一部為敵佔領，則隴海路不獨感威脅，且洛陽恐亦難保，而西安亦危。」同時認為：「晉南之敵，似將逐次奪取我中條山各據點，企圖徹底肅清黃河北岸之我軍，然後與豫東之敵相呼應，進取洛陽、潼關，以威脅我第五戰區之側背，或西向進窺西安。」20日第2次會議上，何應欽基本上採用軍令部第2案的精神，對晉南作戰作出下述指示：「為確保中條山，第一步，應相機以93軍（劉勘，在太岳山區）由北向南，以27軍（范漢傑，在太行山區）由東向西，與中條山陣地右翼各部，合力攻取高平、晉城、陽城、沁水間地區，以恢複29年（1940年）4月前之態勢。第二步，與晉西軍及第二、第八戰區協力，包圍晉南三角地帶之敵而殲滅之。最低限度亦須能確保中條山。」
4月28日，軍委會軍令部判斷日軍有由沁陽、濟源及橫嶺關、皋落鎮公路進攻垣曲之企圖，軍委會於5月2日令第一戰區加強中條山陣地工事，破壞、阻塞主陣地前的道路；先發制敵、以一軍向高平、博愛，另以一軍向聞喜、侯馬、夏縣採取攻勢，以擊破敵之攻勢。令第二戰區晉西部隊向同蒲路，第五戰區汜東部隊向隴海路各當面之敵進行牽制。第一戰區於5月3日決定作戰方針：為打破敵之進犯企圖，制敵機先，積極實施游擊，以粉碎敵之攻擊準備及兵力集中，隨即分令各軍以一部向當面之敵游擊，但各軍的出擊部署尚未完成，日軍已開始進攻。
日軍航空兵首先發動攻擊，於1941年5月6、7兩日，轟炸西安、咸陽、潼關、鄭州等地，並炸斷隴海鐵路。5月7日晚，日軍按計畫以分割包圍和向心攻擊，向中條山發動進攻。
西部方面。日軍第41師團和獨立混成第9旅團，分由西桑池（第5和第14集團軍結合部）、橫嶺關附近向垣曲方向進攻。守軍第43軍與第17軍協力抵抗，激戰至8日晨，陣地被突破。日軍於當晚攻佔垣曲，中條山守軍遂被分割為東、西兩部。日軍第36、第37師團及獨立混成第16旅團，分由夏縣以北、以南向中條山西側守軍進攻，主突方向為第3軍與第80軍之結合部。8月凌晨，張店鎮附近陣地被突破，日軍迅速向守軍後方滲入。第15集團軍各軍被迫退守秦家嶺、望原等第二線陣地。9日4時，日軍一部已迫近第5集團軍總司令部所在地馬村。司令部遂東移至澗南溝，當即收到第一戰區司令長官衛立煌的電話：「本部已派兵2團，在五福澗以北高地佔領橋頭堡陣地，並徵集渡船10餘只。不得已時，各軍應逐次南移，在五福澗渡河。」但日軍獨立混成第16旅團的先頭部隊已於9日晨進至五福澗，由河南岸派來之第14軍第85師的2個團，與日軍激戰至10日晨，被迫退回河南岸。此時，退守台寨附近的第80軍已與日軍苦戰2日，新編第27師師長王竣、副師長梁希賢、參謀長陳文祀等，均已壯烈犧牲。第80軍殘部於11日夜渡至黃河以南。至此，第6集團軍已被完全包圍，南渡黃河的遲路亦被切斷，陷於苦戰之中，處境危殆。於是以團為單位，多路向北、西方向敵後突圍，第3軍軍長唐淮源因無法突出，於12日自殺，其第12師師長寸性奇於15日陣亡。第98軍於15日向北突圍至太岳區。曾萬鍾率第3、第17軍及第94師殘部，陸續通過日軍封鎖線，西渡汾河、黃河，輾轉到達洛陽、新安一帶。
東部方面，5月7日晚，日軍第21師團及第35師團（配屬騎兵第4旅團），分別由沁陽、溫縣地區向防守東方正面的第9軍進攻，激戰至8日8時，日軍第35師團突破第54師陣地佔領孟縣，爾後，與第21師團合擊濟源。當夜，日軍攻佔濟源。第9軍退守封門口既設陣地，留一部