徐州會戰進行期間，國民政府軍事委員會根據當時的情況及未來可能的發展，判斷日軍「最近之企圖，在先求打通津浦線已甚顯然，惟敵人打通津浦線後，當以鄭州及武漢為其作戰目標」。同時，還判斷日軍「侵襲鄭州及武漢之路線」，可能性最大的力「沿隴海線西進圖取鄭州，以斷我平漢線之連絡，同時安陽方面之敵沿平漢線南下，以夾擊黃河北岸之我軍」。因而，在1938年5月1日，制定了《國軍作戰指導方案》，決心「以阻止敵打通津浦路之目的，在魯南集結相當限度的兵力，行攻勢防禦，但敵如由國內大舉增援至兵力絕對優勢時，剛應避免決戰，逐次抵抗，以消耗敵之戰力。同時在武漢及鄭州以西集結兵力，準備誘敵深入與之決戰」。並決定「集中20個師以上兵力於武漢外圍及核心」，「集中約15個師於隴海路鄭州以西地區」。
1938年5月19日徐州失守後，第五戰區部隊先後與日軍脫離接觸，轉移至安徽、蘇北等地。日本大本營認為徐州會戰基本結束，為「擴大徐州會戰的戰果，要求侵華日軍停止於蘭封（今蘭考）、歸德（即商丘）、永城、蒙城聯結線以東」。其實，華北方面軍早在進入徐州的19日夜，就已下達了向西擴張戰果的追擊命令，令第2軍進佔商丘、永城一帶，令第1軍第14師團協助第2軍進攻商丘。第2軍部署第16師團配屬混成第3旅進攻商丘，部署第10師團配屬混成第13旅進攻永城。但是第1軍沒有按照方面軍的命令行動。早在16日，方面軍就曾令第14師團向商丘方向前進，協助第2軍攻擊商丘。這是第二次重申，第1軍依然命令第14師團進攻蘭封。此時，正與中國第一戰區宋希濂之第87軍在內黃附近激戰。第一戰區司令長官程潛，為將突出的日軍第14師團殲滅於內黃、儀封、民權之間，命第29軍團軍團長李漢魂指揮第74軍、第64軍第155師為東路軍，由而丘西進；命第27軍軍長桂永清指揮第71軍為西路軍，由蘭封東進；命第3集團軍孫桐萱部及第20集團軍商震部為北路軍，在定淘、菏澤，東明、考城（今蘭考東北煙陽）附近，切斷日軍退注黃河北岸的通路；同時，令第8軍軍長黃傑指揮第8軍、第64軍第187師及第24師等部，堅守碭山、商丘，阻止由徐州沿隴海路西進的日軍。
5月21日，第一戰區部隊開始向日軍第14師團發動進攻。經激烈戰鬥，第74軍第51師及第71軍第88師1個旅收復內黃；第71軍第87師收復儀封。5月23日，第71軍及第74軍又奪回西毛姑寨、楊樓、和樓等村莊，給日軍以沉重打擊。日軍第14師團集中力量向楊堌集、雙塔集地區攻擊。第27軍陣地被突破，桂永清率領所屬部隊退向開封、杞縣，令第88師接替第106師防守蘭封。而第88師師長龍慕韓在桂永清退走後，亦於23日夜擅自棄城逃走，致日軍於24日不戰而佔領隴海路上的戰略要點蘭封。此時，據守碭山的第8軍第102師在日軍猛攻下，師長柏輝章下令放棄陣地西逃。日軍第16師團於24日佔領碭山。
軍事委員會對蘭封的輕易失陷，大為震驚。蔣介石於24日電令第一戰區，命第19集團軍總司令薛岳指揮俞濟時第74軍、李漢魂第64軍、宋希濂第71軍、桂永清第27軍，由東向西；命第17軍團長鬍宗南由西向東，包圍蘭封、羅王寨、三義集、曲興集一帶的日軍第14師團，於25日開始進攻。同時，還告誡各軍將領：「此次蘭封會戰，關係整個抗日戰局，胡、李、俞、桂、宋各軍，應遵照薛總司令所示任務，務於本月25日午後6時30分全線總攻，務須於明26日拂曉前將蘭封、三叉集、蘭封口、陳留口、曲興集、羅王寨地區間之敵殲滅。如有畏縮不前，攻擊不力者，按律嚴懲。」
5月25日，薛岳指揮豫東兵團對日軍第14師團發起猛攻。當晚，第71軍奪回蘭封車站。26日，第74軍奪回羅王車站，第71軍猛攻蘭封外圍日軍陣地。27日，第64軍攻佔羅王寨，第71軍掃清外圍據點，收復蘭封。日軍第27旅團殘部逃去三義寨。羅王車站和蘭封的收復，使隴海路恢複了通車，被隔離於商丘附近的42列滿載物資的火車遂得以撤至鄭州。日軍第14師團被豫東兵團壓縮、包圍於三義寨附近。但當日軍於28日向第27軍陣地反擊時，桂永清又一次「獨斷命令各部隊向楊堌集、紅廟間地區轉移陣地，沿途拋棄無線電機及武器、彈藥，情形頗為混亂」。
軍委會對豫東各部隊未能在限期內攻殲蘭封附近日軍和第一戰區的部署有所不滿。5月28日，蔣介石下達手令：「蘭封附近之敵，最多不過五、六千之數，而我以12師兵力圍攻不克，不僅部隊複雜，彼此推諉，潰敗可虞，即使攻克，在戰史上亦為一千古笑柄。務請毅然決心，速抽6師以上兵力在側後方作總預備隊，而指定李鐵軍、李漢魂、俞濟時3軍，負責掃清當面殘敵。即使被敵突破數點，衝出包圍圈外我可與之野戰，則較為得計。此時東路敵軍必於二、三日內向西急進，由周口直出許昌、鄭州，則後方在在堪虞。若我軍不早為計，則如此大兵群集於狹小區域，且左限黃河，殲滅甚易。希當機立斷，即於本晚實施。一面整理陣線，一面抽調部隊，以備萬一。並以此意轉薛伯靈（薛岳）、胡宗南，決心遵行，勿稍延誤。」第一戰區當即從東路軍中抽出第87、第88，第155及第61師，由李漢魂指揮，星夜轉移至杞縣、太康作總預備隊；令攻擊三義寨地區日軍第14師團的各軍、師、由薛岳統一指揮，迅速調整陣線，並以有力一部，固守蘭封附近國防工事，準備對東作戰。
日軍第10師團混成第3旅，5月28日，正向亳州、渦陽進攻中；第16師團及混成第13旅團，26日攻佔虞城，同時向商丘外圍陣地進攻。當夜，黃傑第8軍退至商丘郊區一帶。27日，程潛電令黃傑，務須死守商丘，在蘭封地區日軍被擊殲前，不得放棄。但黃傑根本不執行戰區司令長官的命令，竟於28日擅自率第40、第24師退向柳河、開封，將第187師留防朱集車站和商丘。29日拂曉，師長彭林生率第187師退走，商丘要點又為日軍第16師團不戰而佔領。商丘的失守，嚴重地威脅了進攻日第14師團的薛岳軍之側背，第一戰區被迫再一次調整部署。5月29日晚下達命令，令第102、第187師在睢縣、寧陵附近佔領陣地，竭力遲滯沿隴海路西進日軍的前進；令第87師開太康、淮陽，第88師開龍曲集，第61師開楊集，第58師開杞縣，佔領要點，組織防禦；令第155師集結於孫寨附近；令俞濟時指揮第20、第51師、新編35師與桂永清第27軍（第46、第106師）、胡宗南第17軍團（第1、第36，第78師）繼續包圍三義寨、曲興集地區的日軍，改取守勢，待敵竄動，舉全力殲滅日華北方面軍團第1軍第14師團被包圍於蘭封地區，陷於苦戰。5月28日下令，命「第2軍儘力以更多的兵力，不失時機地逐次向開封東南地區進攻」。第2軍當日命「第16師團（配屬混成第3旅）確保歸德及其要點，主要從杞縣方面擊敗第14師團當面之敵；第10師團在繼續執行現在任務（進攻永城）的同時，準備以有力一部緊急派往杞縣方面；混成第13旅團佔領渦陽後，即轉隸於16師團」。接著，30日又將第10師團瀨谷支隊配屬給第16師團，以加強其進攻能力。至5月31日，日軍第10師團攻佔渦陽，亳州，第16師團進至杞縣東南。
第一戰區根據形勢的發展，認為，不僅由徐州西進的日軍已加強了力量，而且黃河北岸的日軍（混成第4旅團）也正經封丘、貫台組織強渡，企圖增援被困於蘭封地區的第14師團。豫東方面的各軍帥，數日來激烈戰鬥，傷亡較大，已開始處於不利地位，於是決定，令「豫東、魯西作戰軍，即向西轉移」。5月31日，下達《戰區兵力轉移部署方案》。其方針是：「避免與西犯之敵決戰」，「主力向平漢線以西地區轉移」。主要內容力：令商震指揮第32、第37軍及新編35師，萬福麟指揮第53軍、新編8師，彭進之指揮第70軍、第45師，分別防守汗封鄭州、汜水鞏縣和洛陽澠池地區黃河南岸，絕對阻止日軍渡河；令開封、鄭州、許昌、郾城、駐馬店、周家口，准陽、沈邱、商水各地駐防部隊，儘力遲滯、消耗日軍兵力，掩護主力轉移；令石友三、曹福林等在魯西，豫東進行游擊作戰，襲擾日軍，使其西進困難；令宋希濂軍、胡宗南軍團、李漢魂軍、桂永清軍、黃傑軍、俞濟時等中央嫡系軍隊，分別向鞏縣、洛陽、泌陽等豫西及豫西南地區轉移。薛岳於6月1日又下達行動命令，要求「各軍派出之戰場掩護部隊，須沉著應戰，努力抵抗，遲滯敵軍，確實掩護我主力轉移之安全」；還規定「孫桐萱、商震兩總司令所部，應俟我主力軍轉移完畢，再於6月3日轉移」。
日本大本營5月29日決定追擊行動，停止在蘭封、商丘地區，命令：「未經批准，不許越過蘭封、歸德、永城，蒙城、正陽關、六安一線進行作戰」。但華北方向