日軍第10師團大敗台兒庄，第5師團受挫臨沂城下，日本的兩支王牌部隊的失敗，使日本大本營處在尷尬境地。但同時也讓日本大本營明白一個道理，僅憑一兩個師團是不能對付中國軍隊的。雖說中國軍隊武器簡陋，裝備低劣，但具有兵力人數的優勢。以幾萬兵力去攻擊幾十萬的中國大軍，無疑是以卵擊石。即使能取得局部勝利，也必然付出沉重的代價。
以消耗人力資源取勝的戰爭，對日本這個小國來說是致命的。
兩個師團在徐州戰區的失敗，說明徐州不是輕易就能到手的，況且中國軍隊在台兒庄取得勝利，士氣旺盛，又有大批精銳部隊朝徐州集結。這時的徐州今非昔比，調集重兵從四面合圍，也難以打下徐州，貫通津浦鐵路線。日軍大本營的作戰意圖又不想過早暴露，以免打草驚蛇，讓中國60萬精銳部隊給溜掉嘍。狡猾陰險的日軍大本營，為實現自己的狼子野心，從中國戰區各個戰場上抽調13個師團，共30萬人馬，兵分6路向徐州實施大包圍戰略計畫，企圖殲滅第五戰區的中國軍隊。
日軍在這次行動中，所抽調的全是派遣到中國的最精銳部隊，並配有飛機、重炮、坦克等各種重型武器，這是一個絕好的機會。他們按照總體計畫，在距離徐州很遠的區域開始拉網，構築無數個包圍圈，逐漸向以徐州為中心的地塊收縮，以便在徐州起網，捕捉大魚。
給日本大本營創造這個絕好機會的就是中國軍隊的台兒庄大捷。台兒庄的勝利，大大鼓舞了全中國民眾的抗戰信心，同時也鼓起了國民政府最高統帥部的勇氣，特別是蔣介石的雄心。蔣介石居然同日軍的作戰計畫針鋒相對，也調來大批援軍，想在徐州地盤上和強大的日軍決一雌雄。
蔣介石的舉措，日本大本營看得很清楚，他們暗自高興。能在中國戰場上尋找到這樣一次戰機的確不容易，如果能把這場戰役打好，徹底消滅中國軍隊擺放在第五戰區的60萬精銳部隊，那麼中國戰區的問題便迎刃而解了。這正是日本政府和日本天皇可望而不可求的戰機。所以，日本天皇得知蔣介石的戰略部署時，喜出望外，要求日軍參戰部隊全力以赴，不讓徐州地區的中國軍隊一人漏網。
中國軍事最高統帥部不是沒有看見日軍的企圖，後來是完全看見的，日軍南北增兵，以達到自己的目的，越來越明顯。如果徐州戰區能按照機動防禦和運動戰的制敵方針，確保主動地位，在魯南方面備有強大的預備兵團，爭取在日軍運動中給予打擊，並固守運河線；再有預備兵團放在徐州以西，以應付魯西和皖北的突變，也就是說加大機動和總預備隊的兵力，減少一線兵力，那麼徐州的仗就完全不一樣了。
然而客觀情況卻相反，李宗仁為保險起見，把所有的部隊全都投到第一線去了，作持久的抵抗部署。比如，張自忠、李仙洲在臨沂東南地區牽制該方面的日軍；龐炳勛部則調到郯城地區整補，並掩護隴海鐵路東段的安全；孫連仲和第75軍在北面之線佔領縱深陣地；于學忠的第51軍在孫連仲部的右方陣地；孫震的第22集團軍在韓庄南岸守備；湯恩伯控制於四戶鎮，作為機動的打擊兵團；盧漢的第60軍在台兒庄南集結；樊崧甫的第46軍以1個師放在徐州，其餘兩個師在賈汪、利國驛附近；第五戰區總預備隊的5個師，放在碭山、商丘一帶。
徐州第五戰區不僅把所有部隊投放在第一線，更為錯誤的是同日軍進行延翼競賽，其戰線西起微山湖，經白山、獐山、嶧縣南側、蘭陵鎮、向城東南，一直沿河東岸碼頭鎮到郯城一線，綿延數百公里。這種延翼競賽，必然導致第五戰區龐大兵力投入第一線。而日軍機械化程度高，他們快速靈活，這樣中國軍隊便處在被動地位了。
徐州地區的戰事發展到5月初，整個戰局發生變化。日軍採取由徐州遠後方實行戰略迂迴的計畫就要實現，北面由濟寧過來的日軍已到達金鄉、魚台，並以第14師團渡黃河向菏澤方面南下。在南面，日軍由懷遠過來的兵力，在攻取蒙城後，向永城推進，以南北鉗形截斷徐州西邊的隴海路，徹底包圍徐州以東魯南地區的中國軍隊。
以上情況不難看出，在徐州地區的東南西北各方向上，中國軍隊全在各自的陣地上同日軍作戰。他們得不到援軍的支持，徐州戰區又沒有機動兵力，所以中國軍隊只好在陣地上苦撐苦熬，被日軍纏住、咬住，處境非常危險。
這個時候的日本大本營沒有開始時的遮遮掩掩了，他們不怕暴露自己的意圖了，狼子野心已大白於天下，現在是快速推進、四面合攏的時候了，必須用快刀斬亂麻的方式，把中國軍隊圍困住，然後給予全部消滅。
日軍先後到達的部隊已有十幾萬人，中國軍隊在戰場上就發現許多日軍部隊的番號，如北面戰場除磯谷第10師團、板垣第5師團外，已發現有第14師團、第103師團、第105師團、第110師團和山下、酒井等兵團；在南面戰場，除原有的日軍第3師團和第9師團外，又出現了第101師團、第102師團、第116師團、第107師團的各一部。
顯然，在強大的日軍包圍下，第五戰區司令長官李宗仁如果不迅速採取措施，那麼投放在魯南地區的10多個軍就有在徐州地區遭受全部殲滅的危險。實際上，武漢最高軍事統帥部和第五戰區都作出了相應的對敵作戰方案，只是各參戰部隊在戰鬥和戰術上無能為力，不能完成戰略所賦予的任務。各參戰部隊的這種狀況，並不是他們作戰不努力，而是各部隊經過幾十天的戰鬥，死傷相當慘重，雖然人數上還有相當大的優勢，但戰鬥力是十分低下的。
不要說戰鬥打到這個時間段上了，就是剛取得台兒庄勝利，全軍士氣旺盛的那段日子，也沒有一鼓作氣地把台兒庄附近嶧縣、棗莊地區的日本敗兵徹底殲滅。更別說日軍得到增援，補充了力量，中國軍隊連續作戰已經疲憊至極了。
中國最高軍事委員會的願望，同前線部隊的作戰能力及完成最高統帥部戰略任務的能力相差甚遠。蔣介石忽視這個事實，對前線作戰部隊的無能為力感到憤怒，時常發泄自己的不滿情緒。時任國民黨軍令部第一廳廳長的劉斐，對蔣委員長說明這個問題，他當時還舉例說，蘇北的日軍用在一線的兵力不過只有3000來人，淮北的日軍第一線的兵力也不過5000多人。疲憊之師你埋怨沒有用，戰爭有戰爭的規律，願望總歸是願望。前方將士已經盡到自己最大的努力了，他們付出了巨大的犧牲，能把戰場維持到今天這個局面就算很不錯了。該埋怨受指責的應該是指揮系統的決策。
直到這時蔣介石仍不死心，他認為徐州第五戰區有他幾十萬精銳部隊，日軍的大合圍又能怎樣。他對軍令部次長林蔚和第一廳廳長劉斐說，你們去前線要向各級將領講明白，要他們貫徹統帥部的命令。只要大家齊心，首先各個擊破淮北、魯西方面的敵人，再對魯南轉移攻勢，勝利是有把握的。
林蔚和劉斐去了徐州，他們把蔣委員長的最新部署傳達給李宗仁。劉斐問李宗仁抽沒抽調機動兵力，這話很有些埋怨的味道。李宗仁說，部隊拉上去了，一個蘿蔔一個坑，是那麼容易能抽下來的？
就在林蔚、劉斐去徐州傳達蔣委員長的指示的第二天，兩人醒來，就回不去了。碭山東面的黃口車站已被日軍佔領。徐州第五戰區後方唯一的交通大動脈被日軍截斷了，徐州已處在敵人的包圍之中。
李宗仁沉不住氣了，他放棄自己的主張，把各個集團軍總司令和有關的軍官招到台兒庄，聽林蔚次長和劉斐廳長傳達蔣委員長關於調整部署的決定：魯南地區的新陣地線為右起窯灣、貓兒窩，沿運河南岸亘韓庄之線，各部隊相機轉於新位置，逐步加強工事固守，但對邳縣城、灘上鎮、加口圩、禹王山、台兒庄等各前進陣地不可過早放棄，抽調李延年隊第2軍及湯恩伯軍團炮兵第4團及一部分重炮連，即日到徐州集結待命，爾後由湯恩伯指揮先擊破由淮北向徐州西側進犯之敵，留置各部隊直接歸孫連仲指揮。接著李宗仁以司令長官的名義分別任命孫連仲、于學忠為魯南兵團總、副指揮官，湯恩伯、劉汝明為隴海兵團總、副指揮官，韓德勤為蘇北兵團總指揮官，廖磊為淮北兵團總指揮官，李品仙為淮南兵團總炮兵指揮官。李宗仁對主要指揮官指示，如隴海路被截斷，魯南兵團可在隴海兵團與淮北兵團掩護下由永城、蒙城向太和、亳州轉進。