幾十萬日本現代化部隊對徐州的包圍，已著手合攏，已造成任何防禦措施和新的戰略部署都無法挽回失敗的局面了，亡羊補牢為時過晚。大批的日軍開過來了，他們的腳步好像更快了，在日軍裝甲部隊破壞碭山李庄鐵路大橋後，不到兩天的時間，敵人便竄到河南永城縣。魯西南下的日軍也攻陷了豐縣、沛縣和碭山，由沛縣又向徐州拉進，在九里山一帶同孫連仲的部隊幹上了。徐州東西的敵人向運河全線攻擊，通過一天的激戰，他們突破運河車站、台兒庄陣地、禹王山陣地，朝徐州攻擊。
徐州郊區炮聲隆隆，就連李宗仁的司令部都飛落了兩顆炮彈。李宗仁同一大群參謀人員，接到蔣介石撤退的電令後，圍著地圖研究了半天，打不好打，退也不好退，怎麼個退法？第一線的部隊全在戰場上，他們被進攻的日軍咬得緊緊的。李宗仁最後決定，將徐州戰區剩餘的50萬大軍分成五路，分別突圍。
李宗仁下達的撤退命令是：
第一路：李宗仁長官司令部及廖磊集團軍，由徐州沿津浦路南下，至宿縣地區再折向西南，於界溝附近衝過渦河封鎖線。
第二路：湯恩伯軍團及機械化部隊，由隴海路運河車站向西撤退，在符離集以北越過津浦路，突破宿縣至永城間敵人封鎖線，再從渦陽突破敵渦河封鎖線。
第三路：孫連仲部及張自忠第五十九軍，由台兒庄向西南退卻，從徐州以南越過蕭縣以西的封鎖線，在永城附近再次衝出封鎖線。
第四路：關麟征部及川軍一部，由徐州越過隴海鐵路，向西北方向突圍，突破黃口、李庄封鎖線。
第五路：孫震部，由徐州以北柳泉向東南急進，跨過隴海鐵路。經泗縣折向西南而行，在固鎮與蚌埠之間穿過津浦路，從懷遠以西突破日軍的渦河封鎖線。
5月17日，李宗仁下令所屬各部按序列，部署逐次突圍。令湯恩伯軍團向西突圍，猛烈衝擊日軍；又令孫連仲、張自忠、龐炳勛在運河設防，憑險固守，以掩護大軍撤退。
第五戰區命令下達後，各參戰部隊便開始執行。計畫始終是計畫，在執行其撤退計畫的過程中，同實際情況有很大的出入。湯恩伯軍團的機械化部隊，向西突圍被日軍堵住，不得不改道向南。在宿縣城北十多里外的地方，才得到偵察員報告，說宿縣被日軍佔領，不能通行。按照湯恩伯的主張，他想趁此拿下宿縣，李宗仁沒有同意，認為沒有必要了，當務之急是脫離敵人的包圍圈，至於一些小城鎮的得失都無關緊要了。那時湯恩伯軍團還有好幾個師的兵力，並帶有150毫米重炮隨行。李宗仁從大局出發，極力保護這支精銳，他命令湯恩伯快走，朝西行，不要讓日軍咬住。
在徐州外圍陣地上堅守的部隊一撤退，日本軍隊就像開了閘的洪水，嘩嘩啦啦地涌了上來。中國軍隊遵照撤退命令各自行動，但在撤退的路上發生了新情況，退路被日軍堵截後，不知道咋辦了，不時發生混亂。
孫連仲在運河設防，率張自忠、龐炳勛等部隊憑險固守，以掩護大軍撤退。他同時命令盧漢的第60軍向徐州以南的郊區開進，守衛徐州。盧漢到徐州後，首先偵察地形，規劃守衛徐州的部署。但當盧漢去第五戰區長官部時，院內空無一人，軍政機關早已撤走了。盧漢有些緊張起來，他急忙率部趕往九里山，鋼筋水泥築成的工事陣地沒有部隊防守。盧漢又率部隊進入徐州市區。徐州市行人稀少，敵機不停轟炸，硝煙滾滾，周圍沒有大部隊，只有零星散兵朝南奔跑，大路兩旁負傷官兵卧地呻吟。徐州火車站上，彈藥、糧食、器材物資堆積如山，正在被放火焚燒。
盧漢在徐州近郊一個村莊找到了孫連仲總司令，他們正準備撤退。盧漢有些生氣，質問孫連仲，你們令我守徐州，目的何在？守衛徐州，是掩護大部隊撤退呢，還是要固守到不能守時，再突圍打游擊？現在魯南的大部隊都自動撤完，已再無掩護的必要。如要固守徐州，統帥部是否已作好反攻布置？有無其他部隊協助？要守多久時間？孫連仲說不出什麼道理來，最後回答說，局勢已經到這般地步，你們60軍也只好隨大部隊之後撤退了。
第60軍在盧漢的率領下沿公路向南撤退。走了一天的路，到深夜時，前方報告說攻佔宿縣的日軍已向北開來。緊接著後衛縱隊又來報告，說日軍從徐州派出輕裝部隊向第60軍追來。腹背受敵，形勢險惡。盧漢立即命令部隊離開公路，向西往永城方向突圍。一天一夜的急行軍，沿途發生無數次小戰鬥，人困馬乏，但突圍要緊，他們不敢停留，繼續西行。
當第60軍到達濉溪口時，從魯南撤退的大兵團全都彙集在這裡，有孫震的川軍、李仙洲的中央軍、桂系的廖磊軍，還有東北軍的一部和西北軍的一部，一旦遇到敵人飛機掃射，隊伍很難行動。盧漢決定改變行軍部署，全軍分為兩個梯隊，兩個梯隊齊頭並進，避免同其他部隊發生混亂。
他們連夜出發，決定經鐵佛寺向永城西南突圍，到亳州集結。他們在鐵佛寺附近同途中的友軍部隊發生了一場混戰，友軍見第60軍車輛汽車開燈行駛，以為是日軍的坦克前來襲擊，一片漆黑，雙方一交火，第60軍兩個梯隊在這場大混亂中失掉了聯繫。
盧漢帶一梯隊，順利到達皖北亳州。
有意思的是第60軍第2梯隊，他們在鐵佛寺混亂中朝南行動，渡過了澮河，向渦陽突圍，沿路收容了許多友軍的團隊。特別是一個野炮營和一個野炮連，在渦陽同日軍的激烈戰鬥中發揮了重大作用，炮火一連摧毀好幾處日軍碉堡、據點，在部隊受到重大傷亡之後，順利地通過渦陽，突出了日軍的包圍圈，進入河南境內。
第60軍在盧漢的率領下，要比孫連仲他們幸運。
李宗仁第五戰區司令部率軍政機關從徐州撤出後，滿以為孫連仲他們會從後面跟上來，只是無法聯繫罷了。走了幾天後，他們才知道自己同孫連仲的部隊失去了聯繫。
按照突圍計畫，孫連仲、張自忠他們完成掩護任務後，應由台兒庄向西南退卻，從徐州以南越過蕭縣以西的封鎖線，在永城附近再次衝出封鎖線，進入河南或皖北亳州一帶。但是，戰場形勢發生了巨大變化，當魯南、徐州一帶的中國軍隊撤退後，日軍像洪水猛獸一般涌了進來，同時堵住了向西突圍的缺口。
日軍把全部注意力都集中在西邊的隴海鐵路上，他們認為中國軍隊要突圍，只會選向西或西南方向，因為那也是中國軍隊的大後方所在地。所以，日軍後來對那個方向的封鎖十分有力。孫連仲率領部隊，沒有去碰那個釘子，而是轉身朝東，經靈璧到泗縣去，事實證明這個方向是正確的。
魯南兵團除第60軍、第30軍等部突圍到淮陰外，其餘第21集團軍、第75軍、第51軍等部隊，安全向東到達泗縣。除韓德勤、于學忠奉命留在蘇北敵後游擊外，其他各部後來陸陸續續經五河、定遠向安徽六安、璜川西進，回到國民政府最高統帥部指定的位置，進行整編補充。沿途戰鬥不斷，部隊是打散又集結，集結後又打散，一路上受盡苦難。
商震的第32軍更是困難，日軍卡住了隴海鐵路，堵住了徐州朝西的交通線。商震的部隊被土肥原師團咬得很緊，一時退不下來。開始他們想打通黃口、蕭縣這兩個要點，但是他們對付不了眼前的日本軍隊，戰鬥打得異常激烈，隆隆的炮聲傳到幾十里外。第五戰區司令長官李宗仁在關鍵時刻，調張自忠的第59軍前去接應。
第59軍的108師打到蕭縣附近的張二庄、嚴家寨時，日軍大量施放毒氣彈。張自忠的第39旅官兵中毒嚴重，戰鬥力減弱，開始後退。後來，李宗仁命令第59軍堅守徐州城西郊一帶，掩護大部隊離開為止。
李宗仁臨行前，對張自忠交代，完成掩護任務後開到河南許昌集結。
其實第59軍自淮河作戰以來，連續打了3個月，全軍5個旅只剩下不到兩個整旅，是參戰部隊中最需撤出戰場進行休整的。但是張自忠將軍和全軍官兵沒有怨言，他們服從長官的調遣，讓他們殿後就殿後。
完成掩護任務後，他們仍讓一塊兒執行任務的其他部隊先行，自己的第59軍走在最後面。由於他的部隊在撤退時秩序井然，沒有絲毫的驚慌，日軍都不敢輕視他們，認為他們是有準備的，一路上未對第59軍輕舉妄動。張自忠來到濉溪口一帶，見各路大軍擁擠在那裡，亂作一團。第59軍不願擠散自己的部隊，讓第59軍官兵一律將軍帽反戴，以便與其他部隊相區別。
徐州到許昌，相距五百公里，全靠兩條腿。張自忠將軍不搞特殊，與士兵同甘共苦，他同士兵一樣步行，腳上全是血泡。許多官兵走路歪歪倒倒，張將軍把他們集合在一塊兒，把鞋襪脫下，他腳上的血泡比誰都多，而他把腳抬起朝地下一頓，血泡全破了。他大聲說，在戰場上死都不怕的中國軍人，還怕幾個血泡嗎？他頓完雙腳，穿鞋就走。全軍再也沒有一個叫苦的，精神抖擻地開到許昌。
據說後來蔣介石聽說張自忠的傳奇故事，佩