在台兒庄大捷之後，日本大本營重新制定了圍剿徐州中國60萬大軍的作戰計畫。日軍從寧、蘇、皖抽調部隊，4月下旬在進攻策略上也作了調整。他們為排除側翼上被中國軍隊突擊的危險，便以主力配合大量裝甲部隊和飛機向西部閃電挺進，迅速攻佔合肥，首先壓迫李品仙第11集團軍的31軍西撤退守到大別山外圍的六安縣，然後日軍又轉向對據守在淮河中游一帶的廖磊第21集團軍的第7軍、第48軍進行攻擊。防守在淮河兩岸和田家鎮、壽縣、正陽關等重要據點的部隊，為避免被敵人包圍殲滅，在作稍事抵抗後，自動放棄防守陣地，實行化整為零的游擊戰術，同敵人糾纏，計畫在這一地區拖垮、拖累日軍，再作分割包圍殲滅。但是日軍為實現大本營的作戰意圖，不同中國軍隊糾纏，而以第3師團、第9師團、第13師團和井關的機械化部隊，循渦河地區向蒙城邁進。同時，蚌埠南岸附近的日軍也搶渡淮河，向北急進。
防守在淮河北岸的第51軍和第77軍，忽然受到日軍優勢力量的壓迫，不得不放棄自己堅守的陣線，連夜向東邊的皖、蘇邊境撤退。劉汝明的第68軍奉命南下增援，行到夾溝地區，守軍早已撤退轉移，而第68軍處在十分危險的位置，所以全軍奉命向渦陽突出重圍。
劉汝明的第68軍突圍後，徐州以南津浦路防線完全敞開。在皖北地區的第21集團軍總司令廖磊，見事情嚴重，速派集團軍總預備隊前去扼守蒙城和宿縣。第173師師長楊俊昌和副師長周元各把持一個縣城，周元副師長率133團守蒙城，楊俊昌師長率兩團守宿縣。
蒙城阻擊日軍4天，周元副師長壯烈犧牲，全團官兵活著跑出來的只有十幾人。佔領蒙城的日軍，沒有休整，便馬不停蹄地繼續向北進軍，矛頭直指皖北重鎮宿縣。日軍攻佔蒙城後，便在蒙城設置後方根據地，計畫以蒙城為據點，向徐州進取。
日軍在蒙城集中了龐大的兵力，向南宿縣進攻的就達3個主力師團，據守在南宿縣的楊俊昌師長只有兩個步兵團，可想而知戰鬥的慘烈狀況。
日軍的主力沒有用多大的氣力，他們萬炮齊轟，把縣城城牆夷為平地，再出動飛機轟炸、掃射，然後作集團式的衝鋒。在步兵前面是數十輛坦克、裝甲戰車。
中國守軍在完全處於劣勢的情況下，用身體和熱血扞衛城池。戰鬥的激烈狀況不亞於蒙城周元副師長他們。對這場戰鬥，第五戰區司令長官李宗仁回憶說：
楊師長俊昌，率所部扼守南宿縣，因城牆被敵炮摧毀，被迫撤至郊外，損失雖重，尚未全部犧牲。
李宗仁在回憶南宿縣時，說尚未全部犧牲，是同早兩天蒙城之戰相比較而說的。他回憶蒙城阻擊戰時說：
當敵軍猛烈進攻時，周副師長曾數度奮起反攻，期望衝破重圍，無奈敵人火網嚴密，未能成功。除二十一名士兵乘黑夜蛇行逃出，幸免於難外，其餘官兵、夫役、馬匹等則一概為國犧牲。
而後人說到徐州會戰時，對南宿縣楊俊昌師長血戰一事，提及的不多。
就是說到也不過寥寥數語。這是因為楊俊昌師長被軍法審判，判了10年。
這件事情發生在徐州第五戰區大撤退的時候，李宗仁在他的回憶錄里說：
當長官部最後自徐州撤退時，二十一集團軍總司令廖磊曾嚴令師長楊俊昌死守宿縣，俟長官部退過宿縣，始可放棄。無奈敵軍企圖斷我後路，以優勢兵力猛攻宿縣。我守軍至勢突力竭時，楊師長便向廖總司令請示，電話尚未說完，敵軍已攻進城內，俊昌便放下聽筒，且戰且走，放棄了宿縣。廖磊大怒，呈請嚴辦楊俊昌。楊遂被押往漢口，交軍法會審，判處監禁十年。其實楊師的守宿縣，已用盡最後力量，力竭始退。所以如楊師長的十年監禁，多少有點冤枉。嗣後他在湘西芷江監獄，不時寫信給我，請求緩頰。我因未便徇私，總是復書叫他耐性等待。俊昌足足坐了十年牢，勝利後才恢複自由。
也許是這個原因，才少提或者不提楊俊昌血戰南宿縣一事。為我中華英勇獻身的無數英雄，他們的功績不能被埋沒。當年為保衛南宿縣阻止日軍北上徐州而英勇戰鬥的勇士們的精神，還需後人繼承和發揚，所以有必要在這裡重新提起這場阻擊戰，以表對先烈們的崇高敬意。
南宿縣阻擊戰失敗，遠在河南新安縣的第77軍軍訓團並不知道，他們只知道徐州吃緊，接到命令讓他們派1個大隊前去增援。第77軍軍訓團決定派第4大隊出征。第4大隊是以第77軍學兵大隊為基礎組建起來的，大多是受過軍事訓練的青年學生。他們高唱著《義勇軍進行曲》，從新安縣乘火車，途經濟陽、鄭州、開封、商丘到宿縣。
在安徽宿縣，日本飛機輪番轟炸火車站。他們在車站附近利用地形掩護，組織火力對空射擊，致使敵機不敢肆意低空狂炸。然後4大隊向南坪集中，沿途看見安徽民眾慘遭日軍殘害，飽嘗了戰爭的災難。第4大隊同學們心情激昂，決心狠狠打擊敵人，以雪國恥。
第4大隊到達宿縣與蒙城之間的南坪鎮時，徐州局勢更為惡化，徐州以西的隴海鐵路和徐州以南的津浦交通全部被日軍截斷。第4大隊在南坪以北的澮河岸邊布防，阻擊日軍南下澮河。
剛剛布防完的第4大隊接到偵察員的報告，說是有兩百人的日軍已由雙堆集方向沿澮河南岸開過來了。這個情況來得很突然，出乎第4大隊的意料。大隊長黃省周分析了情況，他認為敵人整隊而來，又不知我們在此，那就給他來個攻其不備吧！大隊研究決定，同日軍打近戰，突擊消滅敵人。
日軍大隊前行，走到第4大隊伏擊圈內，機槍、步槍突然響起，把日軍打了個措手不及。兩個騎馬挎刀的指揮官被擊中，從戰馬上摔下來，日軍在混亂中拖著死傷官兵倉皇退出戰場。
第4大隊在澮河南岸地區主動出擊，給日軍以很大的打擊。那天他們在張庄發現有二三百名日軍，同張庄相連的是趙莊，在趙莊還停放有日軍的大炮和十幾輛坦克。敵人有些大意，他們正在燒火做飯、休息，連個站崗放哨的都沒有。
第4大隊決定給敵人以打擊。黃大隊長從各中隊挑選10名敢死隊員，共有六七十人。每人帶上6枚手榴彈攻打趙莊，其餘戰鬥人員攻打張庄。
張庄、趙莊的攻擊行動要統一，由趙莊敢死隊在庄頭點火為號。
趙莊西頭，敢死隊員點燃了草堆，冒出了濃濃的白煙，兩個村莊的戰鬥開始了。第4大隊的炮兵配合向庄內的日軍猛烈轟擊，雙方槍對槍、刀對刀地幹起來了。戰鬥打了一個多小時，雙方傷亡慘重。敢死隊在趙莊炸毀敵坦克，燃燒的坦克冒出滾滾濃煙。張庄的日軍倒下一大片。
第4大隊邊戰邊撤退，從張庄退回到陣地上來的隊員只有一半了，敢死隊的傷亡也很大，只退回來幾個人。日軍由於傷亡很大，不敢出村追擊，只在村莊邊上與第4大隊對峙。
第二天第4大隊陷入日軍重圍。他們在黃省周的率領下，同日軍作拚死抗爭，經過一場激烈的肉搏戰後，終於打開了缺口，剩餘隊員向宿縣以東轉移。在突圍戰中，第4大隊又傷亡大半，只剩兩百多人，大隊長黃省周和幾個中隊長陣亡。全大隊重新組合為兩個中隊，在洪澤湖一帶開展游擊戰。直到一個多月後，才回到商城、潢川一帶，在河南省地界上重歸建制。