一九三八年三月二十四日，日軍士兵澀谷升日記：
上午六時，向台兒庄前進，第五中隊機槍隊在右側第一線，總隊部向鐵路敵陣開始進攻，敵兵約數千，第五中隊呼應總隊部向敵陣進攻，受敵方猛烈射擊，不支伏於麥田，谷川君戰死，第三小隊之見澤君去向不明，中倉、中原兩君受傷。接著，向鐵路東西面村落夜襲。小隊長下令，各兵要抱死心。敵方以捷克機關槍猛射，我伏在地上，立在前面之森君中彈即死，黑川君亦中彈倒地，金田君負傷。戰車隊向南面驀進，展開肉搏戰，小隊長負傷。因敵兵甚多，我軍含淚而退，馬十匹倒地，經理部長戰死，其他死傷不少。敵方發射愈猛，我中隊不能與總隊部取得聯絡，約歷一夜，川穀君戰死。
這個名叫澀谷升的日軍士兵並不知道，他在中國戰場上的地獄般的經歷才剛剛開始。
堅持要南北夾擊打通津浦路的侵華日軍，儘管在津浦路南段和北段均因受到中國軍隊的不斷阻擊而推進緩慢，但並沒有因此改變其既定的作戰決心。一九三八年三月上旬，日軍華北方面軍再次向東京大本營提出申請：「追剿眼前之敵，決不是深入南進作戰。為警備後方希望增加兵力。」這一次，申請得到了批准，原因「與更換了過去一貫慎重作戰的作戰課課長河邊大佐，於三月一日由陸軍省軍事課高級課員稻田正純中佐就任作戰課長很有關係」，而稻田正純的上任被認為將推動戰爭進入瘋狂狀態。 只是，東京大本營還是對華北方面軍給出了限制：「任何場合，均不得超越臨城、棗莊、臨沂之線。」
然而，侵華日軍不會遵守這一限制。
在攻佔臨城、滕縣之後，南下佔領嶧縣，就已超越了東京大本營設置的限制線。此時，攻擊臨沂的第五師團坂本支隊，因受到中國軍隊張自忠部和龐炳勛部的阻擊無法脫身，第二軍參謀岡本清福大佐來到兗州，向磯谷廉介轉述了坂本支隊的困境，希望得到第十師團的支援。磯谷廉介立即命令瀨谷支隊：在「確保韓庄、台兒庄運河一線，並警備臨城、嶧縣」的同時，「應以儘可能多的兵力向沂州（臨沂）方面突進，協助第五師團戰鬥」。
瀨谷支隊由步兵第三十三旅團司令部，步兵第十、第六十三聯隊，獨立機槍第十大隊，獨立輕裝甲車第十、第十二中隊，野炮兵第十聯隊（缺一個大隊兩個中隊），工兵第十聯隊第一中隊等部隊組成。
三月二十二日，支隊長瀨谷啟下達了作戰命令：
一、右追擊隊作為韓庄守備隊，負責守備韓庄附近；
二、台兒庄派遣隊（步兵第六十三聯隊第二大隊，配屬野炮一個大隊）明二十三日從嶧縣出發，確保台兒庄附近運河一線地區；
三、沂州支隊（步兵第十聯隊）明二十三日從臨城出發，向沂州方面前進，冊應坂本支隊作戰；
四、支隊主力集結於嶧縣附近。
瀨谷啟知道，中國軍隊的第二師、第四師、第二十五師、第八十九師都已進入台兒庄地區。但是，他依舊不顧中國大軍雲集，目中無人的決定孤軍深入，其投入攻台兒庄地區的部隊竟然只有一個大隊——按照日本陸軍的編成標準，一個大隊的規模大於中國軍隊的一個營但小於中國軍隊的一個團，兵力約在一千至一千五百人之間——足見對中國軍隊的極度蔑視。
台兒庄位於山東嶧縣東南，北接津浦路的台棗支線（台兒庄至棗莊），南臨隴海鐵路，西南距徐州五十多公里。大運河從庄南流過，水深兩米多，自古便是魯南的水陸碼頭。台兒庄名為「庄」，實際上是一座有環繞寨牆並有六個寨門的市鎮，寨牆雖兩丈余髙卻由磚土砌成，六個寨門分別是：西門、西北門、北門、東門、東南門、南門。城北是一片開闊地，矗立著大小碉樓數十座；西面是鐵路；東面散布著村莊。
第五戰區司令長官李宗仁後來記述，他對日軍狂妄地孤軍深入是有所預見的：「我當時的作戰腹案，是相機著湯軍團讓開津浦路正面，誘敵深入。我判斷以敵軍之驕狂，磯谷師團長一定不待蚌埠方面援軍北進呼應，便直撲台兒庄，以期一舉而下徐州，奪取打通津浦路的首功。我正要利用敵將此種心理，設成圈套，請君入甕。」 由此，李宗仁擬定的作戰計畫的要義是：湯恩伯部提前集結於嶧縣以北，台兒庄防禦僅僅是正面阻擊和牽制，待沿台棗支線南下的日軍被阻擋在台兒庄時，湯恩伯部將從日軍的側背突然發起攻擊，壓縮並殲滅日軍於微山湖畔。這計畫的合理之處在於：南下冒進的日軍兵力不多，且深入了中國軍隊陣線的腹地，只要不讓日軍很快地衝過去，在湯恩伯部主力的包抄側擊下，冒進的日軍定會陷入進退兩難的境地。這時候，只要中國軍隊勇猛出擊，緊密配合，完全可能給予南下的日軍以重創。——這個先把主力藏起來，然後再殺回來的戰術，被李宗仁稱為「軸迴旋」。
之所以選擇湯恩伯的第二十軍團擔任側擊主力，根本原因還在於湯恩伯部屬於精銳的中央軍部隊。軍團下轄第十三、第五十二、第八十五軍。第十三軍軍長由湯恩伯兼任，下轄第一一〇師，師長張軫。第五十二軍軍長關麟征，下轄第二師，師長鄭洞國；第二十五師，師長張耀明。第八十五軍，軍長王仲廉，下轄第四師，師長陳大慶；第八十九師，師長張雪中。——「該軍團裝備齊全」，是當時中國陸軍中的「精華」。
負責台兒庄正面防禦的，是從第一戰區調來的孫連仲的第二集團軍。該集團軍名義上下轄兩個軍，即田鎮南的第三十軍和馮安邦的第四十二軍，但在之前的平漢路和娘子關作戰中，馮安邦的第四十二軍損失慘重，僅僅剩下一個空架子，孫連仲多次請求補充都未獲批准。所以，此時的第二集團軍，實際上只有三個師可以參加作戰，即黃樵松的第二十七師、張金照的第三十師和池峰城的第三十一師。
第二集團軍屬西北軍舊部，來徐州戰場前被調來調去：先叢山西調到豫鄂交界處的武勝關一帶修築國防工事；後又奉命把修了一半的國防工事交給滇軍第六十軍，北調至鄭州附近去守黃河；剛走到黃河邊上，聽聞滕縣失守，於是奉命東進徐州，歸第五戰區司令長官李宗仁指揮；走到半路，又接到命令，要求趕赴台兒庄地區歸湯恩伯指揮。此時，孫連仲的任務僅僅是牽制住日軍，以便湯恩伯部主力從側背出擊。
因部隊過鄭州時師長池峰城因事停留，李宗仁將師參謀主任屈伸叫到了徐州，當面交代給第三十一師的任務是：背靠台兒庄，向北面的嶧縣出擊誘敵；在日軍受到引誘發起進攻時，堅決守住台兒庄陣地。李宗仁說：「敵如出而迎戰，貴師應儘力堵擊，迨湯恩伯軍團進擊側背，全力壓迫敵人於微山湖畔聚而殲之；敵如固守待援，貴師應儘力牽制，監視敵人，掩護關麟征軍北上與王仲廉軍協力包圍攻擊，殲滅棗莊之敵，再回師合擊嶧縣之敵，將戰線推進到兗州以北。為了協同方便，貴師即暫歸湯軍團長指揮。」
師長池峰城趕到台兒庄後，正在北上的第二十軍團路過台兒庄南車站，池峰城在車站裡會晤了軍團長湯恩伯和第五十二軍軍長關麟征。湯恩伯表示：「貴師任務重大，務須努力堵擊敵人南進。」而他的部隊將在第三十一師與敵接火後，「不顧一切，馬上抄襲敵之側背」，絕不會讓貴軍「孤軍苦戰」。為了屆時緊密協同，請池師長暫接受關軍長指揮，「一切細節問題請與關軍長就近協商」。池峰城立刻向關麟徵詢問了他最關切的一個問題，即一旦第三十一師與日軍打起來，第五十二軍何時才能發起側擊？換句話說，第三十一師在台兒庄到底堅守幾天才算完成任務？關軍長的回答毫不含糊：「貴師與敵接觸，槍聲一響，我們便能馬上回援，按距離算，最多不出一日定可回援。貴師守台兒庄，能堅持三天即算完成任務。」
池峰城師長無論如何也想不到，後來戰局的演變與關軍長的承諾毫不沾邊，他的部隊不但變成了日軍的主攻對象，他負責防守的台兒庄也變成了戰區的主戰場；而且，圍繞著台兒庄的慘烈戰鬥，竟然持續了半個月之久。其間每一天的每一分每一秒，他都在苦盼著李宗仁的那個「軸迴旋」立即實施，苦盼著湯恩伯部能「不顧一切」「馬上回援」。他不得不「孤軍苦戰」，在那些血肉橫飛的日子裡承受利刀剜骨般的煎熬。
第二集團軍抵達台兒庄後，孫連仲將他的三個師鋪開設防：第三十師在左翼，第二十七師在右翼，第三十一師在中間防守台兒庄。第三十師下轄兩個旅四個團，加上師直屬各部隊，兵力約萬餘人。官兵手裡的步槍型號很雜，以漢陽造的七九步槍居多，還有日本三八式和六五式，以及少量的捷克式七九槍。每連有輕機槍三至四挺，每營有重機槍至四挺，每團迫擊炮連有八二迫擊炮四門。全師配屬一個炮兵營，有野炮十門。
剛進入台兒庄的時候，這裡的店鋪還在營業，街上的行人也是神情悠然。但是，一看到第三十一師官兵駐紮下來，聽說這裡將要和日本人打仗時，一夜之間台兒庄成了一座空城。
二十二日，上午十一時，第五十二軍軍長關麟徵發布作戰命