3月17日、18日，日軍第2軍第10師團的瀨谷支隊先後攻佔了臨城及滕縣，令步兵第63聯隊的第1大隊（欠1個中隊）繼續沿津浦路南進，向韓庄追擊；為了控制棗莊煤礦，又令第63聯隊的第2大隊向嶧縣追擊。3月19日，日軍第63聯隊的第1、第2大隊分別擊退了剛剛趕至沙河及嶧縣布防的第20軍團第85軍第89師的第6旅及第4師的第23團，佔領了韓庄、嶧縣。
由於臨沂方面日軍第5師團坂本支隊進攻受挫、處境困難，第2軍參謀清福大佐到兗州面告第10師團師團長，希望對坂本支隊予以支援。師團長磯谷廉介於20日命令瀨谷支隊：「須確保韓庄至台兒庄運河一線，並警備臨城、嶧縣，同時應以儘可能多的兵力向臨沂方面前進，協助第5師團戰鬥。」瀨谷啟即率第63聯隊進至嶧縣；22日，根據師團長意圖下達了作戰命令，主要內容為：「（1）第63聯隊第1大隊（欠1個中隊）擔任韓庄地區的守備。（2）第63聯隊第2大隊，配屬野炮1個大隊，明日（23日）從嶧縣出發，進佔並確保台兒庄附近運河一線地區。（3）步兵第10聯隊，明日從臨城出發，向臨沂方向前進，策應第5師團之坂本支隊作戰。（4）瀨谷支隊主力集結於嶧縣附近」，觀察情況的發展，再作出下一步的處置。3月22日，瀨谷啟得到航空兵空中偵察的報告：微山湖上中國軍隊約千餘艘小船正向湖東的夏鎮前進。由於這一新的情況，瀨谷啟改變了決心，支隊主力亦暫不向嶧縣集中，仍留臨城地區，準備應付微山湖方面可能發生的進攻，但第63聯隊第2大隊的任務不變，仍向台兒庄進攻（稱該大隊為「台兒庄派遣隊」）。
當津浦路北段日軍開始由鄒縣南進時，軍事委員會除將湯恩伯第20軍團轉移於第五戰區外，3月14日又將軍事委員會直接掌握的孫連仲第2集團軍轉隸第五戰區。李宗仁在臨城失守時決心集中兵力將向津浦路南進的日軍圍殲於臨城以南地區。3月19日擬定了作戰命令，21日報請蔣介石審核。其關於津浦路正面作戰的主要內容為：「（1）臨城、嶧縣、韓庄間之敵約步兵三聯隊、騎兵1聯隊、炮兵1聯隊、坦克車五六十輛，自14日以來，在界河、滕縣、南沙河及臨、棗各地與我鄧集團（指第22集團）及王軍（指王仲廉第85軍）激戰，現分部南進，已達韓庄及嶧縣附近，其主力似尚在臨城。（2）戰區以收復魯中廣大地區為目的，以一部在運河之線取攻勢防禦態勢，以主力由嶧縣東南及東北山地，側擊南下之敵，聚殲於臨棗支線與韓庄運河間地區。（3）各部隊之部署及任務如左：甲、湯軍團新配屬31師（欠110師），應集中主力於嶧縣東側及棗莊西北方焦山頭附近一帶山地，於3月20日（後改為24日）拂曉全線開始攻擊，務先擊破嶧、棗之敵，向臨城、沙溝兩地附近側擊，壓迫敵於微山湖東岸而殲滅之。其一部集結於台兒庄北方地區，準備對嶧縣及其西北地區協力於主力作戰。乙、孫集團軍新配屬110師（欠31團），應以一部在侯新閘以西運河南岸防禦，待機渡河北進，主力控置於賈汪附近及荊山、茅村鎮間」。蔣介石於當日21時複電，原則批准，但對其部署作了修正，指示：「（1）湯軍團進出運河後，以約兩師對嶧縣方面佯攻，以三師由嶧縣以東梯次迂迴求滕縣以南亘嶧縣間敵之側背攻擊之。（2）張軫師（指第110師）及獨44旅歸孫仿魯（孫連仲）指揮，守備運河。（3）孫仿魯部兩師集結徐州待機。（4）張自忠軍（略）。（5）孫、曹（指孫桐萱、曹福林之第3集團軍）出擊部隊，除以主力向鄒縣、兩下店間地區挺進外，另以兩團由汶上方面向肥城、大汶口挺進游擊，限宥日（26日）到達，准予懸賞。萬一敵有增援隊由濟寧出擊時，除守勢部隊竭力阻止外，其出擊部隊仍須在鐵路線上游擊，不得撤回運河西岸。」
至3月22日夜，第20軍團的第52軍已將運河南岸防務交第110師，該軍北向蘭陵鎮地區轉進；第85軍已與韓庄、嶧縣之敵脫離接觸，正向青山地區轉移；配屬第20軍團的第31師進至台兒庄地區（第31師於24日仍歸屬第2集團軍）；第110師及獨立第44旅在運河南岸台兒庄至韓庄間防守，第2集團軍的第27師在賈汪地區，總司令部及第30師在徐州附近的茅村地區。
第五戰區這次攻勢作戰的主力是第20軍團。第31師的任務是以佯攻或固守手段牽制住嶧縣日軍，以便於第20軍團從側背攻擊、殲滅敵人。早在第31師副師長屈伸於3月19日先行到達徐州受領任務時，李宗仁就已將這次戰役的作戰方針及指導要領告訴他。李宗仁說：「魯南突出冒進之敵約一個師，有進窺徐州之模樣，你師到車輻山後，先接替台兒庄沿運河的防線，爾後向嶧縣之敵攻擊前進。敵如出而迎戰，你師應全力堵擊，迨湯恩伯軍團進擊敵側背，全力壓迫敵人於微山湖畔聚而殲之；敵如固守待援，你師應儘力牽制，監視敵人，掩護關麟徵軍北上與王仲廉軍協力包圍攻擊，殲滅棗莊之敵，再回師合擊嶧縣之敵，將戰線推進到兗州以北。為了協同方便，你師即暫歸湯軍團長指揮。」
22日，湯恩伯在台兒庄也曾向池峰城告知上述作戰企圖，並表示：「設嶧縣之敵憑藉嶧縣山城固守，則軍團之攻略不易得手。31師應誘敵脫離山城，則殲敵易舉。」還說：你們與敵接觸後一日之內軍團即可回援，你師如能在台兒庄堅守三日即算完成任務。池峰城根據上級的意圖，決心提前於23日「拂曉向嶧縣之敵施行佯攻，期誘敵於南、北洛附近而抑留之，待軍團主力之南旋而殲滅之」。基於上述決心，22日15時下達作戰命令，主要內容為：「（1）第93旅之185團位置於北洛，以一營進至前城、趙莊地區，該旅之便衣隊即向獐山、北山、西黃山湖搜索而佔領之。旅部率禹營（指第186團第3營禹功魁營）位置於南洛附近，應於明（23）日拂曉後向嶧縣之敵行佯攻，後逐次抵抗於北洛附近。第188團（欠1營）擔任台兒庄之守備。（2）第91旅以181團控置於台兒庄，以182團擔任台兒庄運河南岸警戒。（3）師部推進至台兒庄。」
至3月22日夜，第20軍團的第52軍將運河南岸防務移交第110師後進至向庄地區。第85軍已與韓庄、嶧縣之敵脫離接觸，後轉移至抱犢崮山區。
3月23日拂曉，第31師師長令旅長乜子彬率1個團向嶧縣攻擊前進。與此同時，日軍「台兒庄派遣隊」也由嶧縣出發向台兒庄攻擊前進，雙方在獐山遭遇。日軍擊退第31師的騎兵搜索隊及擊殲第183團的尖兵連後，在泥溝又擊退了第183團的前衛營，於當晚佔領了北洛。瀨谷啟於戰俘口中得知：嶧縣周圍的部隊是中國軍隊第20軍團的4個師；第五戰區司令長官李宗仁已命令湯恩伯在嶧縣東北及北方的山區集結，24日開始攻擊，企圖將韓庄、臨城一帶日軍壓迫、殲滅於微山湖東岸地區；湯恩伯現在向城。於是決定將支隊主力集結於臨城、嶧縣，準備與湯軍作戰，原定支援臨沂的部隊減為1個大隊，對進攻台兒庄的兵力與任務則不變動。連夜下達命令：「（1）支隊以一部遣往沂州方向策應坂本支隊，主力確保韓庄及台兒庄附近的大運河一線。（2）沂州支隊（以步兵第10聯隊第2大隊為基幹）24日從臨城出發，向沂州方向前進，策應坂本支隊作戰。（3）步兵第10聯隊（欠第2大隊，配屬炮兵等）以一部確保韓庄附近大運河線，主力於臨城集結。（4）步兵第63聯隊（欠1個大隊，配屬炮兵等）以一部確保台兒庄附近大運河線，主力集結於嶧縣。（5）支隊司令部及直屬部隊集結於棗莊附近。」
24日，中國空軍為支援第20軍團進攻作戰，拂曉後以轟炸機14架轟炸了韓庄、臨城及棗莊的日軍，但第20軍團並未按預定的時間開始進攻。當晚，軍團部及第85軍仍在抱犢崮山區中，僅第52軍到達了預定的進攻出發地位——郭里集、鵓鴿窩之線。當日，蔣介石至徐州視察，將隨行的副參謀總長白崇禧、軍令部次長林蔚及廳長劉斐等留第五戰區協助李宗仁策劃作戰。同時令第31師改為防守台兒庄，並增調炮第7團的野炮1個營（有瀋陽造仿克魯75毫米野炮10門）、機械化野戰重炮兵1個連（有德國造卜福斯的150毫米榴彈炮2門）及鐵甲車第3中隊配屬第31師，以加強台兒庄的防守火力；還令第31師解除第20軍團的配屬任務，歸還第2集團軍建制，由孫連仲統一指揮台兒庄方面的作戰。孫連仲於當日進至台兒庄運河南岸的韓家寺，將其第27師由賈汪推進至台兒庄附近，接替第31師河防部隊，以加強台兒庄的防守力量。
同日，日軍沂州支隊開始東進，當晚宿營於棗莊，以約1個中隊的兵力為先遣隊，進至郭里集，佔據了村東北角的大碉樓。「台兒庄派遣隊」繼續由北洛向台兒庄進攻，中午前後攻佔南洛，黃昏時推進至台兒庄附近。台兒庄南靠運河北岸，四周有長約4公里的磚砌城牆，並建有大小碉堡多座，共有6個城門，城西南角的文昌