1937年12月，日軍在攻佔國府南京後，氣焰極為囂張，其後續作戰計畫為打通津浦線，將平津到長江以北地區連成一片，而這一中間地帶，正是李宗仁將軍所負責的第五戰區。
面對日軍的南北夾擊，李宗仁手裡可以指揮的部隊卻少得可憐，其中又大都是一些雜牌部隊，「三四等的貨色」，如龐炳勛的第三軍團，其出身為原西北軍，名義上為一個「軍團」，實質上只有五個步兵團而已，作戰能力十分有限；原屬東北軍的于學忠第五十一軍及繆澂流第五十七軍，裝備尚可，但算不上什麼勁旅；韓德勤的第八十九軍，原是江蘇保安隊改編，非正規軍出身，戰鬥力薄弱；韓復榘手下的第十二軍（軍長孫桐萱）與第五十五軍（軍長曹福林），雖說訓練及裝備還可以，但蔣介石都指揮不動他，何況是李宗仁呢？
唯獨可靠的，是廣西調來的第三十一軍（軍長劉士毅，下轄三個師），因為這個軍是李宗仁在家鄉親自徵調成立的，各級幹部多為北伐期間的老班底，雖然新招募的士兵訓練不足，也無作戰經驗，但指揮起來終歸要強於其他部隊。
李宗仁在擔任第五戰區司令長官後，指揮部便設在了徐州。從軍事上來說，徐州屬四戰之區，歷來就是兵家必爭之地，在之前的短短十年間，徐州已經經歷過多次重大戰爭，如1925年奉軍南下、1927年北伐軍北上及1930年的中原大戰（包括後來的淮海戰役），徐州都是各方力爭的重點，因為控制徐州後，北上可以直逼濟南、平津，南下可以直達蚌埠、南京，其戰略意義毋庸多言。
日軍在攻下南京後，隨即以八師之眾分別從鎮江、蕪湖、南京三路北上，光進攻津浦路正面的就有三個師。對此，李宗仁令第三十一軍在明光一帶進行阻擊，日軍在遭到頑強抵抗後大為驚異，只好從南京調來野炮、坦克進行支援。但日本援軍到後，第三十一軍卻突然讓開津浦路正面，等日軍進佔蚌埠之後，于學忠的第五十一軍前來防守淮河沿岸，而之前撤退的第三十一軍轉從側後出擊，將津浦路截成數段，從淞滬戰場上撤下來的廖磊第二十一集團軍（同為桂系軍隊）也增援到合肥，日軍首尾不能相顧，雙方隔著淮河對峙，陷入了膠著狀態。
但在津浦路的北段，情況就不容樂觀了。山東軍隊與日軍甫一交戰，便損失了三個團，韓復榘在自知不敵的情況下，為保存實力而下令將手下兩個軍撤入魯西北，致使津浦路北面門戶洞開，日軍在攻下濟南後迅速南下泰安、濟寧、兗州，離第五戰區司令部所在地徐州已經不足200公里。
韓復榘也為此付出了沉重的代價。據李宗仁回憶，蔣介石隨後召集軍事會議，散會後，正當眾人紛紛離去之時，劉峙突然起立大呼道：「韓總司令請慢點走，委員長有話要同你講！」韓復榘聞言留下，離去的眾人遂議論紛紛，齊說：「韓復榘糟了，韓復榘糟了！」據李宗仁所說，散會的時候他走在最後，「只見會場內留有委員長的便衣衛士四五人。劉峙便指著衛士對韓復榘說『韓總司令，你可以跟他們去』，韓氏臉上頓時發青，低著頭，蹣跚地隨衛士去了」。韓復榘最後未經軍法審判便告槍決，死得很不光彩，但也令軍中為之一震，起到了殺一儆百的作用。
殺了韓復榘，戰爭仍在繼續。當時沿津浦路正面南下攻打徐州的是日軍磯谷廉介的第十師團，另外還有從青島、濰坊方向西進的第五師團（由當年策劃「九一八事變」的板垣征四郎率領）。磯谷廉介、板垣征四郎與土肥原賢二當時被稱為日本的三大「中國通」，這三人，與後來的「中國派遣軍」總司令岡村寧次以及荒木貞夫、本庄繁、松井石根、阿部信行等人，都是日本士官學校第16期畢業（與中國留日士官生第三期蔡鍔、蔣百里、許崇智、曲同豐等人共同上課、同期畢業）。
磯谷師團與板垣師團都是日軍中最精銳的機械化部隊，其兵力和火力也遠遠超過了中國軍隊。從編製上來看，日本的師團、旅團、聯隊、大隊、中隊、小隊可分別對應中國的師、旅、團、營、連、排，但當時中國一個基準師的兵力大約為一萬人左右，而日軍一個常設師團的兵力超過兩萬人；從火力上看，日軍在輕重機槍、榴野山炮等武器配置方面都遠遠超過了中國軍隊，而日軍擁有的飛機坦克及機械化程度也都是中國軍隊所不可比擬的，因此，就戰鬥力而言，一個日本甲種師團可能比中國軍隊一個王牌軍還要強大。
日軍的作戰計畫是，磯谷師團由北向南，板垣師團由東向西，與北上的日軍彼此呼應，最後合圍徐州，一舉消滅該戰區的中國軍隊。1938年3月12日，坂垣師團猛攻徐州東北方向兩百里的臨沂，當時防守的部隊是只有五個團兵力的龐炳勛軍團。龐炳勛從戎多年，當時已經50多歲，他在之前的內戰中曾腿部受傷，腳有點拐，人送綽號「龐拐子」，但其屬下的子弟兵卻極為團結，因為龐炳勛本人一向廉潔愛兵，能與士卒共甘苦，因此龐炳勛在之前的戰爭中雖然數經敗陣，但隊伍仍舊得以不散。
論年紀和資歷，李宗仁恐怕還比不過龐炳勛，但李宗仁善於察言觀色，知人善用，他對這位老前輩也是優禮相待，並推心置腹地說，我們這些人，打了二十多年的內戰，現在仔細回想那種生活，實在是太沒有意義了。黑白不明，是非不分，敗不足恥，勝不足武，所幸現在有一個抗日報國的機會，可以為國家、為民族而戰死沙場，能夠真正地死得其所，如此，才不愧做一軍人，以終其生。
龐炳勛一向以保存實力而聞名，他聽了當即表示為了抗日，「絕不再保存實力，一定同敵人拼到底」。李宗仁問起他們有什麼困難時，龐炳勛嘆了口氣，說中央要將他們的特務團裁去，五個團歸併為四個團，但他們的部隊兵額都是足額的，不能歸併就只有遣散，那弟兄們怎麼辦呢？可要是不歸併的話，中央就要停發整個部隊的糧餉，這可如何是好？李宗仁聽後當即表示要為他們解決此事，最後龐炳勛軍團得以保留原建制；與此同時，李宗仁又令兵站總監盡量補充龐炳勛軍團武器彈藥，令全軍上下士卒歡騰，隱然已成一支勁旅。
日軍進攻臨沂後，龐炳勛果然沒有保存實力而是與敵力拚，號稱精銳的板垣師團竟然在數日間不能得逞，一時中外哄傳，贏得了各方的交口稱讚。板垣征四郎被挫於一支名不見經傳的「雜牌部隊」，臉上很掛不住，隨即加強攻勢，龐炳勛軍團這時傷亡過大，有點吃不住了。
好在這時一支新部隊開到了第五戰區，這就是張自忠的第五十九軍。張自忠也是西北軍出身，但他不太願意去援救龐炳勛，因為他倆在之前的內戰中有過私怨，張自忠曾遭遇龐軍的襲擊，險些丟了性命。在李宗仁的勸說下，張自忠最後服從了命令，迅即開往臨沂前線。
說到這裡，還有一段小插曲。馮玉祥在中原大戰失敗下野後，西北軍四分五裂，韓復榘、石友三等人在山東等地獨立門戶，另一些較為忠誠的部隊如孫連仲、張自忠等部則在宋哲元的整理下，分駐在華北、西北等地。在日軍策劃「華北特殊化」時期，張自忠被宋哲元任命為北平市長，很長一段時間為人所誤解，其忍辱負重被民眾目為「漢奸」，特別是「七七事變」北平失陷後，張自忠被指責為「擅離職守、不事抵抗」，其本人來京請罪，而有輿論竟要求對其進行軍法會審。
李宗仁在得知情況後，他親自把張自忠請來，勸他不要灰心，將來要將功贖罪，並表示願意向蔣介石進言，讓他重新回去仍帶他的五十九軍（當時有人想瓜分張自忠的部隊）。張自忠聽後極為感動，表示中央能夠寬恕他的罪過的話，他必將戴罪圖功。在李宗仁的努力下，蔣介石同意將張自忠放回去。
張自忠在返回之前，特意到李宗仁處致謝，他至為激動地說：「要不是李長官一言九鼎，我張某縱不被槍斃，也當長陷縲紲之中，為民族罪人。今蒙長官成全，恩同再造，我張某有生之日，當以熱血生命以報國家，以報知遇。」（後來張自忠為國捐軀，恐怕也是出於自洗清白的「孤憤」之舉。）
正因為有這段機緣，張自忠在李宗仁「捐棄前嫌」的勸導下，二話沒說就以急行軍的速度開赴臨沂前線。張自忠的部隊裝備較好，士氣也很旺盛，每一士兵還按西北軍的老傳統配有一把大刀。在接敵之後，張自忠的先頭部隊出其不意地突入敵陣，並使用大刀、手榴彈與之短兵相接，直殺得日軍落花流水，驚呼：「馮玉祥的大刀隊來了！」
由此，張自忠不但解救了龐炳勛軍團，而且打了一個不小的勝仗，迫使日軍撤去臨沂之圍，前往台兒庄會師的計畫也就成了泡影。此戰之後，張自忠與龐炳勛重歸於好並成為莫逆之交，也是抗戰史上的一段佳話。
在臨沂大戰的同時，日軍磯谷師團也從兗州南下，在攻克鄒縣後直撲滕縣，此地離徐州只有百里之遙。這時，川軍鄧錫侯部沿隴海路趕到徐州增援，李宗仁急調其第四十一軍（軍長孫震）的第一二二師（師長王銘章）及第一二四師（師長稅梯青）前去堵截，因日軍已佔領鄒縣，川軍二師便分別在滕縣城內外布防，王