在接到大賀的求救電後，日軍第十一軍總部當時就慌作了一團。園部司令官急令已返回原駐地的第三十三師團馳援解圍，同時軍參謀長木下勇少將等人也匆匆趕往南昌坐鎮指揮。
日軍第三十三師團自3月24日出發，沿途須翻越崇山峻岭，而公路則早已遭到破壞，實際道路只能容一路縱隊前進，有些地方甚至連馬都不能騎，加上中國軍隊的頑強阻擊，所以進展非常緩慢。3月27日，該師團終於在官橋包圍圈的東北角打開缺口，並與第三十四師團取得了聯繫。
3月27日當天，在第三十三師團的拖後掩護下，日軍第三十四師團開始組織全線撤退，部隊急不可耐地渡過泗溪，向北面的土地王廟村逃去。
讓大賀萬萬想不到的是，他們剛出火坑，轉眼又沉到了海底。正是在土地王廟，中方第十九集團軍完成了繼官橋之外的第二個包圍圈：早在五天前，第七十軍預九師就進入土地王廟，並在這裡建立了中樞陣地，而在日軍的側背和尾部，則有以七十四軍為主的六個師平行追擊。
日軍第三十四師團攜帶著數百名傷病員，其行軍序列為師團司令部在前，病員輸送隊、野戰醫院、獨立山炮隊居中，後衛部隊殿後掩護。入夜之後，雷電交加，大雨傾盆，各部隊儘快急於脫離包圍，但由於道路泥濘，夜色昏暗，加上又需加以戒備，所以行軍速度始終快不起來。
3月28日凌晨兩點，在土地王廟的西端，日軍負責野戰醫院警衛的野炮兵第八中隊遭到中方預九師的圍攻。其所屬的炮兵大隊部向大賀請求增援，大賀考慮到，若零星派出增援部隊，整個師團的後撤速度將因此減慢而招致更大的危險，因此給出的答覆很是冷酷無情：「由於情況緊急，部隊可放棄第八中隊，迅速向旅團司令部前進。」
援兵不至，第八中隊被全部消滅。覆滅之前，該中隊知道難以逃脫，已將火炮全部毀壞。現今北京軍事博物館抗日戰爭紀念館中陳列的一門炮的殘存炮身，就來自於此次戰鬥。
至下午兩點，日軍第三十四師團才突出包圍圈。此時他們的傷亡又大量增加，儘管在慌亂的撤退中，許多抓來的民夫已乘機逃跑，但抬運傷病員的大擔架隊仍長達好幾公里。
第三十四師團脫離了險境，為之做掩護的第三十三師團還在後面煎熬著。當天凌晨，中方五十七師、五十八師相繼迫近官橋核心陣地，五十一師在掃清錦江南岸之敵後也適時趕到，對日軍右側背發起猛襲。隨後，五十七師、五十八師沖入官橋鎮，與日軍第三十三師團留下阻擊的數百名日軍展開巷戰，激戰至下午，七十四軍收復了官橋、泗溪，殲敵六百多敵人。
3月29日，日軍第三十三師團全線撤退，但當後撤到泗溪西北約五公里時，就開始處處遭到中方各路部隊的側擊，為此他們不得不展開全部兵力作戰以求解脫。因為輕裝救援，日軍第三十三師團所攜帶的糧食彈藥並不多，官兵們陷入了飢餓和極度緊張的狀態之中。經過多次苦戰，最後連山炮部隊的炮彈也全部用光了，處於不能射擊的狀態，只能靠空投彈藥來繼續維持。後來當第三十三師團的劫後餘生者們在談到在泗溪一帶的作戰情況時，仍然心有餘悸，認為當時那種凄苦的慘狀，實在難以用語言來形容。
4月2日，日軍第三十四師團、第三十三師團先後逃回原駐地，上高會戰以中方全勝的結果完美落幕。
此役中國軍隊重創日軍第三十三師團，斃傷第三十四師團步兵指揮官岩永少將、第二一四聯隊長濱田大佐以下一萬五千七百九十二人，擊落日機一架，俘虜日軍一百多人，繳獲山炮、迫擊炮十門，步槍一千多支。
這次會戰與以往會戰最大的一個不同點，是參戰中國軍隊在數量上並不佔有很大優勢，甚至在上高保衛戰中，還明顯少於對手，在這樣條件下猶能取得完勝，實屬難能可貴，也可以說，抗戰以來僅此一例。所以何應欽在對新聞記者發表談話時說：「上高會戰，是抗戰四年來最精彩之戰。」
正如第十九集團軍作戰參謀藍介愚所分析的，上高會戰前，廣州、武漢、南昌的連連失守，令第十九集團軍的多數部隊在對日作戰時都有些膽怯畏戰，但經此一戰，畏怯者變成了贛北日軍，他們再不敢隨隨便便舉兵西犯了。
「天蒼蒼，野茫茫，上高東北好戰場，錦江夾岸陣堂堂。」上高會戰的勝利，固然建立在羅卓英「後退決戰」戰略的基礎之上，但歸根結底，七十四軍在上高誓死不退，血戰數夜，才是致勝的關鍵。只有戰鬥的勝利，方能保障戰略戰術的成功，作為戰役指揮者，羅卓英很清楚這一點，他在評點上高會戰時說了一句很中肯的話：「第七十四軍好比袋子底，這次袋子底很堅強，沒有把敵人漏掉。」
整個上高會戰，中國軍隊共計傷亡20333人，其中七十四軍傷亡達到10651人，佔總傷亡人數的一半還多，無論是付出的代價還是作出的貢獻，七十四軍都稱得上居功至偉。論功行賞，七十四軍被頒授「青天白日飛虎錦旗」，第五十一師榮獲國民政府第一號武功狀，第五十七師榮獲第二號武功狀，同時被命名為「虎賁師」，全師官兵都戴上了「虎賁」袖標。
王耀武、李天霞、余程萬、張靈甫等將領及有功官兵均獲勳章或獎章，其中王耀武被授予第一級別的青天白日勳章。以上錦旗和獎勳章均由重慶派專機送達長沙，再用專車送到上高，由羅卓英代表軍委會頒授。
羅卓英在對七十四軍全軍軍官的講話中說：「記得北伐時期，第四軍以『鐵軍』聞名。現在是抗戰時期，我敢大膽地說，第七十四軍是抗戰時期的『鐵軍』！」
上高會戰使七十四軍名揚中外，它成為世人心目中名符其實的「抗日鐵軍」，並一步跨上了其發展史上的巔峰階段。