在日軍敗局已定之時，新任「中國派遣軍」總參謀長小林淺三郎中將在衡陽聽取了前方的戰報。回到南京後，他提出了應當中止湘西作戰的看法，因為「第二十軍的攻勢終於在雪峰山脈受挫」。
岡村是個務實派，馬上表示同意。5月9日，南京總部向日軍第六方面軍下達了中止芷江作戰、部隊適時撤回原駐地的命令。同一天，第六方面軍向坂西進行傳達，坂西收到命令後，趕緊和幕僚們研究將部隊撤回邵陽的計畫。
這些命令和計畫似乎都已經和第一〇九聯隊毫無關係，他們現在要考慮的不是撤回邵陽，而是怎樣避免被圍殲的厄運。
第一〇九聯隊對面的中方第五十一師發力猛追，在木鰲洞一線將尚在後撤的日軍一口咬住，並將其分割擠壓於當地的叢山峻岭之間。該聯隊第二大隊一部約百餘人，被一五一團圍困於一片竹林之中。一五一團陣地距離竹林的最近距離不過百來米，而且竹林周圍全是無遮無攔的農田，使得整個竹林猶如一座孤島，日軍只要一走出去，立即就會成為活靶子。
日軍只好躲在竹林里不出來，一五一團團長王奎昌見狀，便下令集中炮火向林子里進行轟擊，同時讓會說一些日語的軍士劉德發在陣前喊話。
兩天之後，日軍殘部在飢餓和死亡的煎熬下已鬥志全無，他們派軍使向王奎昌接洽投降。王奎昌允許他們放下武器，並承諾會按照國際公法保障其生命安全。
劉德發隨軍使回去復命，雙方講好於當天上午八點以前繳械投降。想不到的是一名日軍軍官居然當場切腹自殺了，其他人見了之後皆垂淚不語。劉德發一看氣氛不對，趕緊回團將自己所目睹的情況報告給了團長。
得知日軍又中途反悔，王奎昌下令恢複進攻，部隊一面炮轟，一面向林子里進擊。到中午十二點時，戰鬥結束，林子里除死者外，剩下的十五名傷病員被全部俘虜。
這時陷在包圍圈裡不得脫身的第一〇九聯隊主力已經以夜色為掩護，向山門方向逃竄。
山門鎮如今既是日軍的後方補給點，也是日軍第一一六師團撤退所必經的交通要隘之一。依照邱維達的方案，第十八軍第十一師在通過漵浦縣城後，即從日軍右翼側背猛進，向山門直插過去。當日軍第一〇九聯隊接近山門時，正好第十一師也趕到山門西北地區並對敵人發起側擊。
第十一師是全美械裝備的部隊，在會戰前已經過一段時間訓練，而且剛剛參加戰鬥，一個個龍精虎猛。早就殘損不堪的日軍第一〇九聯隊哪裡是對手，縱使看到山門，也不得其門而入。
5月10日，第十一師攻克山門，在日軍右翼側背劃開了一個大口子。眼見形勢急轉直下，日軍第一〇九聯隊只得冒死突圍，企圖乘被完全包圍之前奪路逃走。
第十一師作為第十八軍的核心，是一支很有作戰經驗的老部隊。指揮官迅速調整部署，在山門北面高地上佔領側面陣地，以控制東西隘口。
日軍第一〇九聯隊突圍時，摸不清守軍主陣地所在，在用火炮盲目向山門亂轟一陣後，即貿然進入山門。看到日軍腳一伸，各個陣地上立即槍炮齊鳴，日軍毫無還手之力，其先頭部隊幾被全殲。第十一師僅付出少數傷亡，即大獲全勝。
前有堵截，後有追兵，置身於荒山野嶺之中，日軍第一〇九聯隊幾乎無路可走，情形狼狽之極。萬般無奈下，他們被迫繞過正面，朝山門東南方向撤退。
5月11日，第一〇九聯隊撤入黃連江，與接應他們的救援大隊會合。常言道，將軍不下馬，各自奔前程，更何況是面臨如此大難的時候，但日軍各部隊之間的團結協作以及特有的武士道精神確實很值得一提——黃連江是個小山村，在救援大隊駐紮期間，該部飽受中美空軍的轟炸掃射，但是一直賴著不肯走，為的就是等待第一〇九聯隊。
第五十一師很快就尾追而來，並在黃連江的北、西、南三面佔領陣地，對日軍形成拉網式攻擊態勢。日軍第一〇九聯隊幸虧有救援大隊接應和掩護，才在東南面保留了一條可供脫身的石板古道。
縱使這樣，要想迅速逃出也非常困難。對第一〇九聯隊來說，最大的累贅就是傷病員。為了減輕撤退時的負擔，瀧寺聯隊長根據師團指示採取緊急措施，將五百餘名重傷病員集中於村內進行焚燒，還美其名曰：「效忠天皇集體玉碎。」
如此「玉碎」讓重傷病員們難堪其苦，不少人一邊號叫呻吟，一邊從熊熊烈焰里掙扎爬出，之後暴屍於道路或水田之中。兩年後，人們在清理火焚現場的廢墟時，僅骸骨就挑出了幾十擔。
第一〇九聯隊與救援大隊加在一起仍有三千之眾。5月12日，這兩支殘兵向與黃連江僅隔三里路的桃林逃躥。
桃林是一個長約三公里的狹谷，兩邊皆是險象環生、無法攀緣的山壁，中間的古道也僅有一米來寬。日軍沿著古道沒走多一會，峽谷兩端的關口就都被緊追不捨的第五十一師用火力截斷了。
第一〇九聯隊突圍時一路甩包袱，除了在黃連江燒死的那些重傷病員外，一些馬匹和重武器也被予以拋棄。身子倒是輕了，可是士兵們還是覺得四肢無力。
不用說，當然是餓的。在黃連江停留期間，日軍救援大隊除了躲飛機之外，就是在百姓家翻箱倒櫃找吃的，然而這一帶山區居民根據地方政府的命令，早已進行了堅壁清野，糧食都被藏進了山中，最多也不過搜尋到幾斤生黃豆而已。到第一〇九聯隊進村，連黃豆都沒有了。
一邊是被圍困於峽谷，一邊是徹底斷糧。餓昏頭的士兵逮著什麼吃什麼，運氣好的可以抓到青蛙、蛇、蛤蟆充饑，運氣不好的只能以青草和喝水維持生命。
最慘的還是傷員。因為沒有繃帶，許多人將衣服撕成布條進行包紮，輕傷者尚可在包紮後繼續隨隊，重傷者和重病員便唯有任其死去一途。