陳納德將軍領導的中美航空部隊，對雪峰山裡的日本兵進行驅趕式的狂轟濫炸，很起作用。他們曾經用來藏身的樹林燒毀了，修築的工事炸塌了，在沒有別的辦法的情況下，他們只好撤退。於是一個小隊或中隊，甚至沒有建制的一大群兵，開始從幾十個窩點向東走。
在中美空軍大轟炸中，死傷慘重的當數加川勝永大佐的第133聯隊。
當時他們被困在一處高地上，然而日軍主力第116師團部、第47師團、第68師團和34師團，以及兩個旅團都被中國軍隊堵住，不能解救他們。不僅如此，第116師團部和第58旅團還被包圍在雪峰山中。
加川大佐沒辦法，只好遵照軍部和師團部的命令，硬著頭皮單獨向東撤退。日軍133聯隊放棄高地，趁夜色在大山叢林中行軍。他們自以為安全，其實早被中國軍隊察覺，沿途不是遭到炮火的襲擊，就是被中國軍隊襲擊。當到達會合的指定地點時，整個聯隊不過1000多人了，但仍然很有戰鬥力。
進攻雪峰山的日軍，向東逃竄時，必經芙蓉山。芙蓉山地處洞口至邵陽公路線上，日軍殘部從雪峰山中走出來，就在這裡會合休整。來到這裡的日軍番號眾多，仗打到這個地步了，誰也指揮不了誰了，因為不是一個部隊，沒有上下級關係。有的小隊到達後，睡一個晚上便擅自離開，匆匆忙忙去邵陽，他們無心再戰。
幾個聯隊的大佐帶著殘部駐紮這裡，也曾想把這些殘部收攏過來，可是別人不聽指揮，帶著自己的小隊、中隊剩餘人員獨自行動。他們知道軍部、師團部的命令是撤退，沒有讓他們在這裡同中國軍隊拼。想在這裡打仗的無非是一些好戰分子，他們咽不下芷江作戰失敗這口惡氣，很不服輸地想頑抗一下。所以日軍的這個集合地點十分混亂。
當133聯隊殘部、217聯隊殘部到這裡時，追擊他們的中國軍隊便迎頭進行了堵截。中國軍隊這麼一堵，反倒把混亂的日軍擠壓成了一個整體。
上千日軍處在無路可逃的困境之下，不得不孤注一擲，向中國軍隊作拚死反抗，這是他們求生的本能所致。
芙蓉山戰鬥打得遮天蔽日，天昏地暗。加川大佐在長沙會戰中，就迎戰過中國軍隊的第57師，現在又碰到一起了。在日軍的左翼是74軍的51師，還有正在合圍的第18軍。可以說日軍的這些零散部隊是出不去了，他們回不到邵陽了。
中國空軍從芷江起飛，對日軍進行轟擊。日軍加川大佐和木清次大佐見到飛機就膽顫，他們都領教過美國的納帕姆炸彈，瞬間便可讓戰場變成一片火海，把人灼成焦炭。所以他們最好的辦法，便是同中國軍隊裹攪在一起，讓飛機發揮不出優勢。
中國空軍的飛機在天空中盤旋了好幾圈，焦急地無從下手，只見陣地上雙方士兵扭打在一塊，肉搏戰使他們一時無法分開。日軍也瘋狂了，抱著一個中國士兵就拉響身上的手雷，有的受了重傷，還連滾帶爬鑽進中國軍隊的陣地，引彈爆炸，同歸於盡。
日軍為了這支部隊能順利撤退，第47師團從桃花坪過來一支聯隊，他們是來芙蓉山接應他們的。日本這個聯隊的到來，大大增強了他們的進攻能力，中國守軍陣地大部分被日軍搶佔。左翼第51師周志道師長，立馬派出部隊增援，協助57師奪回高地。
芙蓉山巴掌大的一塊地方，為一個山頭高地，雙方你爭我奪，反反覆復十幾個回合。中國軍隊士氣高昂，他們決不放過這群企圖逃跑的日軍，下最大決心要把他們消滅在芙蓉山下。而拚死掙扎的日軍，唯有突破中國軍隊的陣地，他們才有生的希望。突破過去就是邵陽，那是好幾個主力師團的大本營。
邵陽方向的日軍不敢出來，防守在正面的是中國軍隊的第18軍。胡璉軍長知道，他們的主要任務一方面是堵截雪峰山日軍的退路，另一方面是防禦邵陽之敵過來接應。因此，儘管芙蓉山打得殘酷，他們也不能抽調兵力去參加戰鬥，只能用大炮協助一下罷了。要解決芙蓉山的問題，還得靠芙蓉山作戰的中國軍隊自己。
在芙蓉山打得最艱難的時候，中國援軍暫6師趕到了。這樣一來，雙方力量的對比差距懸殊太大了，日軍明顯處於劣勢。無心戀戰的日軍，像逃命一般，動用了全部人馬朝芙蓉山谷的一個豁口上沖。大部日軍被殲滅，有少量日軍沖了出去。
照說衝出去的日軍是回不到邵陽的，外圍還有一層18軍的防線。然而第18軍卻放開了一個缺口，讓疲憊不堪的幾千日軍突了出去。參加戰鬥的第18軍11師的王直元將軍有些茫然，他在戰後還在想這件事，他曾這樣寫出他的想法：
18軍為什麼不截斷洞口至邵陽的公路？不去積極配合友軍圍殲敵人，而是轉移陣地，改攻勢為守勢。我至今是不理解的。
芙蓉山戰鬥，是湘西會戰反攻的最後一戰。這一仗結束了湘西會戰的第二階段，即大反攻。從整體上看，湘西會戰的大反攻是流產的，至少是沒有進行完畢，或者說剛剛開了一個頭，就停止了。放在嘴邊的肥肉不吃了，別說是中下級軍官，就是王耀武、周志道、邱行湘這些高級軍官都不理解，莫名其妙，不知發生了什麼事。
說句不好聽的話，這全是記者惹的禍，湘西會戰打得好好的，一切都按照預定的戰略方針，順順噹噹地朝前發展著。打了無數漂亮的阻擊戰或局部的殲滅戰，取得了一些不大不小的勝利，就把記者招來了。問題出在兩方面，一方面是國民黨的正面戰場，幾年來都沒有取得過勝利了。特別是去年，在國際形勢這麼好的背景下，國民黨軍隊卻出現了大潰敗、大逃亡的局面，讓全世界感到震驚，也讓盟軍瞧不起，現在歐洲戰場取得了決定性的勝利，蘇聯紅軍踏上德國的領土，在攻克柏林的戰役中，竟把41000尊大炮對準柏林，斯大林號召蘇聯紅軍，必須在法西斯野獸的洞穴里把它打死，並在柏林城上高舉起勝利的旗幟。5月9日，斯大林宣布這天為偉大衛國戰爭勝利日。中國最高當局也想彰顯一下自己的成績，讓記者親歷前線，作一些中國戰區勝利的報道。另一方面是這些記者的職業習慣，往往愛誇大其詞，添油加醋，把正在進行的戰鬥，說成戰鬥結束，把局部的勝利，說成是取得徹底的勝利，有很大的水分。
國外新聞媒體看見中國新聞媒體的報道後，《美國紐約時報》於5月11日發表評論，說芷江會戰勝利，可視為對日戰爭轉折的暗示。國內的大公報又出口轉內銷，轉載了這條評論員文章。正在重慶開國民黨六大的代表，看了這個評論，一致要求國民黨最高軍事委員會，向六大彙報湘西會戰勝利的情況。
國民黨六大代表提出的這個要求不過分，畢竟中國抗戰堅持了八年，付出了血的代價，今天在湘西會戰中取得了巨大勝利，誰不興奮？誰又會不去關心呢？過去國民黨正面戰場也取得過勝利，如像徐州會戰時期的臨沂大捷、台兒庄大捷和長沙會戰的勝利等等，但最終還是被日軍戰勝了，勝利的城市沒有最後堅持住。所以湘西會戰是第一次，既勝利了，又堅持住了，日軍再也沒有能力把它奪走了。也該中國軍隊和中國人民揚眉吐氣一回了。
蔣介石聽了彙報，同樣認為這是好事。最起碼可以拿湘西會戰勝利這件事，為國民黨的代表大會增添喜慶，同時不僅鼓勵國民黨全國代表的信心，也可以在全國人民中間樹立國民黨及國民黨政府的形象。
當然蔣委員長是了解湘西會戰情況的，那裡還沒有取得最後的勝利，只是從戰役防禦階段，轉為反攻階段。在防禦發展到相持階段的時候，有局部的殲滅戰和局部的總攻擊。現在媒體把這場戰役推到了騎虎難下的地步，如果不承認湘西會戰取得了勝利，那麼國民黨中央所領導的中央廣播電台，中央日報等各大媒體，不是在說瞎話嗎？這不僅欺騙了國人，而且還矇騙了同盟國的輿論，蔣介石想這可不是一件小事。
軍事為政治服務，戰爭必須服從政治，蔣介石想。中國戰區總司令的蔣介石，完全可以主宰一切。在中國戰區，他說打就打，他說撤就撤。即使正在進行著的戰役，他也可以說停就停，說結束就結束。戰爭有規律，但必須根據人的需要。因為戰爭是人在進行的戰爭，蔣介石思考著這個問題。
蔣委員長打電話找何應欽，他命令何應欽三天結束湘西會戰，立即趕到重慶向六大代表全面介紹湘西會戰勝利情況。何應欽有些為難，他對委員長說，湘西會戰剛剛轉入反攻階段，大仗還沒打上一場呢！蔣介石很生氣，他批評何應欽不懂政治，現在全世界都說中國軍隊在湘西取得了最後的勝利，難道你能說不是嘛。人類所有的戰爭都是為政治服務的，我們也不例外，戰爭服從政治。蔣介石說著就把電話掛上了，這方面的事話不必說多，讓下面的人去處理就行了。言多必失。
何應欽明白蔣介石的意思。這件事做好了是件好事，做不好或者說被記者媒體察覺，就是件壞事，那麼這個黑鍋又得他何應欽來背。何應欽願意背，只要是對岡村寧次有利的，背黑鍋就背黑鍋吧。他們作出立