奉王耀武之命，中方組織了一支攜帶電台的搜索隊，任務是搜索敵情，同時與衡陽守軍取得聯繫。搜索隊進入衡陽城邊緣不久就被日軍發現，只能邊打邊退。
不過幾天之後，便有第十軍的守城官兵沿這一方向突圍出來。他們告訴搜索隊：「這幾天都聽到西郊外有槍聲，知道增援友軍已到，所以我們敢於冒死逃出虎口，奔向你們。」
至8月5日，在七十四軍等部隊的猛烈進攻下，日軍第二三四聯隊已經傷亡大半，以所屬第三大隊為例，兵員最多的一個中隊連傷員在內只剩下二十四人，最少的中隊僅剩兩人！
即使處於這種情況，青木師團長仍嚴令戶田，絕對禁止後退。戶田被迫將聯隊機關人員、通信兵、馬夫集中起來當戰鬥兵使用，同時偽軍「周部隊」也被驅使至最前線。
第二三四聯隊的一線部隊不僅兵員不足，而且彈藥也極為缺乏，手雷已經全部用完了，士兵們只得用石塊進行反擊，或者是把中國軍隊剛投過來的手榴彈反投回去——這一招在實際使用時非常危險，最典型的是在衡陽一線督戰的日軍旅團長志摩源吉少將，他給士兵做榜樣，現場示範如何將守軍投過來的手榴彈迅速拾起拋回，結果卻因姿態稍高被子彈擊穿了頭部。
日軍第二三四聯隊最後退至大水塘以東高地，七十四軍由此成為外圍十餘萬軍隊中最接近衡陽的部隊。站在雞窩山的山頭上，已經可以看到衡陽城的房屋，城內的槍炮聲和炸彈聲也清晰可聞。
似乎離解圍只差一步之遙。然而在8月7日，由衡陽城內逃出的第十軍官兵卻帶來了一個壞消息：「衡陽城西第一〇九師陣地已插白旗向敵投降，你們來遲了。」入夜，衡陽城內一片靜寂，再無激烈的槍炮聲傳出，驗證了這一消息極可能屬實。
8月8日拂曉，又有從城內陸續逃出的官兵證實，第十軍彈盡糧絕，方先覺已率部投降。
對方先覺而言，投降是一個萬般無奈的決定。在此之前，他向蔣介石發出了最後一封絕命電：「此生已矣，來生再見！」據說他也曾舉槍自殺，只是手槍已被副官提前取走，在部下「軍長你帶我們走一條活路」的勸說下，才選擇了走投降的道路。
按照很多人理所當然的標準，方先覺投降之舉無法得到原諒，連薛岳曾經的智囊趙子立都對之不屑，質疑：「抵抗了四十多天，就有資格投降嗎？」
其實趙子立在長沙即將陷落時也急於逃出，所以在這種事上，批評指責的人實際佔據的僅僅是他們所認為的道德高地而已。倒是七十四軍歷經百戰，又有過常德保衛戰那樣的血淚經歷，對方先覺及第十軍賦予了更多的同情和理解。他們認為，能夠孤軍守城達四十七天，對於裝備處於劣勢的第十軍來說，已經是非常不容易了。要追查衡陽陷落的責任，只能歸咎於將帥不和，友軍配合行動不能一致，以致坐失解衡陽之危的良機。
後來經過很多波折，方先覺從敵營中脫逃出來。時任第四方面軍司令的王耀武不避嫌疑，親自派一名副師長率兵前去迎接，並幫助方先覺轉赴重慶去見蔣介石。
蔣介石對待方先覺的態度也很可玩味。余程萬當年從常德突圍，差點被槍斃，但是方先覺卻得到蔣介石的慰勉，並授以青天白日勳章。
原因很複雜，其中一條可能是蔣介石認為，違令逃跑和戰敗投降，二者有著性質上的根本不同，前面一個當斬，後面一個卻可以被解釋成是不得已情況下的降漢不降曹。二戰結束後，蔣介石在重慶會見了曾投降日軍的美軍將領溫賴特，他說：「軍人，戰鬥到彈盡糧絕，是可以暫時屈服、放下武器的。中國有句老話：『勝敗乃兵家常事』，所以，應該善待放下武器的軍人。」
蔣介石並不是當著老外的面才這麼說，他在處理龐炳勛投敵事件上同樣如此。在日本投降的第二天，龐炳勛就接到了蔣介石所發出的電令：「馬上歸隊，參加受降行動！」
為了攻克衡陽，日軍付出了極大代價。在見到第十軍挑起白旗後，橫山勇立即抽出一個大隊前去雞窩山救援已被打得不成人形的第二三四聯隊。
日俄戰爭中，日軍將領梅澤道治指揮後備部隊在本溪湖進行防守，其間他曾向總司令官大山岩請求增援，可是沒有得到同意。梅澤不得已，只好拚命堵擊。大山利用這一時機發動進攻，終於迫使俄軍全面撤退，梅澤因此成名，被奉為「花一樣的梅澤」。
第二三四聯隊長戶田認為自己在衡陽之戰所立的功勞，已經可以和梅澤相提並論，而對原先顯得極其絕情的軍司令官，他也奉送一頂高帽，稱橫山勇在考慮是否要對他進行增援時的心情，就和當年大山對待梅澤相仿。
自常德會戰起，中方的空軍力量就已超過了日軍，但與此同時，相當數量的地面部隊卻都缺乏整體觀念和頑強的戰鬥意志。在奉命解圍的過程中，他們有的保存實力，有的隨意撤退，有的見死不救，有的做做樣子，由此導致防守部隊孤立無援，精疲力竭，運氣好的尚可靠所剩力量組織突圍，運氣不好的就只能等著被殲滅或戰敗投降。
在應該受到指責的部隊名單中，應該不包括「虎部隊」。儘管沒能為衡陽解圍，但七十四軍尤其五十八師的表現和努力仍然得到認可，五十八師師長張靈甫榮膺寶鼎勳章，先前七十四軍獲得這一榮譽的戰將分別是余程萬和李天霞。