日本陸軍總部制定出台的「一號作戰」，在醞釀的過程中，就有不同的聲音，不贊成「一號作戰」計畫的軍界和政界的人士，現在更是態度強硬。衡陽久攻不下，消耗大量兵員和物力，使日本中國派遣軍極其不安，大本營的不滿也逐漸爆發。這對日本大和民族無疑是一種犯罪行為。長期同日本陸軍不和的日本海軍，也抓住了陸軍的把柄，戰爭不是爭強賭氣的事。
以衡陽之戰說事的越來越多，甚至把狀告到了日本天皇那裡，這樣更加劇了日本內閣的危機。當時在日本國內，很多人對身兼首相、陸相和參謀總長的東條英機就有不滿情緒，只是沒有公開化。現在情況不一樣了，他們向東條英機發難。在太平洋上塞班島失守，東條英機要負主要責任，「一號作戰」的衡陽戰役，東條英機更應負重大責任。
陸軍出身的東條英機當然希望陸軍有所作為，現在他更是希望陸軍在中國戰場有所表現。為此中國派遣軍總參謀長松井太久郎中將，親自到長沙第11軍司令部，傳達大本營的命令，要求橫山勇將軍儘快攻下衡陽。
由於中國軍隊第10軍的堅強抵抗，衡陽久攻不破，東條英機於7月18日終於被迫辭職下台。中國派遣軍總司令官畑俊六齣任日軍參謀總長，岡村寧次準備升任中國派遣軍總司令官。衡陽中國軍隊的奮力抵抗，不僅抵擋了橫山勇的大軍，還把東條英機的內閣搞崩潰了。這是衡陽保衛戰的巨大收穫。
在中國國內，圍繞著衡陽保衛戰，同樣出現上層的矛盾，甚至給蔣介石的統帥地位造成一次不小的危機。蔣介石對衡陽保衛戰，一直處於矛盾的心態之中，一方面是想謀求中國抗日東線戰場的勝利，另一方面又不想投入較大的兵力。在日軍發動「一號作戰」時，他甚至想把派出去的遠征軍抽調回來。蔣介石心裡清楚，史迪威指揮的西線遠征軍，那可是國民黨軍的精銳部隊，抽調回來，保存實力，坐等美國以及盟軍打敗日本的勝利成果。
當蔣介石指揮的東線戰場接連失敗的時候，史迪威指揮的遠征軍的西線，卻連連取得勝利。史迪威大肆指責蔣介石無能，並向美國總統羅斯福建議對中國軍隊實行改革。史迪威很有野心，一直窺視著中國軍隊的最高指揮權。他通過羅斯福總統和馬歇爾將軍，向蔣介石要求中國軍隊的全部指揮權。
中國抗日戰場當前的慘敗情況，使羅斯福總統認為很有必要，於是開始考慮讓史迪威接替蔣介石，擔任中國戰區的最高指揮。為此，將史迪威晉陞為四星上將，並發電報給蔣介石：
鑒於中國戰局危急，我感到有必要讓史迪威指揮在中國的全部中國軍隊和美國軍隊，包括共產黨軍隊在內。請閣下把中國戰區的軍隊指揮權移交給史迪威將軍。
蔣介石在接到羅斯福總統的電報時，心裡像打翻了五味瓶，很不是個滋味。他在日記中寫道：「軍事憂惶，未足吾危，面對美外交之頹勢，實為精神上最大之打擊。但果能邀天之福，軍事獲勝，則外交危機，亦可轉安，萬事皆在於已之儘力耳。」
中國東線戰場突然出現了一個衡陽保衛戰，第10軍堅守不敗，倒也成了中國軍隊唯一的一個亮點，也很自然地成為各派政治力量博弈角力的一個支點。美國人講實惠，只顧眼前，在衡陽保衛戰最為激烈的時候，美國不斷催促蔣介石調包圍共產黨延安的50萬大軍，前去同日軍決戰。後來英國、蘇聯都向蔣介石施壓，再三呼籲重慶出兵衡陽。
蔣介石身上的壓力太大了，衡陽保衛戰他是有自己的想法的，這只不過是他同史迪威在賭桌上的一張牌。他同史迪威的賭博沒有最後輸掉，就因為還有衡陽保衛戰這個碼子。所以他在日記中說：「衡陽保衛已一月有餘，此次衡陽之得失，其有關國家之存亡，民族之榮辱至大。」正因為衡陽戰事成敗牽涉太廣，深謀遠慮的蔣介石才沒有孤注一擲，調動胡宗南的部隊南下解圍。
這就是蔣介石的高明，他不愧是一個政治家。衡陽是國家之存亡的大事，要是換了別人，肯定會全力以赴，使出吃奶的勁，也要挽回自己的面子。那時的蔣介石十分清醒，他認為日軍「一號作戰」攻勢雖然凌厲，但畢竟難以挽回最終失敗的命運。在盟軍聯合攻勢下，日軍的潰敗只不過是早晚的事，犯不著為了一時之痛快，而冒險犯難，使自己陷入更危險的地步。蔣介石心裡想到的更為危險的事，是指抗戰勝利後共產黨的力量。在整個抗戰過程中，他一直肩負著兩個使命：抗日和反共。
反共使命，對蔣介石來說，似乎是更具根本性的。他實在不忍心使苦心經營多年的反共基業毀於一旦。在對日作戰前景光明的時候，他更不放心讓中共自由地發展壯大。必須讓胡宗南在陝西一線監控中共，扼制中共的發展。只要有胡宗南的這支大軍，他同共產黨在抗戰勝利後的較量才有把握。
基於這樣的考慮，蔣介石對衡陽保衛戰的心情就更加複雜了。一方面他不可能抽調更多的部隊去參戰，以求從根本上解除衡陽之圍；另一方面，他又企盼著這一有重大政治意義的戰事，能有一個非常體面的結局。
所以，最後的決策只能是，衡陽守軍堅定軍心，守得越久越好。
讓蔣介石感到欣慰的是，守衛衡陽的方先覺將軍不負厚望，及時收縮兵力，集中有限的力量來防守城區，防止被日軍各個擊破。這一兵力調整，果然奏效，增強了同日軍持久抗衡的能力，方先覺不愧是一名優秀的軍人。從某種意義上說，他還是一位戰術防禦的專家，就連自己的對手，日軍的橫山勇、岩永旺這些將軍都十分佩服。
橫山勇背著來自日本大本營方面的巨大壓力，又發起第三次總攻。這次他是下決心了，再也不能小視中國軍隊的抵抗能力了，他計畫投入4個師團，總兵力80000多人，日軍參戰部隊的番號為：第116師團、第68師團、第58師團和第13師團。
日軍增加了大量兵力，並沒有把堅守衡陽的中國軍隊嚇倒，反而更激發了中國士兵的抗戰激情，上千名輕傷員重返戰鬥一線，他們要用自己的身軀和熱血同日本鬼子拼個你死我活，以此來報效國家。
橫山勇出於對熟悉攻擊路線和守軍戰術等情況的考慮，仍以第68師團和第116師團為先頭部隊。由於第133聯隊長黑瀨平一的表現，尤其是他的攻擊精神，深為橫山勇、岩永旺所賞識，因而在第三次總攻中，他被晉陞為少將。
剛剛晉陞少將的黑瀨平一，自然希望能有一個首戰勝利來為自己充個門面。他別出心裁地搞了一次施放煙幕彈的戰術，想以此干擾守軍的視線。但是由於日軍基層軍官，如像中隊長、小隊長傷亡太多，現在全是由伍長、軍曹提升上來的，他們缺乏指揮協調能力。在煙幕彈的煙霧中，他們自己先亂了方寸。而守軍在陣地上，早對地形情況了如指掌，基本上沒有受到什麼干擾，在煙霧中把敵人打得潰不成軍。
在中國守軍的陣地上，要數第3師9團被攻擊得最慘烈。日軍30多門重炮把密集的炮彈傾瀉到他們的陣地上，外壕溝、木柵欄、鐵絲網、碉堡等少頃化為烏有。日軍步兵滿以為陣地上沒有活人了，便猖狂地發起集團式衝鋒。不料隱藏在彈坑和地洞的中國士兵，像是施展魔法一般，突然躍了出來，一陣雨點般的手榴彈落在密集的日軍人群中間，炸得鬼子兵屍體橫陳，最多的幾處，屍體幾乎把壕溝填滿。
日軍第116師團的進攻，遭到無數處人工斷崖的阻攔，他們不知這人工斷崖的妙處，便開始成群結隊地朝上攀爬。中國軍隊在挖斷壁，造人工懸崖的時候，就在山頂上築了一條擲彈溝。當日軍人搭人梯，一窩蜂地爬到一半時，便遭到頂上投出的手榴彈的洗禮。斷層山下一片又一片的鬼子倒了下去，把崖下的壕溝都堆滿。中國軍人的手榴彈，運用得十分到位，在衡陽保衛戰中，讓日軍膽戰心驚，就是天上飛過去一隻麻雀，都會使進攻的日軍趴倒一大片，簡直到了神經質的地步。
日軍為了不再吃虧，在每次發動進攻之前，都是用密集的炮火對中國軍隊的陣地進行一番轟炸，然後再發起攻擊。第218聯隊，在進攻天馬山時，先用600多發炮彈，將守軍陣地狂轟濫炸一番，山上的泥土都像被犁過一遍一樣。中國士兵在戰壕里被掩埋著。但他們手裡都握著一兩顆手榴彈。當敵人的炮火停下的時候，他們從泥土下鑽出來，蹲在壕溝里，擰開一顆又一顆手榴彈的後蓋，專心致志地等著排長、班長的號令。
日軍島田開大尉親率第1大隊往守軍陣地衝鋒，他手舉日本指揮刀，一副耀武揚威的架式。當他們剛剛行進到半山腰的窪地處，中國士兵冷不丁地從壕溝里跳出來，幾十顆手榴彈像冰雹一樣落下來，第1大隊的日本兵無一人生還，全部倒在山腰上。投擲手榴彈最多的是勞耀民營長，他一人就把8箱手榴彈投得只剩5枚了。
堅守衡陽的中國軍隊，他們不僅敢打敢拼，視死如歸，而且在戰場上靈活多變，開動腦筋。第10軍工兵營充分發揮工兵的特長，在陣地前挖出寬20米、深15米的斜坡尖底外壕溝，再以有刺鐵