7月3日，晴，衡陽城四圍的中國士兵紛紛從工事、碉堡、戰壕中鑽出來。到處攤開一片片洗過的軍衣和晾曬的被褥。軍部醫院和各師、團包紮所的醫護人員趁好天洗凈了一大批繃帶和手術巾，在陽光下晾曬，條條塊塊的白色，掩映於陣地和街衢。
反擊日軍對衡陽第一次進攻的戰鬥集中在預10師和第3師陣地。6月28日至7月2日5天5夜中，兩師共傷亡6千餘人。在預10師30團防守的張家山高地，幾天中竟與日軍反覆爭奪陣地20餘次，先是2營傷亡殆盡，接著1營增援上來又被打得所剩無幾，團長陳德生帶領團預備隊再上，不到一天又差不多被打光了。6月30日，師長葛先才親率師預備隊趕來解圍，並親操機槍投入一線戰鬥，留下《葛先才赤膊大戰張家山》的新聞標題。7月10日，一架中方飛機投下來蔣介石頒贈給葛先才的一枚青天白日勳章。
與30團相鄰的29團據守虎形山陣地，5天中打退日軍十餘次攻擊。戰鬥停歇時，最先死去的中國士兵屍體已經腐爛，陣地上臭氣熏天，晝夜蚊蠅雲聚。
日軍暫停進攻，但軍長方先覺內心毫不輕鬆，從作戰全局來看，在短時間內並不可能形成外線部隊對衡陽周圍兩個日軍師團合圍的態勢。幾個集團軍都在幾十公里之外與日軍或對峙，或兜圈子，沒有馬上殺過來的意思。
而第10軍從物資到心理，是按守半個月準備的。
本來，日軍第一次進攻衡陽，兩個師團傾盡全力，殺得人困馬乏、糧彈不濟，正是援軍運動過來打他個疲憊不堪的良好時機。方先覺幾次想向重慶發電報建議，但都沒有去做。他在想，這個情況蔣介石會不了解嗎？
頻頻催援，校長會怎樣看我？
從7月2日停止攻擊到7月11日第二次進攻期間，日軍不間斷地在衡陽四周進行襲擾。
一到晚上，不是將百姓的狗和牛趕到河裡，將插上燭光的木板放到河裡引誘守軍打槍消耗彈藥，就是派小股部隊虛張聲勢地進行偷襲。因為軍委會以較強的中美空軍力量支援衡陽守城，日軍飛機在白天活動比較謹慎，但有時也乘中美飛機不在時突然飛來轟炸。7月6日，軍部醫院落彈數十枚，700餘名傷兵和許多醫護人員當即身亡。
一天，老伙夫招呼方先覺、孫鳴玉等人吃飯。幾位將軍坐在餐桌前不禁一愣：雪白的大米換成了糙米，雞肉和豬肉換成了幾碗魚——在南方，魚是最差的菜了。
方先覺問：「怎麼，換口味了？」
伙夫語塞，支吾道：「實在對不起，鈞座，好米沒有了，雞鴨和豬肉也沒有了，這魚還是剛才敵機炸彈投到水塘里震漂起來的……」
孫鳴玉說：「吃吧吃吧，這才剛剛開始哩，我算著沒有一個月咱們別想見援軍的面。」
7月8日，橫山勇帶著新任68師團長堤三樹男中將來到設于衡陽城外的68師團部。堤三樹男原任駐無錫第55旅團長，精通攻城，是橫山勇親點的一員強將。
橫山勇召開68、116師團軍官會議，傳達了大本營要求儘快攻佔衡陽的命令。
由於太平洋戰爭失利，日本朝野反對身兼首相、陸相和參謀總長的東條英機的呼聲越來越高，軍人內閣面臨危機。天皇和東條英機都希望以中國大陸新的軍事勝利來振奮民族精神，維持目前局面。
7月10日，日軍兵站向衡陽部隊補充的彈藥達到76噸，並形成了每日30噸的供應能力，同一天，日軍航空兵配屬作戰的飛行隊在湘潭開設機場。
7月11日上午7時，衡陽城區周圍在劇烈的爆炸中騰起濃濃的黑煙。日軍對衡陽第二次進攻開始了。
預10師政治部主任楊正華回憶說：
「7月11日晨，敵120聯隊和第2聯隊在炮兵配合下，猛攻虎形山。飛機輪番轟炸並投擲燃燒彈，陣地附近的建築變成了一片瓦礫。防守虎形山的預10師29團勞躍民營死戰不退。敵人攻不動陣地便施放毒氣。我官兵中毒者甚眾，但仍頑強堅守。
「苦戰直至第二天上午9時，陣地終於被敵人攻破。2千餘日軍乘機越過湘桂鐵路，突至五桂嶺南街。
「為了控制這個要點，軍指揮部增調在第二線的3師3營投入逆襲。戰鬥慘烈，徹夜未停。營長孫虎斌、平射炮連長趙世鹿，8連、9連連長等先後殉國，其他官兵犧牲者亦多。突入虎形山之日軍被我逆襲部隊殲滅近千人，突入新街之敵亦被殲滅過半。
「7月13日拂曉，敵又發起猛攻，突入新街。3師周師長親自指揮官兵以手榴彈和白刃與敵搏鬥。經過極慘烈的巷戰，將突入新街之敵悉數殲滅，陣地轉危為安。戰中敵120聯隊長和爾大佐等多名敵軍官被我軍擊斃，周師長作戰勇敢，指揮有方，軍委會特頒青天白日勳章一枚。」
中國官兵以慘烈的搏殺打退日軍一次次強大的攻勢，陣地上橫屍累累，留在歷史的記憶中是一片血光，而日軍的進攻同樣傷亡慘重。歷史對它的記載亦是鮮血淋漓。戰後，日軍116師團133聯隊長黑瀨平一回憶道：
「（7月——筆者注）11日開始了對衡陽的第二次攻擊。戰鬥極其慘烈，尤其是各級幹部傷亡嚴重，令人總不能從悲憤的情緒中自拔。
「13日，繼續攻擊前次未能佔領的張家山，戰鬥中，新到任的第1大隊長關根彰大尉和帶傷指揮的第2大隊長足立初男大尉陣亡。第3大隊長迫八郎負重傷被救下陣地，但幾天後傷口感染壞疽病而死去。
「16日，我向師團長報告戰況和傷亡情況，岩永旺師團長對我聯隊的困難表示理解，調218聯隊之第3大隊歸我指揮。但在17日進攻蕭家山要點中，該大隊不幸誤入敵兵的手榴彈伏擊區，損失極大，大隊長平岡卓大尉也不幸身亡。
「在第一線帶領士兵衝鋒的中隊長和小隊長傷亡情況就更加嚴重。中隊長只有一名是戰前配備的，小隊長全部陣亡。18日在電話中報告戰況和傷亡時，不禁流下熱淚。我對師團長說，133聯隊盡到了最大的努力。岩永旺師團長在電話的另一端久久沉默不語。」
7月11日至20日，第10軍各師依託著殘破的陣地阻擋著日軍的瘋狂進攻。在幾處要點，兩軍反覆爭奪。幾位親歷老兵都曾說到這樣一種感覺，敵人的屍體、戰友的屍體，到處都是屍體。整天看見，都麻木了，戰鬥緊張，心理緊張，來不及想自己的生死。腐屍的氣味熏得人噁心、頭脹、不想吃飯，到後來也適應了。
10晝夜腥風血雨，日軍116師團前進400米，68師團僅前進200米。橫山勇根據兩個師團上報的減員情況，於7月20日下午5時下令停止進攻，原地休整，補充兵員、彈藥。
但令橫山勇更加沮喪的另一件事是，7月18日，日本內閣追究戰略要點太平洋塞班島失守的指揮責任，東條英機被迫辭去參謀總長職務，隨即被解除日本首相職務。
日軍對衡陽第二次攻勢失敗，在全國抗日軍民中引起巨大反響，大後方主要城市舉行了慶祝活動，一時間祝捷電報和慰問信漫天飛舞。報刊將方先覺軍長和他的4位師長和參謀長孫鳴玉統稱為「五虎將」，宣揚得婦孺皆知。
與這種熱鬧形成強烈反差的是困守在衡陽城中的官兵們。
粉碎日軍第二次進攻中，全軍戰鬥減員總計已達7\/10，自軍長到士兵，天天盼望援軍到來。不知哪位京劇愛好者帶了個頭，全城各陣地一陣風一樣流行起兩句楊家將戲文中楊六郎的唱腔：
「不提那援軍還罷了，提起那援軍惱煞人」。
符能在衡陽作戰前是排長，戰鬥中連長陣亡，他被提為連長。對那段生活，他回憶道：
「我們守城已經一個多月，死傷多半，傷員沒有醫藥。如190師568團方子才連長帶兵游渡草河偵察敵情，返回時被敵發現，方連長右臂被敵機槍打斷。回到師部醫療隊時，胡隊長根據傷勢，決定將傷臂鋸掉。沒有麻藥，甚至沒有消毒水，只能用開水消毒。鋸臂時，方連長痛得全身發抖。
「醫生護士安慰道，援軍一到藥品就會有的。
「許多傷員傷口感染化膿，有的甚至從傷口裡長出蛆蟲來。傷員們用刺刀削一支竹籤，自己去一點點挑出傷口中的蛆蟲。許多傷員因為沒有藥品，傷勢惡化而死去。
「由於無法掩埋陣亡的戰友們，屍體在夏天的高溫中很快就腐爛發臭。一群群老鼠光天化日就來咬屍體，睹之令人心寒。城內老鼠肆虐，許多受重傷不能活動的戰友也有被老鼠咬傷。
「本來有夠吃三個月的儲糧，但由於敵機的轟炸，大部分糧庫燒毀，糧食也成了問題。許多士兵打老鼠剝皮用火燒來充饑，有的將老百姓釘在木架上的牛皮取下來用刀切碎煮爛果腹。
「我軍和美國飛虎隊的飛機有時為我們空投一些糧食和彈藥，但杯水車薪無濟於事。有的物資落到了敵我中間地帶，在雙方的射程之內，誰也拿不去……」
仗打到7月下旬，第10軍