長沙失守後，日本第11軍順勢南下，朝湖南省當時的第二大城市衡陽進發。衡陽位於湖南省中南部，粵漢線、湘桂線在此連接，從湖南腹地通往西南大後方的多條公路也從這裡經過，是西南交通的樞紐。此外，它還是湘江、蒸水和末水的交匯之處，依靠這些江河，可以轉運湖南出產的大量糧食、礦產等資源。因此，衡陽一旦失守，無論在交通、軍事，還是經濟上都將帶來巨大的災難性後果。就因為這一系列的原因，衡陽自然成為日軍「一號作戰」的重要目標。
日軍大本營在「一號作戰」第二階段的構想中，計畫對湘江以西地區採取守勢，而主力投放在湘江以東。衡陽是作為重要目標必須予以攻佔的，並且要確保這一地區的安全暢通。第11軍橫山勇中將認為，同中國軍隊的決戰不一定會在長沙出現，但在進攻衡陽時，必然會出現雙方主力對決，如果是這樣的話，就可以在衡陽地區圍殲第九戰區主力。
鑒於這樣的思考，橫山勇中將在具體兵力分配上，以1個師團用於湘江以西，用2個師團進攻衡陽，再以4個師團的兵力用於湘東山地。從兵力分布來看，橫山勇還是有戰術頭腦的，把兵力分布得輕重得當，非常符合當時的實際情況。
第11軍的日軍高級將領們在研究攻擊衡陽的戰術問題時，又把薛岳的「天爐戰法」提到桌面上。他們認為，中國軍隊當前沒有對付大日本皇軍的好戰法，前段時間在長沙大戰中，把「天爐戰法」給粉碎了。但是從衡陽的地理方位，以及當前中國軍隊所處的位置上看，他們極有可能還會採取「天爐戰法」的老一套。橫山勇同意幕僚們的分析，所以他仍採取兩翼夾擊，波浪式推進的方法，確保第68師團和116師團對衡陽的進攻。
國民黨軍令部的確沒有新戰術，仍然按照「天爐戰法」的老路子進行部署，中間正面堵截，兩翼兵團夾擊，從而擊退來犯日軍。從整個衡陽保衛戰來看，最主要的有兩塊，一是國民黨第10軍堅守衡陽，二是李玉堂兵團在西南、西北外圍，實施救援衡陽的戰役。
為了進一步了解、認識下一步的湘西保衛戰，或者說同下步湘西保衛戰緊密聯繫，筆者這裡不詳細敘述李玉堂兵團的外圍解救戰，集中篇幅談衡陽保衛戰。因為進攻衡陽的兩個日軍師團，也是後來進攻湘西，欲奪芷江機場的兩個主力師團。另外，在衡陽保衛戰期間，也是蔣介石同美國關係發生矛盾，處在極為痛苦和犯難的一段時日。
日本對衡陽的作戰，是於1944年6月20日開始的。日軍第11軍為確保衡陽進攻的順利，一開始就對衡陽的周邊實施強有力的攻擊，以此來打破「天爐戰法」中最為關鍵的兩翼部隊。日軍第11軍不愧為日本的第一野戰軍，他們不幾日便把衡陽周邊的國民黨軍隊擊潰，迫使國民黨軍的主力後退，把衡陽變成一座孤城。
守衛衡陽的是國民黨第10軍，軍長是方先覺，安徽蕭縣人，黃埔軍校第三期畢業。在抗日戰爭中，中將軍長方先覺是國民黨軍最為傳奇的人物之一。他堅守衡陽47天，創下抗日戰爭時期中國軍隊堅守時間最長的一次守城戰。在守城戰役中，他率領17000名士兵，抵擋日軍前後6個師團的進攻，在自己部隊戰死10000人的基礎上，殺傷日軍48000人。為保護衡陽城7000多傷兵的生命，他最終放下武器，向日軍繳械投降。不久逃出衡陽，回到重慶，被蔣介石譽為「中國軍人之模範」，並授予青天白日勳章，還晉陞為28集團軍副總司令。後來他在台灣去世，在史學界，還引發出一場關於他投降日軍行為的學術爭論。從以上簡約的情況看，方先覺中將的確很有傳奇色彩。
英勇善戰的方先覺，在1941年的第三次長沙會戰和後來的常德會戰中，率領自己的預備第10師和第10軍，表現得非常傑出，一時名聲大噪。
成為抗日英雄的方先覺，自然有些志得意滿起來，甚至連戰區司令長官薛岳也不放在眼裡，有些命令執行起來也就陽奉陰違了。特別是在常德會戰中，他對薛岳的越級指揮，抽調他的190師，使第10軍側翼暴露，很是不滿，因此發生爭執。從此兩人結下過節。
薛岳也感到很傷腦筋，於是便開始指派自己的親信去第10軍任職，以此來控制方先覺。誰知方先覺也不是盞省油的燈，對薛岳指派的人，常常借故撤職，甚至尋機法辦處決。這樣一來兩人矛盾激化，最終還是薛岳佔了上風，他畢竟是戰區司令長官，說服軍令部免去方先覺軍長一職，調任軍事委員會高級參議。
方先覺還沒有動身，新任命的軍長也沒有到達。日軍便開始了「一號作戰」的湘桂戰役，兵鋒直指衡陽。參謀總長何應欽親自過問此事，新軍長沒有到任，而戰事已迫在眉睫，真要臨陣換將，確實于軍不利。他責令薛岳上門請方軍長出山。
薛岳只好厚著臉面任命方先覺為第10軍軍長，負責指揮衡陽保衛戰。
方先覺怎麼會買這個賬呢？你算什麼東西！老子現在是委座任命的高級參議！他拒不接受薛岳的任命。兩人的過節傳到蔣介石那裡，蔣介石很氣憤，黨國利益就毀在他們這些爭權奪利人的手裡。於是，委員長親自給方先覺打來電話，大罵方先覺昏庸，日軍已經逼近衡陽，你居然還在和戰區長官慪氣，置民族大義於不顧，成何體統？
方先覺聽見蔣校長的訓斥，自己倒是消了氣，他知道校長也會罵薛岳的。於是他表現出軍人的大度，當即表示一定積極部署固守衡陽，發揚第10軍優良傳統，堅決抗擊日軍來犯。蔣介石在電話上要求方先覺守住衡陽，確保衡陽十天或者半月，整個形勢就會發生變化。他在重慶聽候他的佳音，祝他旗開得勝！
方先覺受到蔣委員長的鼓勵，信心倍增，立馬奔赴衡陽，部署防守任務。
國民黨軍第10軍，下轄第3師、第190師和預備第10師，還有駐紮衡陽城裡的第54師師部和它的第1團。為加強衡陽守備力量，第九戰區將第74軍野炮營、第48師的一個山炮連劃歸第10軍。這樣第10軍名義上有4個師的番號，實際是8個團，總兵員17000人。
特別要說明的是，經過常德會戰，第10軍沒有得到休整補充。比如說第190師為後調師，所謂後調師是指將兵員全部轉撥給友鄰部隊，僅保留班長以上各級軍事幹部，隨後調後方接收訓練新兵。但這個後調師沒有走成，日軍已逼近衡陽，他們就留下來參加衡陽保衛戰了。
方先覺於5月底來到衡陽，他首先帶領師長、團長和參謀長們偵察衡陽地形，確定防禦部署。衡陽防區面積僅有3.9平方公里，東西寬約1.5公里，南北長約2.6公里。
第190師位於城東，每營配屬一個野炮連，進駐末水西岸。作為最前哨陣地，師主力於五馬歸槽、橡皮塘、蓮花塘一線構築主陣地。
預備第10師位於城西，師主力於汽車西站、虎形巢、張家山、江西會館一線構築主陣地。在汽車西站側翼是第3師的第7團和第9團。
第54師的一個團位於城東北，主力在馮家沖沿末水西岸構築主陣地。
炮兵在雁峰寺、縣政府、蒸陽路、吉祥街一帶佔領陣地。第10軍軍部設在銀行大院，前進指揮所在五桂嶺的預備第10師陣地上。
防守部隊的部署一定，立即開始構築工事。衡陽原先已經構築有鋼筋混凝土的國防工事，相當堅固。然而第10軍同日軍作戰多年，特別擅長防禦，從將領到士兵，一眼就能看出這些防禦工事的弊病，發現存在不少問題。一是防禦工事系統龐大，現在的一萬多士兵用不完，顯得空，有的地方根本就用不上；二是射孔較大，隱蔽性差，這對守軍極為不利；三是這些工事各自獨立，難以相互照應。
方先覺下令對所有工事進行改進和加強，放棄若干外圍工事，以縮小正面防禦，對放棄的工事一律破壞。城東、城北依託湘江和蒸水設防，城西北沼澤水田全部放滿水，在其要道上構築碉堡、地堡。城西南丘陵地帶，構築無數道防禦線。各據點之間均以交通壕相連。最有創意的是，丘陵對敵的一面，全部削成斷崖，讓敵人無法攀爬，並在斷崖頂上構築手榴彈投擲的壕溝。在丘陵之間的凹地，構建外壕溝，用粗大圓木建兩到三層柵欄。斷崖與外壕之間布設鐵絲網。無法挖出斷崖的丘陵，全都挖設5米深寬的壕溝，在溝底築有地堡，以防日軍利用。全城所有陣地都有交通壕相互連接。在城西北比較開闊平坦的地區，布有地雷區和多層鐵絲網，開挖四道戰壕。
第10軍在衡陽郊外利用地形，巧妙構築堅固工事，形成完備的堅固防禦體系。通信聯絡是關鍵，他們把電話線全部埋入地下，還組建電話線搶修隊，劃分責任區，並進行數次演習。在衡陽市區各路口均修築工事，將重要的物資像彈藥、糧食、被服、藥品等都分散儲藏在地下的藏兵洞里。
這些龐大的防禦工事體系，不僅由全軍士兵動手修建，還得到了當地的抗日組織和工會的大力支持，僅衡陽工會就組織3000工人，還征