長沙失陷後，日軍分成數路縱隊，夾湘江西岸大舉南下。數日間，湘鄉等諸縣未經激戰即先後失守。
在長衡會戰中，蔣介石和薛岳從一開始就出現了很大的戰略分歧。蔣介石要薛岳坐鎮湘江以西，固守湘桂路與湘西，不讓日軍動搖西南大後方。薛岳則堅持不到湘江以西，認為必須固守湘東南，不讓日軍打通粵漢路，進而與香港取得聯繫。
為了貫徹個人的主張，薛岳只留第四軍守長沙，第十軍守衡陽，而把司令長官部移駐於湘東南位於湘贛邊境的桂東，各部隊也被陸續轉移到桂東。薛岳的這一指揮失誤，事後被認為是長衡會戰失敗的關鍵所在。
繼第四軍兵敗長沙，衡陽的第十軍又馬上成為被日軍包圍的孤旅。按照趙子立的意見，即便這樣，此時若能把絕大多數部隊集中在湘桂路方面，向衡陽西南面發起反攻，仍有可能為第十軍解圍。
奈何薛岳就是不肯動身到湘西去，許多部隊被分散在湘東兩三百公里的區域內，且重點不清，毫無力量。趙子立最為看重的衡陽以西，只有王耀武兵團在活動。由此還出現了一個奇特的現象，即湘江以西的部隊由軍委會直接指揮，薛岳只負責湘江以東的作戰指揮，到後來他所負責的部隊也已經被日軍沖得七零八落。
衡陽是中國軍隊的核心防守陣地，也就是「核心地帶」。橫山勇知道中方會以重兵堅守，外圍也會不時投入戰略兵團，因此他要求抓緊時間，不惜一切代價予以攻佔。
方先覺指揮第十軍死守衡陽，隨著陣地的日益縮小以及援兵不至，官兵士氣逐漸消沉。他們對薛岳移師桂東，未出全力增援，都感到極為憤恨，零星脫險的士兵痛罵薛岳指揮無能：「幾次長沙大捷（指第三次長沙會戰前的『大捷』）都是吹牛，第三次長沙會戰要我們第十軍死守長沙，這次又派第十軍死守衡陽。我們已死守了這麼多天，（他）把我們置之死地而不顧。」
有可能為衡陽的解圍的只剩下王耀武兵團。此時王耀武除指揮第二十四集團軍外，還能調動第七十九軍、第九十九軍以及失守長沙的第四軍殘部，號稱有十七個師的規模。不過這些部隊自六月初就投入了戰鬥，多為建制殘破的久戰疲師，戰鬥力已大不如前，難以在日軍的阻擊線上形成突破。同時兵團內想保存實力，甚至對第十軍心存嫉妒的也不乏其人。第二十四集團軍下面的一個軍長私下就說：「如果衡陽解了圍，方先覺豈不成了個人英雄？」
就在各部或真的力不勝任，或猶豫觀望的時候，王耀武決定再次動用「虎部隊」。長衡會戰初期，王耀武只從七十四軍中抽調五十八師隨其一同進入第九戰區作戰，五十一師和五十七師都被第六戰區留在常德附近擔任守備。直至6月底七7初，五十一師和五十七師才得以歸建並全部投入會戰。
7月中旬，七十四軍軍長施中誠得到命令，限以急行軍方式趕到衡陽以西的金蘭寺、雞窩山一線，以解衡陽之圍。
七十四軍的三個師也並非都處於最佳狀態。五十七師在常德會戰中幾乎傷亡殆盡，戰後開赴桃源整補訓練，經過三個月的整訓，才剛剛恢複戰鬥力。五十八師在寧鄉保衛戰後，又與日軍第四十師團在永豐纏鬥，部隊損失也一直沒有時間進行補充。算下來，只有五十一師的情形要稍好一些。在行軍陣型上，施中誠以五十八師居前，五十一師在後，五十七師進行側翼掩護。
第一個目標金蘭寺在衡陽西南四十多公里處，原為第七十九軍一個營駐守。日軍包圍衡陽後，為鞏固衡陽外圍，日軍第四十師團派黑須大隊攻佔了此地。
最初收復金蘭寺的任務，系由第一百軍承擔。7月20日，第十九師以一部斷敵退路，主力在攻佔金蘭寺前的店鋪和村莊後，逐步將敵人壓縮至金蘭寺內。
金蘭寺是一座磚石結構的小廟，但日軍利用周圍地形，把它打造成了一個易守難攻的據點：除以廟內的磚石建築物負隅頑抗外，廟前的大樹有輕機槍手進行俯射，廟後的小高地上還建有防守工事。
第十九師乃增派部隊，先將寺後高地予以攻佔，接著又集中迫擊炮和重機槍，摧毀了樹上的俯射火力點。只剩下寺廟無法攻入，對於這樣的堅固據點，無論迫擊炮還是重機槍都難以逞其技，必須得動用山炮，可是十九師連山炮都沒有。盟軍飛機幾度對金蘭寺進行轟炸掃射，也因為寺廟縮在山窩裡面，難以命中。
圍攻了一周，仍然一籌莫展。第一百軍軍長李天霞採取了一個投機取巧的辦法，他指示十九師想辦法將國旗插在寺前樹上，以便使盟軍飛機看到後，可以向上報告，說第一百軍已攻取了金蘭寺。
在擔任團長至師長時期，李天霞並不乏七十四軍將領所慣有的勇猛果敢，但後來便一意熱衷於打巧仗、便宜仗，他的這個餿主意可害苦了十九師。為了插旗，十九師連續多次派敢死隊員爬上樹，但都遭到了日軍的狙擊，旗未插成，倒白白死傷了九個人。
7月23日，張靈甫揮師出擊。五十八師在擊退向金蘭寺增援的敵軍後，緊接著便會同十九師一道向金蘭寺發起猛攻。五十八師有軍配屬的山炮連，在炮兵的支援下，他們摧毀了日軍的鐵絲網前緣工事，黑須大隊余部見勢不好，趕緊從東面突圍逃跑了。
7月28日，王耀武督令兵團各部向衡陽西南郊全面攻擊前進，但是第二天日軍援兵一到，各部便全線後退，只有五十八師和十九師在繼續向衡陽挺進。兩天後，他們迫近衡陽近郊，並與守備該地的日軍第四十師團第二三四聯隊展開殊死搏鬥。