誰知日本侵略者的炮聲，驚醒了那些達官貴人、富商巨賈的迷夢！日寇飛機頻頻轟炸。衡陽一日數驚，風聲鶴唳，戰爭陰雲密布，人心惶惶。他們又紛紛攜資西逃。1944年第三次長沙會戰開始後，西遷的工商業戶達3000多家，西逃人員5萬多人。1944年5月，日本帝國主義由於通向東南亞的印尼、新加坡、馬來西亞和印度支那地區的空中通道和海上通道，被盟國的海空軍卡斷，便企圖急於打通從日本本島出發，經朝鮮半島，過鴨綠江，通過我國東北、華北、華南，和印度支那，直達南洋諸島的「大陸交通線」。衡陽向為湘南軍事重鎮，是日本帝國主義設計的這條交通線上最重要的關隘，因而勢在必奪。國民黨政府如果丟失衡陽，讓日本侵略者暢通無阻，就等於丟掉了南中國半壁江山，因而勢在必守。日本侵略者為了達到這個目的，早已把魔爪伸向衡陽！據衡陽市志記載：1938年中秋節，日機夜襲，投彈數百枚，小西門一帶被炸成焦土。1939年4月6日，敵機把1公里長的下橫街全部炸毀。1940年以後，日機空襲更加頻繁。1940年8 月10日至23日，17架日機，兩次襲擊，輪番轟炸，衡陽市成為一個火海，半個城區被毀，慘不忍睹！1942年1月，湖南省防空司令部遷來衡陽，與衡陽防空司令部合併，加強防空工作。1942年4月8日，日機17架3次襲衡，在東北郊投彈。次日又6架襲衡。7月3至4日，日機30架分10批在市區上空同中美空軍進行激烈空戰、投彈，日機被擊落6架。8月初，衡陽上空連日空戰，擊落日機7架。1943年2月8日，日機16架，在江東岸車站附近投彈50餘枚，炸死、炸傷民眾7人，焚燒房屋2棟。5月21日，衡陽市空戰，擊落日機1架，墜於黃茶嶺。6月10日，日軍24架襲衡，1架被擊落，墜於酃湖，後該機殘骸運市區陳列。7月23日，日軍轟炸機和戰鬥機150架，分4批襲擊中美空軍第14航空基地，在衡陽和永洲上空與中美空軍發生激戰，日機被擊落16架。7月25日，日機12架又在市區上空與中美空軍激烈空戰。12月10日，日機79架分批襲衡。1944年3月4日，日機兩批在衡陽市郊投彈。3月13日晚10時至14日4時，日機不斷襲衡，在市郊投彈多次。月內，日軍派遣大編隊飛機百餘架，輪番轟炸市區和飛機場，雖然被中美空軍第14航空大隊擊落30餘架，但衡陽機場遭到嚴重破壞。4月6日，日機18架襲衡，全城大火，民眾死傷甚眾。月內，第九戰區司令部由長沙遷駐衡陽市，司令薛岳，副司令楊森、王陵基、王贊緒，參謀長趙子立。下轄10個軍，27個師，約30萬人。隨戰事發展，司令部南遷耒陽、郴縣。5月底，國民革命軍第10軍，由衡山大埔、石灣一線移駐衡陽市區。1944年春，日軍在發動豫中會戰的同時，就集結了10個師團約20萬精銳兵力，準備進犯長沙、衡陽。6月18日長沙陷落。日軍5個師團和一個旅團共10萬人進逼衡陽城。國民政府軍事委員會委員長蔣介石先生懾於日軍的洶洶氣勢，對保衛衡陽猶猶豫豫，直到5月31日才命令駐防衡山休整的國軍陸軍第10軍「固守衡陽十天乃至兩周」。第十軍是長沙第三次大捷時的守城部隊，也是常德會戰時解圍最得力的援軍，在湖南人民心中信譽正隆，號為「泰山軍」。軍長方先覺中將(1905—1983) 字子珊，江蘇蕭縣人。1926年黃埔軍校第三期畢業；早年投身軍界，自排長晉陞至集團軍副總司令。驍勇善戰，善撫士卒，在北伐戰爭和抗日戰爭中，多著功勛。抗戰期間曾參加台兒庄會戰、長沙會戰，常德會戰等。他奉命保衛衡陽後，立即率第10軍3個師（實際只有7個團加1個營，約17600人）擔負起保衛衡陽的重任。
1944年6月18日，駐株洲、湘潭之日軍第11軍司令官橫山勇率兩個師團加一個旅團，兵分三路向衡陽突進。前鋒於6月24日進至衡陽西南。27日，抵衡陽市郊二塘。三路兵力合計55000人。加上後續增援部隊共110000人。同日，衡陽民船工人將90艘民船開往湘江上游沉沒；火車站工人張學逸率粵漢碼頭工人20餘人 ，將衡陽火車站火車頭轉盤折毀，以免資敵。6月下旬，衡陽境內各級各類學校全部停課。6月21日，日軍派竹內情報參謀潛入衡陽市，負責收集情報。對日軍日後破城起到了很大作用。6月22日，日軍對衡陽城郊進行大規模轟炸，東西兩岸市區均引發大火。同日，衡陽守軍於城郊全部布陣完畢，設指揮部於市中心之中央銀行，前線指揮部設五桂嶺。同日，衡陽守軍將湘江大橋炸毀。