橫山勇的如意算盤是：衡陽東為湘江，強渡困難；北有蒸水，進攻也頗不易。因此他決定將主力放到西南兩面。西南兩面皆為丘陵高地，佔領了這些高地，衡陽就在自己的控制之下了。屆時，第10軍官兵不突圍，就會被消滅在湘江與蒸水之間的三角地帶。
6月23日至26日，橫山勇命令六十八師團、一一六師團一面派得力一部迅速突破耒水國軍防線，儘快解決湘江東岸前哨、飛機場及東岸市區等處戰鬥。一面乘勢在距衡陽三十華里湘江上游之東陽渡，強渡湘江，將主力移至湘江西岸的衡陽主城區，分從西南兩面向衡陽猛撲過來。同時命令獨立第五旅團突破第10軍第3師第8團在衡山的阻擊，快速向衡陽的西北方向進逼。
方先覺針鋒相對，將兩個主力師之預備第10師防守主陣地——汽車西站至湘江大橋一線；之第3師防守汽車西站到轄神渡一線；第190師則守自草橋、石鼓嘴到湘江防線之泰梓碼頭一線；暫編第54師（實際只有一個營）在城內守泰梓碼頭至湘江大橋一線。
英勇的衡陽保衛戰開始了，方先覺為了振作士氣及便於指揮，特意將軍指揮所設于衡陽南郊五桂嶺上的湘桂路局內，距前線僅300公尺。日軍幾次衝到他的指揮所前面，但他仍沉著鎮靜地指揮戰鬥。他的表現起到了穩定下屬官兵情緒的作用。官兵們見軍長如此鎮靜，也都鎮靜下來。
日軍第一期攻勢在6月26日正式展開。火車西站附近的停兵山和高嶺成為日軍進攻的首要目標。停兵山和高嶺是國軍預備第10師第30團的防守的江西會館和臨江高地五桂嶺達到前哨警戒陣地，分別駐一個連和一個排的兵力。
6月27日拂曉，日軍兩個師團又一個旅團，附屬野戰炮兵第一二二聯隊，共計山野炮六十餘門，同時猛攻衡陽城，預計一天之內解決戰鬥，足見日軍猖狂之極。這時候，日軍合圍衡陽的戰略部署有全部完成，各方兵力、武器裝備配置已經到位，所有部隊像足發條的彈射機一樣，繃緊了所有的力量。國軍第10軍預備第10師自然首當其衝。只見敵人步炮協同且陸空配合發動了空前猛烈的攻勢。敵炮連續攻擊，敵機不斷轟炸並投下大量的燃燒彈。衡陽城內和守軍陣地上，一片火海，城內火勢連續幾天都不能控制。
日軍攻取長沙之戰，因繞行湘江西岸，直取嶽麓山而佔了一個大便宜。圍攻衡陽的日軍也有一部自湘江西岸而來，以為像攻長沙一樣，還想輕取豪奪，突然攻其不備，志在必得，氣焰十分囂張。日軍擇其重點，大膽突進，首先進攻城西南的預備第10師30團江西會館、五桂嶺，29團虎形巢一線陣地。日軍自湘北新牆河一路突進，勢不可擋；在此次首攻衡陽的戰鬥中，更是使用人海戰術，蜂擁而上。但數次衝鋒均告失敗，卻仍不思悔改，稍斂驕氣，頻繁衝擊，屢次陷入第10軍的巧妙構築的工事的優勢火網之中。越是這樣越感迷惘，越不得要領，造成更大傷亡。
方先覺不但親臨前線指揮戰鬥，還在戰鬥間歇去一線陣地慰問前線官兵。在一次激烈的戰鬥後，第10軍特務營少尉排長劉先州跟隨方先覺軍長，在葛先才師長的陪同下來到張家山陣地，視察一線陣地。葛先才將軍大聲對守衛陣地的官兵們說：「弟兄們，軍長親臨前沿陣地來看望慰問我們啦！大家鼓掌歡迎並表示感謝！」嘩，陣地上一時掌聲雷動，戰士們很受鼓舞，戰鬥情緒高昂起來。葛先才接著說：「軍部戰鬥指揮所就在我們側後方的五桂嶺；軍座就在我們身邊指揮戰鬥。都給我聽好了，給我狠狠地打！誰怕死、後退，誰就不是我預備第10師的兵！堅決打好這一仗，大家有沒有信心？」「有！」官兵們堅定有力地齊聲答道。方先覺指著機槍手羅炳武的機槍掩體笑道：「兄弟們打得好啊！我們的陣地前就是敵人的墳墓！」
高嶺為張家山和楓樹嶺兩大據點之間的一個小丘陵，只駐有守軍一個排兵力，相距兩大據點約400米。日軍指揮官以為高嶺是一個孤立的小據點，一個衝鋒就可唾手可得。佔領高嶺後，便可鉗制和分散張家山和楓樹山的火力，再發起衝鋒就可力克兩陣地。沒想到，待一百多名日本兵沖至高嶺陣地時，先是被預設的地雷陣炸得東歪西倒；待到剩下的日本兵回竄時，又遭到張家山、楓樹山兩大據點的側射火力網的夾擊，進攻的日本兵絕大部分被殲，只有少數幾個人逃回。
日軍於是集中炮火轟擊兩高地。守軍炮火立即予以還擊。這種炮戰僵持多時，彼伏此起，密如驟雨。濃密的炮火中，日軍又發起數次衝鋒。國軍官兵好象從灰土中鑽出來的，但依然火網密織，毫無衰減。日軍仍不能近前，衝鋒行列只剩下游兵散勇。炮火重新開始轟擊，周而復始，直至夜幕降臨。高嶺、停兵山兩高地的障礙物多被炸飛，碉堡被毀達三分之一，官兵傷亡慘重，陣前日軍遺屍累累。高嶺山腳下有200具，停兵山一帶則在400具以上。日軍認為衡陽西南部高地猶如長沙之嶽麓山，攻取後即可鉗制衡陽。且高嶺、停兵山兩高地實際高不足50米，並無險峻之勢，萬萬想不到會遭此大挫。
其實，沒有什麼大驚小怪的。想起來都讓人發笑，日軍打仗相當教條，一切按操典條例執行。一經打響，按日軍總攻條例，炮彈發射要達到什麼樣的射速，彈幕對主攻陣地要達到什麼樣的飽和度；尤其對進攻編隊要求十分苛刻嚴格，如首攻編隊不能躲避火力，甚至不能匍匐前進，只能挺直腰干往前沖。日軍的進攻精神更強調對敵人心理的震懾，重視對己方兵士勇敢頑強的精神督導。甚至白刃格鬥，拼刺刀之前先必須將槍堂里的子彈推出。估計一來可以避免誤傷自己人；另外也許可以更進一步顯示所謂戰無不勝的武士道決死精神吧！日軍以這樣的方式對付火力配置只相當於日軍三分之一強度的中國軍隊來說可是占足了便宜。尤其是抗戰初期更是如此，太原保衛戰只打了3天，南京保衛戰十幾萬中國守軍也只打了一周。「一號作戰」開始後的許昌保衛戰打了1天，洛陽保衛戰只打了5天，長沙城也僅打了1天便告棄守。日軍在中國的攻城略地似乎永遠就帶著這樣一種慣性，打了7年，雙方變化都不大。防守方的城牆、堡壘大多是冷兵器戰爭時代的工事模式，炮兵火力足以摧毀。但那又高又厚的城牆上毫無遮擋的牆道，往往是飛機平行轟炸掃射的最好靶場，一個俯衝轟過來，掉轉頭又一個俯衝掃過去，守軍自然是無處逃生，死傷慘重。再加上日軍頑強的戰鬥作風，踏著戰死者的屍體，厲行猛撲。就這樣，中國一座座城市被攻克。特別是這次「一號作戰」，日軍的死打硬殺的鬥志被調整到了極致。在1944年，這是唯一能使武士道踐死精神換取征伐勝利光榮的地方。在太平洋，這種大和精神正成為美軍強大火力下的愚蠢而又僵死的行為。
日軍在衡陽西南的攻擊，在6月26日夜至27日晨進入了****。黑夜中的轟炸與炮擊，使整個衡陽城翻江倒海般地顫抖著。無數的流星、火龍般的彈道劃破漆黑的夜幕，飛向各主要陣地，爆裂的炸點瞬間將一些高地照射地如同白晝。炮火之密集幾乎將這兩個小小的山崗犁了一遍又翻了個個。
到27日凌晨3時，高嶺的槍聲漸漸停息。排長李建初中尉與預備第10師30團3營7連1排的全體士兵陣亡。日軍佔領高嶺。高嶺失守的消息，在天剛亮的時候就傳來了。稍後，在停兵山高地，30團前進警戒部隊第7連，在勇敢善戰、素負盛譽的連長張田濤上尉的率領下，經過兩天一夜孤立無援的苦戰，頂住了日軍一次又一次瘋狂衝鋒。在四面受敵，眾寡懸殊的情況下，猶浴血奮戰。當只剩下負傷的張連長和三個戰士時，3營周國相營長令其撤退到營主陣地，他還是決心以死報國，力戰不退，最後拉響腰間的手榴彈與衝上陣地的日軍同歸於盡。眼看坐朝夕相處的戰友就這樣犧牲了，周營長氣得將拳頭狠狠的砸在戰壕上。7連全連官兵壯烈犧牲。他們實踐了自己與陣地共存亡的誓言，盡到了保家守土、以身殉國的軍人天職。
原來這張連長張田濤，原名張德山，河北人，行伍出身，高大勇武，性嗜酒，為人直率忠誠，勇猛善戰，人稱「猛張飛」。葛先才師長在28團任團長時，他擔任團部傳令班中士班長，後以戰功累升至連長。6月27日午夜，在張田濤回答葛先才師長電話詢問戰況後，葛師長讚許道：「張連長，那麼固守我軍停兵山前進陣地，擋住了日寇絕對優勢兵力的兩晝夜不停的圍攻，殺敵甚多，打出了國威，打出了軍威，你們是好樣的，師部給以傳令嘉獎！」「謝師座關懷，我連官兵決計在此據點，堅守到底，大不了與小鬼子拼個同歸於盡。只是，今後恐怕我再也不能挨師座罵，再也看不到師座啦！」張連長的語調凄涼而悲壯，七尺男兒此時已泣不成聲，哽咽起來。葛先才說：「張德山，你要聽我的話！倘若敵軍攻勢太強，你們不要死拼，可以放棄據點，撤回到主陣地。我馬上打電話，要你們團長給以火力掩護。」
「師座，不用了。我們決心死戰，一則拚死報國；而則也報答師座您這麼多年來的愛護栽培恩。我認為這