綜合各方面情報，日軍第十三軍總部意識到，第三戰區是想複製歷次長沙會戰的戰術思想，一方面死守衢州，另一方面使用第七十四軍等強力兵團從南北兩側向日軍發動側擊。
每一次遭到失敗，日方謀略層也會在研究之後，苦思對策。「後退決戰」是以逸待勞，先削弱其力量再予以擊敗，而此次浙贛會戰，日軍第十三軍幾乎傾巢出動。為了進一步加厚兵力，5月31日，駐長江中游的日軍第十一軍也突然調出兩個師團，從西線進行夾擊。日軍兵力出動之多，規模之大，武漢會戰以來還從未有過，這使得「後退決戰」很難達到原來的戰術目的。
「爭取外線」是要從最佳位置出發，由側面實施猛擊。日軍第十三軍已提前在二線設置了一個獨成混成旅團，以做好迎接側擊的準備。
經過這樣的安排，日軍第十三軍軍司令官澤田茂中將認為暫時可以不必過於擔心兩翼，他的首要任務是突破衢州。
6月3日，日軍向衢州發動全線進攻。除正面投入重兵外，另由其第二十二師團攻擊五十八師防守陣地，陣地上煙塵四起，槍炮聲、炸彈聲震天動地。
當天日軍第二十二師團並沒有能夠取得任何實質性突破，但澤田此時的主要目的還是防止七十四軍從側面攻擊，只要讓七十四軍「基本陷入被動地位」，他覺得已經很不錯了。
見日軍開始圍攻衢州，中方三戰區判斷以衢州為核心吸引敵軍的計畫已基本落實，遂決定於第二天實施決戰。七十四軍的任務是由守轉攻，將日軍壓迫於衢江南岸予以殲滅。
不料當晚蔣介石向三戰區發來急電，下令放棄決戰衢州的原定計畫。理由是他已得到日軍第十一軍出動的消息，日軍兵力過於雄厚，若仍然依照原方案執行的話，不僅很難取勝，七十四軍等精銳部隊也將遭到不必要的重大損失。
這時的實際情形確實不是你想攻就能攻，想殲就能殲的。過去像在上高會戰中，側擊部隊所面臨的壓力都很小，可是現在七十四軍正面卻有一個日軍師團，而且其他部隊也被具有相當力量的日軍壓著，誰也幫不了誰。
6月4日，日軍第二十二師團起兵再攻，戰至中午時分，還曾迂迴五十八師陣地，試圖從南面突破防線。五十八師師長張靈甫及時把預備隊派上去，才將日軍予以擊退。
6月5日，日軍第二十二師團八十六聯隊向駐守山嶺陣地的五十八師一七二團發起猛攻。日軍步兵跟著「膏藥旗」衝鋒，都跟瘋了一樣拚命撲上來，一七二團官兵紛紛躍出陣地投擲手榴彈，當陣地面臨被突破的危險時，更是多次與日軍進行肉搏拼刺。
輪到要拼刺刀，陣地就有些麻煩了，張靈甫趕緊派上一七三團，終於在黃昏時擊退了日軍的進攻。這次戰鬥打死了很多日本兵，日軍八十六聯隊第三大隊大隊長島田仁次郎中佐當場斃命。
6月6日，張靈甫接到了撤退的命令。這時敵我雙方戰鬥激烈，寸土必爭，如果馬上撤退，日軍一定會跟蹤追擊，所以必須依慣例採取以攻為退的戰術。
按照事先約定，小號手一吹響衝鋒號，陣地內即喊殺聲四起，各種武器齊鳴。等陣地前塵土瀰漫，足以遮住敵人的視線，衝鋒號馬上停止，官兵不待命令即跳出戰壕，背負傷兵撤出陣地。
撤退途中，狀況又發生意外，五十八師師部遭到一股日軍的伏擊。張靈甫親自上前觀察敵情，但情急之下他犯了一個低級錯誤，沒有尋找凹面位置或使用炮隊鏡進行觀察，而是直接趴在了堤壩邊。
日軍見有高級軍官模樣的人在張望，馬上瞄準目標施射攻擊。在這個距離上，殂擊手射程不夠，只有迫擊炮或小鋼炮才夠得到。如果張靈甫站在山腰或土坑裡，他十之八九會沒事，因為迫擊炮彈呈拋物線飛行，不太可能正好落在他所站的地方，可堤壩就不一樣了，炮彈只要落在身後，彈片就會迸射到堤壩邊上，趴在那裡的人根本無處躲藏。
當迫擊炮彈即將落下的時候，張靈甫的副官已經發覺，翻身就壓在了張靈甫身上。炮彈落地，副官被炸斷一條腿，背上嵌進十多顆彈片，張靈甫雖得倖免，雙手也被炸得血肉模糊。
除了決戰計畫放棄前後的阻擊戰外，七十四軍此後參加的戰鬥皆為游擊式作戰，難以取得像樣的戰績。王耀武組織參謀團參觀長沙戰場時，眾人還都對第二十軍的打法看不上眼，然而他們如今也只好這麼干。
應該說，中國統帥部放棄衢州決戰，以避免主力損耗的決策，並沒有錯到哪裡，要說錯，主要錯在對日軍何時主動後撤的時機把握不好。8月中旬，日軍第十一軍、第十三軍分別後撤，但此時七十四軍卻被轉調到了福建北部，遠離浙贛前線。沒了七十四軍，第三戰區留下的各部隊大多缺乏猛追殲敵的實力和意志，加上日軍防備警戒較嚴，所以浙贛會戰後期也沒能像以往那樣擴大成果。
在七十四軍參加過的歷次大會戰中，這大概是最乏善可陳的一次了，好在來日方長，只要願意，「虎部隊」還有的是搴旗斬將、建功立業的機會。