日軍第六十五聯隊在慈利屢攻不下，讓師團長赤鹿理中將很是不爽。11月20日晚，在參謀長的陪同下，他來到第六十五聯隊本部，陰沉著臉對伊藤聯隊長下達嚴令：「今晚一定要迅速突破當面之敵，進入指定地點！」
無功受賞，固然會令人頭輕腳重，而明明看得戰功就在前面，卻無論怎麼伸手都撈不到，也夠讓指揮官苦惱和焦慮的。上司不顧實際情況的死逼，則更增加了伊藤的這種情緒，然而為全局著想，他也只能把那些眼睛已經熬得通紅的部下們組織起來繼續作戰。
晚上六點，第六十五聯隊經過強行突破，僅僅佔領了防守陣地的一角。一個小時後，仍未取得任何進展。伊藤急了，便親自指揮聯隊步部隨步兵大隊突進。
這時天色黑得像墨團。聯隊本部跟著跟著跟丟了，伊藤只能一邊前進，一邊通過無線報話機來了解各大隊狀況。
為阻遏日軍的夜襲，五十一師、五十八師各派一個營向日軍兩翼出擊。就是這次出擊打了日軍第六十五聯隊一個措手不及，日軍立刻陷入混亂之中，伊藤拚命向周圍呼叫，但各部都忙於混戰，聯繫很快就中斷了。
在這場防守反擊戰中，七十四軍採取以攻對攻、以襲對襲的戰術，不僅成功擊退日軍第六十五聯隊的攻勢，還繳獲機步槍三百餘支、騾馬四十餘匹以及諸多軍用品。
伊藤在失去與部隊的聯繫後，只得孤軍前進，行至夜半時分，在余兒埡北側高地遭到包圍。當時聯隊本部除指揮機關外，僅有一個軍旗小隊可用以作戰，眾人全都傻了眼。
11月21日拂曉，七十四軍的攻擊逐漸加強，而伊藤依然未能與他的部隊取得聯繫。下午一點三十分，一枚手榴彈在軍旗下爆炸，伊藤右腿被彈片擊傷，三名衛兵或死或傷，聯隊本部幾乎就要支持不住了。熬到下午四點，大場大隊的一部趕到，這才把驚魂未定的伊藤從危機中給撈出來。
除與日軍第六十五聯隊進行較量外，七十四軍還擊退了其他單位日軍發起的攻擊，防守主陣地屢失屢得，反覆爭奪達四次之多。五十一師營長張集光在衝殺中陣亡，另一名營長周德民負重傷不退，率部生俘日軍第三十四師團六名士兵。
當天晚上又發生了驚險的一幕。五十八師炮兵營營長劉炳均率領全營在村中待命，為了解補給情況，他給軍部兵站打了個長途電話。兵站站長告訴劉炳均，日軍繞道襲擊了後方，現在已到達龍潭河，他們兵站正準備搬家呢。
過了不久，軍部經過炮兵營所在村莊，劉炳均看到王耀武的隨從副官也在其中，便問他軍部要到哪裡去。
不問猶可，一問劉炳均被驚了一跳，因為軍部要去的地方正是龍潭河。
劉炳均說：「那裡現在有敵人，非常危險，難道你們不知道？」副官茫然不知，顯見得兵站所獲知的敵情，應是軍部在出發路上發生的事。
劉炳均急忙拉著副官去找王耀武。見到王耀武，劉炳均把前後經過一說，王耀武也大驚失色，問電話還通不通。劉炳均點頭說通，王耀武馬上說：「走，到你們營部去。」
到了炮兵營營部，王耀武接通兵站站站長的電話，問明情況後，又在軍用地圖上察看了一會，當即決定變更部署，同時將軍部移向新的地點。
如果不是劉炳均及時報告敵情，軍部很可能在毫無準備的情況下遭到日軍的夜襲。這是王耀武出任七十四軍軍長以來第二次遇險，事後他連稱僥倖，也對部下的救護之恩銘記在心：「到底他（指劉炳均）是跟隨我多年的人，才會這樣關心啊！」
迂迴龍潭河的是日軍佐佐木支隊。王耀武用半個小時，親自給各部打電話，部署應對措施。接到命令後，五十一師、五十八師各從正面抽出一部，會同軍直屬部隊對佐佐木支隊進行夾擊，粉碎了其突襲七十四軍指揮機構的計畫，但五十八師側翼已遭割裂，若硬頂下去，正面陣地勢必遭到包圍。
11月22日，五十一師、五十八師主力被迫撤出慈利，將陣地轉移至漆家河以南。這一撤離，意味著常德西面門戶大開，但對七十四軍外圍部隊來說是有利的，因為他們可以與十九師合兵一處，處於更好的外線攻擊位置。
此時一百軍已集結完畢，王耀武兵團（含七十四軍與一百軍）奉戰區命令轉守為攻，試圖打通與五十七師的聯繫。日軍第十三師團與佐佐木支隊則向黃石、九溪收縮，以阻止七十四軍向常德東進，掩護其正在進攻常德的主力之側背。