大凡攻城戰，守軍在前期都會拚命防守，一旦城破，其防守意志十之八九會立即崩潰。然而五十七師卻並沒有因西北角城防被突破而受到根本性衝擊，北門守軍似乎只是換了個戰鬥位置，退到城內來防守而已。
在通往城內的道路上，到處都是守軍的碉堡，五十七師憑藉碉堡頑強抵抗，同時中美聯合空軍也從空中進行掃射，黑瀨部隊一進難以取得進展，只能盡量避開道路，通過民房向前突進。
常德城內的民房當然不是為了給日軍做防彈衣用的。第十軍在第三次長沙會戰中行之有效的工事構築法，在常德再次得到了成功運用，黑瀨部隊連續出現較大傷亡，進展極不順利。
在東、西門，守軍仍然是一步不退。正如余程萬在通令中所說，「無論敵寇對我們施以如何大的壓力，我們的答覆就是血，就是死，就是光榮」。負責東門守衛的一七〇團的一個營只剩下不到一個班，西門的連排長傷亡殆盡，各部隊便把所有能填補的人員全都填補上去，師部、團部、營部的副官、軍需、軍醫、文書和勤雜兵均持槍上陣作戰。
早在27日，五十七師已消耗了百分之八十五的彈藥。在補給線被切斷，子彈不足的情況下，官兵們就用手榴彈、刺刀、槍托乃至石頭、城磚作武器，把長梯上的日軍打下城頭。迫擊炮兵則奉命用炮火封鎖突破口，同時截斷日軍後續部隊的湧入。
在日軍步兵炮的轟擊下，東門城垣曾一度出現缺口，日軍順勢朝缺口處湧入。千鈞一髮之際，迫擊炮兵連座盤陣地都來不及構築，就用直接瞄準的辦法向敵人開火。
炮彈帶著嗆人的銷煙，呼嘯著飛向城垣缺口，一發接一發，速度和密度不斷加強，令日軍無隙可入。
唯一沒有爆發激烈戰鬥的是南門，因為橫山勇做出了一個新的決定。
日軍戰史在敘述各部進攻常德的狀況時，連連慨嘆他們遭到了「出乎意料之外的頑強抵抗」，以及「城內巷戰敵人抵抗極其頑強」。當時的日軍第十一軍司令部也對此感到分外吃驚，橫山勇判斷，五十七師如此堅韌，恐怕還是因為被逼得太急了。想想看，人家四周圍全都被你圍得密不透風，連條退路都沒有，能不跟你玩兒命嗎？
作為軍司令官，橫山勇不能光用戰術的眼光來審視常德戰役，他還必須跳出常德，看到常德以外——無論常德以西的王耀武兵團，還是常德以南由第九戰區派來的第十軍，都在向常德中心區域極力推進。
就戰略角度而言，增援常德並不是中國統帥部的唯一目的，它更可能達到一箭雙鵰的效果，即用五十七師來牽制和消耗攻城部隊，同時調動在城西和城南的主力，以野戰的方式來圍殲和消耗迂迴常德的日軍。
與幕僚人員研究後，橫山勇認定，要想消滅眼前這支國家觀念極強，並且在中國國內負有盛名的五十七師，不僅要付出數倍的傷亡代價，還將延長作戰時間，影響全盤戰略，是個很划不來的買賣。
簡單點說，就是魚很好吃，可是不能因為想吃魚就讓自己的喉嚨被刺給卡住。橫山勇決定棄魚撈蝦，也就是不再以完整殲滅五十七師為目標，只要佔領常德城，就趕緊撤兵。
當天橫山勇向指揮攻城的岩永汪發出命令，讓他開放常德城的一側，使第五十七師得以撤出。按照命令，岩永汪將進攻南門的日軍第三師團第六聯隊撤至東門，讓出了南門這一帶地區。
在28日的戰鬥中，為應付險情，五十七師把僅有的炮彈都用完了，無論是火炮還是迫擊炮，炮彈都全部告罄。沒有炮彈的火炮等於一堆廢鐵，毫無用處，炮兵們只能取下炮閂，卸下瞄準鏡，然後拆卸炮筒、炮架，將其全部埋入地下。
余程萬下令將城內炮兵、工兵和師部人員全部編隊，由一七一團團附率領，改換成步兵裝備參加巷戰。
沒有火炮，接下來的巷戰還能堅持多久，余程萬心知肚明。11月29日，他向第六戰區發去最後一份電報：「彈盡，援絕，城已破。職率副師長、指揮官、師附、政治部主任、參謀部主任等，固守中央銀行，各團長劃分區域，扼守一屋，作最後抵抗，誓死為止，並祝勝利。第七十四軍萬歲，蔣委員長萬歲，中華民國萬歲。」