常德保衛戰進行期間，正值開羅會議召開。12月1日，蔣介石從開羅飛抵重慶，獲悉常德戰況後，他特地致電余程萬，表示五十七師在常德奮勇殲敵的事迹，已「引起全世界各友邦最大之敬意」。
能夠得到全世界的關注乃至尊敬，當然是件再好不過的事，但問題是五十七師已撐不下去了。會議的焦點也不在於要不要突圍，而在於大家不能全部突圍，必須有人拖後掩護。同時因為五十七師撤出常德這件事，並沒有向戰區報告並得到許可，所以也要分出少部分力量留守以做交待。
據說會議一開始，是余程萬命令一六九團團長柴意新率部突圍，他自己率收容整補的一個加強連繼續與敵軍進行巷戰。不過在軍隊里，這樣一種方式也可以被理解為，在所有團長中，柴意新是余程萬最欣賞和最親近的一個，在此危難之際，余程萬有讓柴意新留守的意思。
柴意新毫不含糊，立即說：「師長為全師希望所寄，希望師長早日突圍，我在此死守，等師長率援軍來解圍。」
會議最終決定以一六九團余部和一七一團一部合計五十一人，由柴意新指揮，負責牽制敵軍。
誰都知道留守意味著什麼。柴意新當時新婚才七個月，他這麼做需要極大的勇氣和真正無私無畏的精神。吳榮凱時任一六九團上尉書記，柴意新對他說：「你也去（指突圍），和孫團長（一七〇團團長孫進賢）、杜團長（一七一團團長杜鼎）他們一起。」
把自己的團長單獨留在城裡，吳榮凱心裡極不樂意，於是搖搖頭：「我不去。」
柴意新急了：「我是在這裡拚命，我命令你馬上出城！」
吳榮凱只好說：「團長，那我服從命令，我走了。」
他給柴意新敬了一個禮，才回頭走了兩步，柴意新又叫住了他：「告訴你啊，沿途小心。」說著，把手往前面一指。
那一刻，吳榮凱的眼淚唰地就從臉上掉了下來。
由於孔廟失守，不在會議地點附近的已無法直接通知，只能用發射信號彈的辦法告知。還有的零散部隊是在用話機呼喚團指揮所無果的情況下，自行向後聯絡，才知曉了突圍的決定。
撤退人員登梯越過南門城牆，即撐船離岸。五十七師戰前在沅江沿河吊樓下藏了幾條木船，數量不多，當炮兵團團長金定洲趕到岸邊時，余程萬所乘的船已經離岸，他正好趕上一條帶著衛兵的軍官所乘的木船。在這條小船即將離岸的瞬間，金定洲跳上了船，岸上的幾十個人見狀，也紛紛跳下水，朝小船游去。
眾人很快就抓住了船沿。由於船少人多，船隻逐漸失去重心，往一邊傾斜，眼看就要翻掉了，船上的人頓時亂成一團。衛兵發現不對勁，揮起一柄繳獲的日軍指揮刀便朝船沿砍去。當即有一個人被砍斷手沉入水中。其他人還沒有爬上船的人趕緊哀求，說我是師部副官，又或者是師部軍需，但此時說這些都沒用，除非你是余程萬。
衛兵繼續揮刀，人們哭罵著一個個沉入水中，情形慘不忍睹。金定洲發現自己的副官也在水中，眼看衛士的刀就要砍到副官頭上，他急忙制止：「他是我帶來的副官，請讓他上來！」
衛兵聽後方才收起指揮刀。金定洲抓住副官的手，拚命往上拉。副官已經有氣無力，若不是金定洲救他一命，即便不挨刀也差不多要完了。
船上沒有槳，只能用木板代替，他們藉助強勁的東北風划到對岸，與德山方面的友軍會合。
這是最後一條救命船。後來者以及部分負傷官兵，只能仰卧或徘徊河邊，其中一些人沿著沅江北岸摸索，在天亮前脫離了險境，但是更多的人所面臨的命運，不是犧牲就是被俘。
12月3日晨，柴意新率部固守華晶玻璃廠。他們多次擊退敵人的進攻，在打光所有子彈後，又端起刺刀做自殺性衝鋒。衝鋒過程中，柴意新身中四彈而亡，所部51人也全部遇難。
上午八點，常德淪陷。中方轟炸機群共三批九架對城內展開空襲，黃昏時，岩永汪不得不將大部分軍隊撤至城外，只留下一部兵力在城內擔任守備。
既然已經佔領常德，橫山勇便準備撤退，但是他的上司、「中國派遣軍」司令官畑俊六卻勸他從長計議，對撤退計畫做出變更。