元月4日夜，薛岳根據敵情變化再次調整部署，各集團軍部隊迅速到達了指定位置，開始了對由長沙撤退日軍的大圍殲、大追殺。
羅卓英親率第19集團軍指揮部隨26軍到達長沙以東20公里的牌樓鋪，他指揮第4、26、73軍部隊由南向北推進；楊森則在平江指揮27集團軍所轄的20軍和58軍由福臨鋪一帶自北向南，尋著日軍的來路堵截過來；王陵基指揮30集團軍37、78兩支生力軍自東向西席捲；99軍軍長傅仲芳率全軍自西向東橫掃；140師師長李棠揮師深入敵後，在新牆河一線截殺退卻之敵。
這個作戰態勢反映在地圖上，呈現出一種兇狠而勢不可擋的氣勢。歷經數次會戰中的苦心摸索探求和這次作戰開始以來十餘天腥風血雨的生死拼殺，薛岳終於將這幕雄壯的正劇推向高潮。
4日晨，李玉堂接到蔣介石直接發給他的電報：
敵人孤軍深入，後方斷絕，同時我主力正向敵人四面圍擊，我第10軍如能抱定與長沙共存亡之決心，必然摧破強敵，獲得無上光榮！
消息傳遍長沙各陣地，群情為之振奮，軍政治部提出「苦戰一夜，打退敵人，守住長沙，要回軍長」的口號。
4日上午9時，豐島命該師團18聯隊突轉攻擊方向，由城南改向東門、即瀏陽門突襲，聯隊長石井信令敢死隊身裹炸藥撲向城門。3師師長周慶祥親自站在城牆上指揮反擊，該師前沿士兵見敵人「肉彈」上來了，竟紛紛迎上去拉響手榴彈引爆日軍身上的炸藥。幾聲巨響中，衝上去的士兵們與日軍敢死隊員同時血肉翻飛。人們看見，那一瞬間天空出現一道血色霓虹。
緊接著，又一批守軍衝出陣地，在瀏陽門前與相對衝過來的日軍展開白刃肉搏。血肉橫飛的一小時混戰之後，雙方士兵大都倒於血泊中。敵大隊長橫田的軍刀鋒刃上鮮血淋漓，而他自己也被兩把刺刀刺穿喉嚨和左肋，死後兩眼大睜。
18聯隊被迫向城南方向退回，聯隊長石井信大佐途中被守軍迫擊炮炸成重傷。搶救中，他欲言不能，痛苦萬狀，淚流滿面而亡。
中午11時，方先覺到29團陣地，向團長張越群宣布，重慶軍委會已破格晉陞他為少將團長。下午6時，方先覺攜帶好酒到28團指揮所慰問葛先才，鼓勵他完成最後的堅守。
中午12時左右，日軍飛機向地面部隊投彈藥和給養。幾朵大白花似的降落傘從天而降。降落傘飄飄悠悠，多數落在防軍陣地以內，氣得日軍士兵朝天大罵。
在兩軍士兵一同矚目中奇蹟發生：一隻給養箱被我軍嶽麓山炮兵陣地的火炮擊中於天空，一整箱罐頭、米團、裝滿飲用水的軍用水壺等物品炸了個滿天開花。我軍士兵見狀高聲歡呼，喊聲長達數分鐘，士氣為之大振。參加守城作戰老兵數十年後回憶往事時無一不提及此事，引為戰場奇觀。事後，炮兵們之間也為爭此「榮譽」相持不下。
下午3時，日軍在長沙發起最後一次攻擊。由於大部分槍支已沒有子彈，豐島下令肉搏。寒風中，數百名日軍士兵赤著上身嘶喊著衝上來，守軍則回以炮擊和槍彈、手榴彈。敵人送死般一排排倒在陣前，直到後面的不再衝上來，才結束了這次毫無意義的自殺式進攻。
下午5時，仍在長沙的日軍師團指揮官同時接到阿南惟幾關於退出長沙、立即反轉的嚴厲命令。幾乎彈盡糧絕的日軍也再無其他選擇，縱火燒毀就近的房子，將帶不走的作戰物資炸掉，開始退卻。
在城北的第6師團退卻之前的最後一次攻勢，是指向朱岳190師569團湘春路和570團華南女校陣地的。戰鬥中日軍使用了毒氣，根據風向，這是攻城戰鬥中唯一可以使用毒氣的地帶。守軍官兵百餘人中毒喪失戰鬥能力。團防毒面罩很少，優先配給機關槍手，許多士兵在毛巾上撒尿後蒙在鼻子上濾毒，仍堅持不下火線。日軍硬是攻不開守軍陣地，激戰近3小時後無功而返。
下午6時，第6師團長神田正冢指揮部隊首先撤出陣地，搶佔了瀏陽河渡河要點——長沙以東10餘公里處的梨市，以此為據點收容第3師團被打散的士兵，等候第3師團大隊撤離長沙後一併突圍。
天黑時，豐島帶領第3師團殘部，全部撤出長沙外圍，踏上突圍反轉之路。
日軍撤走時天已黑透，第10軍面臨的第一項任務是召集部隊。經過幾晝夜血戰，一線官兵們疲憊至極，有許多人竟在寒風刺骨的黑夜中伏在陣地上睡著了。長沙市至今流傳著那夜官兵們打著火把從死人堆里找活人的故事。人們一個個地喊：「活著嗎？」一個個地摸是涼是熱。有些士兵沒戰死沙場，卻在勝利時精神驟然放鬆，睡了過去或者疲勞過度昏迷過去，再也沒有醒來。
第3、6師團在4日深夜從梨市出發，開始便遇到歐震第4軍部隊迎頭截殺。混戰半夜日軍左衝右突，好不容易奪路而逃，5日拂曉時又被夏楚中79軍接住再戰。
因通訊部門延誤，羅卓英收到九戰區關於敵動向的電報時已到了5日下午3時，但羅部在當天清晨出動，主動尋找撤退的日軍部隊，於中午接上火。蕭之楚26軍將第3師團有氣無力的18聯隊和輜重隊包圍在曹家坪和茶塘附近，由中午戰至深夜，幾乎將這股日軍全殲。
危急中還是老天爺幫了日軍的忙。6日清晨天空放晴，日軍第一飛行團傾巢出動，50餘架飛機低空猛撲追兵，為日軍突圍贏得了時機。
6日晚9時，彭位仁第73軍萬餘兵馬跑步趕到福臨鋪。薛岳在這裡再設一道攔截線截殺逃敵。午夜，福臨鋪一帶群山叢中槍聲爆炸聲響成一片。
日軍戰史《長沙作戰》寫到這次倒霉的撤退：
4日，全軍（註：指11軍）在悲壯的氣氛中，開始反轉。在岳陽的戰鬥指揮部，司令部全體人員，分為兩組，奉讀了《軍人敕諭》。第一線官兵為了擺脫敵人，懷著萬分遺憾的心情，離開了被一片火焰籠罩著的長沙。
4日深夜，得知在第3師團的反轉路上有重慶軍兩個師已經迫近，軍司令部感到震驚。（5日）軍司令部，在15時30分，總算是盼來了第3師團向梨市方向轉進的消息。軍參謀們雖然多少鬆了一口氣，但在此期間，確實是萬分焦慮的。阿南軍司令官對參謀們講述了在華北苦戰的經驗，予以鼓勵……
6日，第3師團的無線電聯絡中斷，軍通信所以及靠近第3師團的第6師團通信所都在拚命地呼叫，也毫無回答……在大山塘（福臨鋪東8公里）的龜川部隊，在第37軍的重圍中，彈盡糧絕，正在殊死決鬥中……在第6師團進路正面，栗橋的隘路已被重慶軍佔領。第73軍、第99軍也開到達摩山東側和東北側，正在加強迎擊的態勢。由於這些情報，更加深了第6師團官兵的膽怯心理。偏巧，這晚月夜晴空，寒光高照，幕僚們懷念著正從撈刀河北上的第一線官兵，不由得痛恨起這有利於敵人追擊的明月，就這樣度過了沉悶的一夜……不知怎的，在日軍撤退途中，中國軍隊的追兵總與日軍視為神聖的軍旗過意不去，請看以下記載：
……我軍一到，重慶軍一面發射照明彈，一面投擲手榴彈，向我軍包圍蜂擁而至。手榴彈落在軍旗的近旁爆炸，聯隊立即命令第7中隊衝進敵群，但黑夜中從四面包圍的重慶軍並未輕易退卻。重慶軍仍然在繼續衝鋒，迫近軍旗已在咫尺之間，聯隊長野憲三郎大佐拔出戰刀，在緊要關頭拚命戰鬥。東部傳令小隊、軍旗小隊以軍旗為中心，組成圓陣，與衝來的敵人接戰格鬥，保護軍旗。軍旗危急萬分。田中中尉事後說，重慶軍的手榴彈投擲距離再延長10米的話，人和軍旗就都炸飛了。
……此時，步兵18聯隊將軍旗安放在後岸民宅中，可是，突然院中落下了一顆敵迫擊炮彈，瞬間將護衛軍旗的哨兵上半身炸飛。恰值那時第3師團長豐島房太郎中將正在安放軍旗的隔壁房間，當即跑出來大喊道：「我來保護軍旗！」親自擔任起保護軍旗的任務。
撤退途中，大多數日軍部隊彈盡糧絕。又無法得到空投支援，處境極其狼狽，在許多次戰鬥中，日軍只能以白刃格鬥殺出血路。11軍參謀副長在作戰日記中寫道：「8日，給第40師團補給10發山炮彈，真是勉強的作戰啊！」
1942年元月7日下午3時，平江第27集團軍指揮部。總司令楊森接到蔣介石的電話。
遠在重慶的蔣介石聽說九戰區有線聯絡溝通，第一個電話就打給楊森。他看著面前一幅在幾個晝夜中快被他看爛了的作戰地圖，聲音嚴厲，不容置辯：「以福臨鋪東側的古華山為界，西面由伯堅（楊森的別名）兄負責，東面由王副長官（王陵基）負責，務請兄督率各軍阻敵北逃。如某軍正面逃走，即將其軍長槍斃！」
楊森放下電話之後，喝了一口茶水，仍覺得心在急跳。論起來楊森與蔣介石還沾點親戚，但現在硬是到了六親不認的時候了。
自擔任由北向南堵擊日軍的任務，楊森沒有睡過一個安穩覺。從7日上午7時起，位於影珠山至福臨鋪堵擊線