眼看戰局急轉直下，為免被日軍抄掉後路，中國統帥部決定上海戰區全線撤退。
形勢不妙下的倉促撤退，對任何軍隊而言都是一道非常複雜的難題，更不用說在組織和訓練上都比較落後的中國軍隊了。德國顧問們可以告訴中國人如何在狹窄的長江三角洲建立陣地，增加防守密度，但卻沒有教會他們怎樣有秩序地把龐大部隊撤出來。向西退卻的幾十萬大軍亂得像一鍋粥，部隊漫山遍野，潮水一樣爭先恐後地向西涌去，必要的軍紀和秩序蕩然無存。
11月8日下午，七十四軍（此時已不包括獨三十四旅）奉令掩護大軍西撤。五十八師率先與追趕上來的日軍前鋒部隊發生激戰，部隊損失很大，防線隨後便被日軍攻破，一七四旅旅長吳繼光陣亡。
吳繼光業餘愛唱京戲，尤擅花臉，關於他的陣亡也有著不同說法。有人說，是防線被攻破後，部隊急於渡河，但渡船少，吳繼光沒等士兵全都上來，就急命開船。結果惹得岸上還沒登船的士兵破口大罵：「你們當官的打仗躲在後面，現在逃跑卻想跑在前頭，沒那麼便宜！」亂槍齊發，把吳繼光給打死在了船上。
雖然這一傳言未必屬實，但亦可見部隊是多麼混亂和無序。隸屬於一七四旅的吳亞夫營作為掩護部隊走在大部隊最後，途中吳亞夫聽到後方傳來轟隆隆的聲音，回頭一看，只見半空中黑壓壓一片，全是追上來的日機。
吳亞夫趕緊大喊一聲：「趴下！」話音剛落，日機就實施了機槍掃射，地面被打得塵土飛揚，許多人一頭栽倒在血泊之中。倖存者裡面中彈的人也不少，吳亞夫雙腿中彈，血順著大腿不斷地往外涌，幸好警衛兵及時護送到附近醫院，方得以搶救出來。當時任何人都控制不了這種混亂局面，一些資深將領也只能仰天長嘆，徒呼奈何。
11月11日，七十四軍整體退至蘇州，這時秩序才初步穩定下來。作為總掩護隊，五十一師三〇六團奉令趕往青浦、松江進行拖後掩護。第二天一早，邱維達率部到達青浦以西的朱家角，卻得知松江已被日軍挺進隊提前佔領。
這些日軍挺進隊有的是雜在退卻部隊中跟過來的，有的抄近路進行了迂迴穿插，所以前進速度極快，他們不停歇的騷擾和襲擊，重新給撤退大軍造成了不同程度的混亂。
佔領松江的日軍隨後便向朱家角逼近，並對三〇六團展開了包圍攻擊。三〇六團勢單力薄，稍事抵抗即撤往青浦。
青浦有城牆可以先頂一下。在幾乎損失了一個營之後，邱維達下令向崑山轉移，誰料通往崑山的公路也被日軍給生生扼斷了，部隊變得無路可退。
危急情況下，邱維達找來了兩個本地農民。通過他們帶路，三〇六團沿著偏僻的鄉間小道，經過兩天兩夜的行軍，才得以與兄弟部隊取得聯繫。
中國軍隊在後撤時，原本準備憑藉幾條「國防線」繼續組織抵抗。這幾條「國防線」也是在德國顧問的指導下構建出來的，第一條是吳福線，也就是蘇州到常熟福山的國防工事線，但因為日軍在福山港附近登陸，使得福山的防禦陣地還沒得到利用就丟失了。
吳福線之後是錫澄線，即無錫至江陰段防線。11月16日，七十四軍奉令在蘇州至吳江一線展開部隊，一邊掩護撤退大軍側翼，一邊為錫澄線的防守部署爭取時間。
由於深知責任重大，七十四軍軍長俞濟時親自對防線進行踏勘，最終選定位於蘇州西北方向的望亭鎮為布防要點，並讓王耀武派兵扼守。
這時五十一師的各團大多殘損嚴重，擔任第一期掩護任務的三〇六團又尚未歸隊，現存編製能夠稱得上完整的只有一個三〇五團，王耀武即把掩護任務交給了這個團。
在進入淞滬戰場前，五十一師已內定由乙種師擴編為甲種師，從三個團增加到四個團，增加出來的團就是三〇五團。三〇五團的前身是陝西警備旅的保安團，因為需要進行整訓，一直到十月份，該團才來到上海。
三〇五團的團長是原任上校師附的張靈甫。與卡爾遜遇到的那位會講英語的列兵類似，早期的張靈甫是一個充滿理想主義色彩的知識青年，甚至於他也曾經當過一段時間的教師。不過張靈甫更廣為人知的一段經歷，卻是「古城殺妻案」。
那時候張靈甫在胡宗南的第一軍任團長。據說事情的起因是這樣的：第一軍在陝北與紅軍對壘，軍官眷屬都住在西安古城。張靈甫的一位同事到西安探親，回到部隊後與張靈甫閑聊吹牛，也不知這位仁兄搭錯了哪根弦，居然亂開玩笑，說曾看到過張靈甫的妻子與一個男的一起逛馬路。
在這類事情的處理上，張靈甫的心胸沒有比《水滸傳》里描繪的那些好漢們寬廣出多少，不僅得了風就是雨，而且認為自己被戴綠帽的憤怒瞬間沖昏了他的理智。借著春節假期，張靈甫把妻兒從西安接回老家，就在除夕之夜，當妻子彎腰在後院割韭菜做餃子時，他從背後掏出手槍把妻子給打死了。
殺妻之後，張靈甫返回了部隊。女方娘家人自然不肯就此放過他，不斷向上進行控訴，狀紙從第一軍軍部、西北「剿總」，一直遞到陝西高等法院，但都沒有能夠立即得到迴音。之後經過一番輾轉，受理控告信的西安婦女協會找到了張學良的夫人于鳳至。
東北軍此時正駐紮於陝西。于鳳至讓張學良管一管，張學良回答得很乾脆：「這是中央軍的事，我不能管，也管不了。」
你管不了，自有人管。于鳳至就把事情原原本本地告訴給了自己的閨蜜宋美齡，宋美齡又轉告給了丈夫蔣介石。
蔣介石素來很在乎自己黃埔學生在外的聲譽，一聽，這還了得：「馬上押解南京，軍法會審！」