在南京衛戍司令部上午還在命令堅守，下午忽然又下令總撤退，而且命令傳達極為倉促之下，南京城內的許多機關和部隊根本沒接到撤退命令，他們發現情況不對，就紛紛蜂擁渡江。但是並非所有的部隊都已經失去了組織以及一個軍人應有的戰心，至少在南京的守軍之中仍有兩支部隊此時並不准備潰散，而是迎敵向前，殺出一條血路。
粵系部隊的第66軍及第83軍在葉肇、鄧龍光兩位軍長參加最後的撤退會議後，共同研究決定：不遵守唐生智令第83軍掩護其他部隊突圍後再於次日晨6時突圍的命令，兩軍由葉肇統一指揮，按計畫由正面突圍，向指定地點轉進。由於當時兩軍所屬的4個師大部均在城內水西門、玄武門及光華門附近，所以葉肇當即下令各師「按160、159、156、154師之順序，由太平門突圍，經湯山、句容向安徽寧國集中」，並立即著手突圍。
1937年8月25日，第66軍159師13000官兵從廣州出發，9月15日抵達上海，旋即投入淞滬會戰。會戰失敗後，他們於11月21日開赴江陰，26日在江陰與敵激戰。11月29日，又奉命向湯山轉移。12月4日，該師揭開了南京保衛戰的序幕。而第66軍160師的情況也大同小異，上海西撤之時「當時收容所得，全師戰鬥員兵不足3000」。11月21日至27日，該師在無錫、江陰激戰。12月1日開抵麒麟門收容整理，當天即派第956團佔領湯山境內的珠山、凳子山和青龍山陣地。
抵達南京之後的第66軍已經是一支真正意義上的疲兵，第159、第160兩個師的總兵力不過6000人左右，戰鬥力大為下降。而且12月初來自南方的官兵還穿著單衣短褲，為了禦寒，有人向老百姓討被單裹身。他們對老百姓比較客氣，買東西都付現錢。而12月6日至9日，實際兵力不過一個團的第159師還在湯山境內的半邊山、孟墓、西山頭、寺庄、湯水鎮等地阻擊日軍。
而第83軍的軍長鄧龍光是個典型的老廣東，打仗很有閒情逸緻的，在前線還要用高麗參煲湯，給自己喝補身子，當然也給大家喝——他在第156師的老部下回憶，鄧龍光部到淞滬的時候，戰局已經很不好，剛到陣地就遭到日軍猛攻。鄧龍光在部署防禦之餘還會頗有閑情地說明，已經在給大家煲湯，湯好就送到陣地上，一時軍心大振。
鄧龍光的油滑和葉肇的治軍，最終都為挽救這兩支粵系部隊作出了各自的貢獻。12月9日夜，第66軍和第83軍撤離湯山和麒麟，不久退入城內。12月12日午後，城內秩序大亂。在接到唐生智「大部突圍，一部渡江」的命令之後，12月12日晚間8點前後，除156師因沒有接到命令外，其他3個師先後通過太平門。當夜8時許，葉肇親自指揮部隊拆除堵塞城門的沙包，9點，部隊爭先恐後擠出城門。衝出城門後，部隊又被自埋的地雷所阻，非常凌亂。但是到了紫金山東北的岔路口附近，這支本應風聲鶴唳的部隊卻仍能突破日軍的阻擊，奪取仙鶴門以南陣地，擊斃日軍三四百名，軍馬五六十匹，甚至還摧毀了兩門日軍火炮。
第66軍和第83軍展開突圍行動之時，正是日軍各部隊搶著進入南京之時，因此各一線師團均放鬆了警戒。第16師團後勤參謀木佐木久在日記中寫道：
勝利了！佔領首都之日，怎麼沒到拂曉就鬧騰起來了？原來是接到仙鶴門附近重炮兵及騎兵遭敵襲擊的報告，使得司令部發生了騷動。敵人充其量是為數不多的殘兵敗卒，而裝備著步槍的重炮兵、騎兵表現得如此驚慌失措，聽起來簡直太荒唐了。可司令部不加分析地完全相信如此騷亂也夠荒唐的。
其實湯水方向的第16師團部之所以陷入慌亂並非沒有原因的，因為此時師團部所在地正位於第66軍和第83軍突圍的進攻軸線上，而更為危險的是上海派遣軍司令部也在不過1公里之外。此時誰也不敢輕易作出判斷，這支迎面撲來的中國軍隊是不是來逆襲日軍指揮中樞的。
而此時日軍第10軍已經開始準備杭州作戰了，因為此時中國軍第8集團軍主力退至餘杭、德清之線，但在乍浦、平湖、新豐地區仍派有前進部隊，不僅對第10軍左側背形成威脅，而且對上海日軍的安全亦構成威脅。因而華中方面軍司令官松井石根大將決定進攻杭州，除了將警備上海的第101師團臨時轉隸第10軍之外，還下令第10軍司令官指揮從第10軍的編製內調遣一個師團，進攻杭州。
因此在12月11日，第10軍司令官柳川平助中將便下令將預備包抄進攻南京的第18師團從蕪湖調回，令其在泗安、廣德集結，同時令第101師團在湖州集結，第1後備兵團的4個步兵補充大隊在嘉興集結，進行作戰準備。但這個時候，對於第10軍上下來說，攻入南京才是最大之輝煌。在中國守軍撤退之後，第6師團、第114師團與上海派遣軍的第9師團、第13師團山田支隊、第16師團同時從幾個方向撲入南京城內。
有趣的是第66軍和第83軍突圍之後在靈山找了個嚮導，要他帶路去周沖，結果由於語言不通，當地的村民以為是去方沖，結果就把隊伍一直往東領。到了雪浪庵，部分隊伍開始上山。中午，部隊開到孟塘陳家邊，在村南的「十畝地」訓話，然後派偵察兵進方沖探路。偵察兵未發現敵人，部隊就開進了方沖，然後沿隘路向東，往大赤燕前進。先頭部隊快到大赤燕了，尾巴還在「十畝地」。
這時，埋伏在方沖山頭上的日軍突然開火，用機槍猛烈掃射。突圍部隊發覺中了埋伏，立即組織反擊，發起了數次衝鋒。而按照當地人的說法，當時山上伏擊的日軍不多，不過全是「大樓」里的日軍。而當地人口中的「大樓」也就是被作為上海派遣軍司令部的中國陸軍湯山炮兵學校的彈道研究所。可見在誤打誤撞的情況下，突圍部隊事實上已經逼近了日本陸軍上海派遣軍司令部，逼迫對方調動司令部警衛部隊出動，展開伏擊，以牽制突圍的第66軍和第83軍。
上海派遣軍參謀長飯沼守在12月13日的日記里寫道：
好像有敵殘兵敗卒從公路北側方向過來。下午，他們來到軍司令部北側高地，警衛部隊將之擊退，逼其向西退去。我軍一名小隊長（准尉）陣亡、一名士兵負傷。下午5時左右，北側高地再次出現敵兵，高射炮也加入了戰鬥。
12月14日，他又寫道：
昨天在司令部附近的戰鬥中，我方陣亡兩名准尉及其他十餘人，負傷的有兩名少尉、一名中隊長，另外還有近20人。今早得知，仍有500名殘敵在司令部東北側，第19聯隊主力正在將其全部包圍，並迫使他們投降。
面對這場突如其來的襲擊，派遣軍司令部把警衛隊用上了，高射炮也用上了，還叫第9師團派一個步兵大隊前來保衛，其狼狽程度可想而知。
但事實上第66軍和第83軍突破經岔路口、仙鶴門、東流等地的日軍阻擊之時，已經拼盡了最後的力氣。第159師代師長羅策群、參謀長姚中英在指揮部隊衝擊，為兩軍主力殺出一條血路的時候，不幸陣亡。羅策群師長是在突破日軍戰線時率先衝鋒戰死的，衝鋒時對部下高呼：「弟兄們，跟我來，勿要做衰仔呀！」成為最後的遺言。
12月13日拂曉前，這兩個軍已經撤退到達湯山附近，但在此遭到了回師的日軍第16師團主力的猛烈攻擊。部隊逐漸失去掌握，只能各自為戰，數百人或數十人一隊，分頭向指定地點轉進。葉肇、鄧龍光兩位軍長與各自的部隊失散，均換著便衣突過日軍包圍圈，向安徽寧國退去。
而未接到命令的第83軍第156師師長李江則是率隊與教導總隊等友軍部隊一同撤至下關，其中只有部分官兵渡過長江，全師多數官兵均沒有能夠過江。除了第66軍及第83軍是主動突圍之外，南京衛戍軍的其他各部均是於12日下午和夜間涌至下關。不過只有第74軍組織較好，又掌握有一艘小火輪，全軍約有7000人渡過江北。其餘部隊都僅有一部得以渡江，大多留在南京城內。
但是在日軍紀錄中，留在包圍圈中的74軍殘部，也並沒有坐以待斃。以第74軍殘存的部隊為核心仍有數千中國軍人，在第二天向西側突圍，與日軍展開激戰後，終於得以突圍成功。根據日方的戰場資料，陷入包圍的中國軍隊反應各不相同，但基本已經喪失戰鬥能力，幕府山中有大約一萬名中國潰兵，沒有食物也沒有鬥志，日本軍隊只派一個聯隊就輕易地解決了他們的武裝……令人吃驚的是13日凌晨，一支大約5000人的中國軍隊向西強行突圍，丟棄了大量輜重後衝過日本軍的防線。阻擋其前進的一個中隊頑強戰鬥，不幸「全滅」。經過調查，這是中國軍最為能戰的74軍所部。追擊的部隊錯誤地向西尋找，卻因為該部突圍後即轉向南方而失去蹤跡。
濃霧瀰漫，向西側突圍轉而南下的中國軍隊第74軍與為迂迴切斷敵退路北上的第6師團45聯隊主力爆發戰鬥。深夜時分，日本軍已經