晚上8點，趙烈文聽到龍膊子至鐘山孝陵衛一帶傳來炮聲，知道太平軍正在組織突圍。鑒於城池雖破，但「逆首」李秀成等人仍不知下落，他於是再度入帳去找曾國荃。
曾國荃已經睡著了，趙烈文把他從床上搖醒，告知詳情並請求派騎兵進行堵截。曾國荃卻不以為然，在床上躺了好長時間後，才爬起來，掌上燈，但並不是要派兵堵截，而是與趙烈文商量如何修改那份奏摺。商量完了，他讓人重新繕寫新稿，然後又重新睡下了。
曾國荃及其部下的大意懈怠，給突圍者帶來了機會。趙烈文所聽的炮聲正是城中的突圍信號，趁湘軍正熱衷於搶掠，太平軍一部分縋城外逃，另一部分一千多名步騎兵，在李秀成的率領下，換穿官軍服飾，保護小天王洪天貴福伺機衝出。
因為人數較多，李秀成這一部分人馬突圍起來要困難得多，幾次要衝出去都沒能找到機會，眾人手足無措，唯知驚恐流淚。這樣一直拖到凌晨1點過後，李秀成一馬當先，率部向太平門城牆被炸塌的缺口處猛衝。湘軍有四個營負責守衛缺口，但這四個營的精銳大半在城中未返，留在缺口處的皆為疲憊士卒，根本擋不住對方，太平軍僅損失了數十人便得以出城。
衝出城之後，突圍部隊還要越過層層疊疊的湘軍營寨及其所挖的深壕高壘。好在這一方向的蕭孚泗等營與缺口守軍的情況類似，看到了也不敢上前阻擊，只能咋咋唬唬地胡亂放炮。
眼看太平軍已經絕塵而去，各營忙派人向大帳進行報告。因為曾國荃還在睡夢之中，報信的人不敢隨意驚動，便先行向趙烈文匯報。趙烈文稍加分析，馬上斷定李秀成等「逆首」就在這支突圍部隊之中。
趙烈文深知，曾國荃花兩年時間才攻破天京，如果再讓「逆首」逃脫，不但不能得到大功，反而還將招致朝廷的嚴厲譴責。他再回頭一看，按照曾國荃要求重新繕寫奏摺的人還沒有完工哩，此情此景令他長嘆一聲，頗有「豎子不足與謀」之感。
趙烈文一溜小跑，趕到大帳，在將曾國荃叫醒後，將太平軍突圍成功一事以及自己的估計告訴了他。曾國荃這才明白事情的嚴重性，頓時也是又急又怕。趙烈文趕緊對他說，可以在奏摺內增加幾句話，以便留下退身步。曾國荃連連稱好，並急調騎兵進行追擊。
李秀成將部隊一分為二，前隊保護洪天貴福先逃，後隊由他率領，阻擋湘軍的追擊。洪天貴福隨前隊逃出，年底在南昌被俘。因為突圍時，洪天貴福沒有馬騎，李秀成便將自己的好馬讓給他，改騎了一匹普通的馬。在方山一帶，李秀成與其他人失散，坐騎也失去了行走和奔跑的能力，他被迫步行避入附近的方山。
幾天後，方山山民王小二上山砍柴，在庵內發現了飢腸轆轆的李秀成。他一下山就將這一情況向村董陶大蘭進行報告。兩人合謀將李秀成哄騙下山，捆綁送入蕭孚泗軍營。
蕭孚泗看到李秀成眼睛發亮，立即貪天之功為己有，向曾國荃誑稱是自己抓獲了李秀成。他還懷疑李秀成尚有財物藏在陶大蘭家（實際李秀成隨身所帶財物吊在一棵樹下，且已被另一群山民拾去），於是便派人將陶大蘭全家連同鄰居都抓到營中進行拷問，逼他們供出財物藏匿之所。陶大蘭所在村莊的村民知道後，都嚇得跑掉了，以致整座村莊變得空空蕩蕩。
趙烈文知道這件事後十分憤慨，責罵蕭孚泗喪盡天良，說他「以後死都不知道要死在哪裡」。
蕭孚泗乾的缺德事遠不止這一件。本來李秀成雖下令焚燒天王府和各王府，但可能大家都急於突圍和出逃，天王府並沒有被燒毀，即便趙烈文看到天王府燃起大火，亦未傷及根本。可是蕭孚泗在搶劫天王府後，為了掩蓋罪證，卻縱火燒掉了天王府。
其他湘軍各營在搶劫的時候，也四處放火。江寧城（城破後，自然無人再以天京相稱）的大火燒了八天八夜，數十道紫絳色的煙塵如同大山一樣，長久地屯結於空中，經久不散。趙烈文估計，城內所燒掉的王府及房屋，只有十分之三是太平軍所為，其餘都是湘軍乾的。
至攻破城池，曾國荃軍的欠餉已達十七個月之久，官兵甚至一度不得不靠食粥度日，一旦大功告成，曾國荃既無心也無力對其部屬進行約束。趙烈文指出蕭孚泗在抓獲李秀成一事上系欺誑冒功，但曾國荃不肯深究，趙烈文請求他對入城後的湘軍下達「止殺令」，他也不同意。
曾國荃的放縱態度直接導致許多無辜居民被害。趙烈文在江寧的大街上行走，看到沿街死屍九成都為老者，即便僥倖未死的人也無不負傷，有的甚至中了十幾刀、數十刀，哀號之聲不絕於耳。倒是精壯者因為被兵勇抓去抬運搶劫物品，反而死的不多。
左宗棠說過，他雖然戎馬一生，但始終謹守「不重傷，不禽二毛」的古訓，決不傷害年長的人。曾國荃軍如此濫殺無辜，令趙烈文都看不下去，直斥：「其亂如此，可為髮指。」