隨著徽州城破，李元度部幾乎一散而盡，僅千餘兵勇回到祁門，李元度本人也下落不明。四天後，李世賢率部再克休寧，進逼祁門。
湘軍內部大為震恐，曾國藩六次飛信皖北，向李續宜求救，前三次尤為急切，信中一再強調「皖南局勢萬分危急，欲求閣下帶二三營，即日渡江南下相助」，「速帶三營來此」，「速來救援」。
在李續宜應命兼程南下的同時，曾國荃顧慮乃兄的安全，也想加入南援行列。曾國荃身負包圍安慶的重任，如果他南下就要撤安慶之圍，這意味著曾胡奪取安慶的根本戰略方針將無法進行下去，而且由於陳玉成開始在長江北岸活動，那裡的局勢同樣變得緊張起來。胡林翼嘴上不便反對曾國荃南下，但言辭中已頗有些負氣：「如滌帥（曾國藩）嫌南岸兵少，可以沅浦（曾國荃字沅浦）萬人調去，北岸不須沅浦也。」
曾國藩的另一個弟弟曾國葆這時正協助曾國荃包圍安慶，通過書信往來，曾家三兄弟圍繞相關話題展開了緊急討論。曾國葆堅決反對撤安慶之圍，曾國藩認為他的意見很對，乃「至當之論」。
太平軍自二破江南大營後，佔據了蘇南及浙江大部分地區，在蘇北可自由活動，在皖南皖北也都擁有雄厚勢力。唯有在安慶周圍地區，湘軍傾注全力，太平軍卻主力東調，這樣湘軍方面才佔有優勢，但這種優勢只是局部優勢，若想把局部優勢變為全局優勢，除了緊緊抓住安慶這一關鍵戰略地帶不放，也確實沒有其他更好的辦法了。
在給曾國荃的信中，曾國藩特彆強調：「安慶不宜撤圍，這是人人心裡都清楚的一件事。現在普天之下賊（太平軍）處處佔據上風，獨安慶一城系賊處於下風，豈能輕易撤退？」
見大哥和曾國葆均持此議，曾國荃這才回心轉意，放棄了南下的想法。
曾國荃無法脫身，李續宜在短時間內也是遠水難解近渴，所幸皖南湘軍中最厲害的戰將鮑超已經歸隊，曾國藩急忙飛檄調他及張運蘭至魚亭，用以阻遏李世賢的兵鋒。
魚亭位於休寧與祁門之間，但鮑超、張運蘭能否及時趕到魚亭卻是個問題。因為休寧距祁門不過百里之遙，鮑、張一個在太平，一個在旌德，距祁門的路程均遠於休寧，假如三方同時向祁門運動，李世賢將佔有極大優勢。
祁門大營兵力空虛，僅有親兵營等三千人馬，而且其中還有一半是從未打過仗的新兵，千鈞一髮之際，李世賢卻突然掉頭而去，脫離了主戰場。
說奇怪也不奇怪，李世賢並非李秀成那樣具備謀略和大局觀的將帥。在他看來，富庶的杭嘉湖平原是肉，瘠薄多山的皖南只是骨頭，吃肉當然比啃骨頭更招人喜歡。
李世賢進攻皖南，是按照西征計畫對李秀成部進行策應，但李秀成又遲遲未進入皖南。既然前面已連下徽州、休寧，打的都是勝仗，也就是說，對上對下都已交代得過去了，為什麼還要在皖南獨自啃骨頭，而不乘勝吃上兩塊肉補充補充？李世賢遂選擇自徽州開拔，率主力到浙江攻城略地去了。
李世賢折回浙江的第二天，李續宜率四營援兵趕到祁門，緊接著，左宗棠部亦由南昌東進皖南，曾國藩就這樣奇蹟般地躲過了一次嚴重危機。
1860年10月19日，剛剛擺脫危機的曾國藩給朝廷上疏，請求在必要時從他和胡林翼中選出一人帶兵北上勤王。也就在這一天，他突然接到了李元度的信件，這封信不僅證實李元度還活著，而且顯示他在城陷前就已逃出。
曾國藩立刻皺起了眉頭，他向來把「忠義血性」視為帶兵之人的根本，李元度棄城先逃，身上哪有「忠義血性」的影子？按照大清律法，城未破而將先逃，結果導致城池失守者，守城將領得到的最高處分將是斬首或者斬監候！
讓曾國藩更感詫異和惱怒的是，李元度逃出後，居然沒有在第一時間趕回祁門稟告，且至今未返回大營。在信中，他也沒有多少悔過的表示，說到兵敗的原因，多是歸咎於城防設施來不及完備、李世賢部數量多且兇悍等客觀因素，對於他個人應該承擔的責任隻字不提。
朝廷方面的態度，本是認為李元度一向「謀勇兼優」，徽州兵敗很可惜，讓曾國藩趕緊查明其下落。如果曾國藩睜一隻眼閉一隻眼，事情也就過去了，但他為了訓誡李元度，以儆效尤，仍然決定予以嚴參。