還在東征安徽之前，曾國藩曾在日記中自作一聯云：「養活一團春意思，撐起兩根窮骨頭。」這說明，對於前方可能遇到的艱難險阻，當事人已經做好了思想準備，然而在真正進入局中之後，「窮」的程度仍然遠遠超出了他的想像。
實際上，以祁門兩次遇險為標誌，曾國藩所遭遇到的，是他自江西困頓之後最為艱難的一個時期。他在給胡林翼的一封信中這樣形容自己的處境：「蓋無日無虎尾春冰之懼也」。
每一天，我都像是跟在老虎屁股後面，隨時面臨著被老虎反噬的危險，又像走在春天即將融化的冰河之上，不知道腳下的薄冰什麼時候會裂開，使我溺水而亡。
處於這種巨大的憂患之中，曾國藩能夠依仗的精神武器，或許就是《挺經》。挺者，堅忍也，如同故事中那個老翁，不管外界給予的壓力有多大，也不管自己內心如何煎熬，他能做和必須做的，都是「豎起骨頭，竭力撐持」，咬著牙堅忍地硬挺下去。
曾國藩的堅忍很快又為他換來了報償。1861年3月19日，祁門湘軍與太平軍劉官芳等部會戰於休寧上溪口，太平軍落敗，兩天後湘軍收復了休寧，祁門更得保障。
祁門戰場如同走馬燈式的局勢，也讓當地紳民眼花繚亂，當然他們只能是外行看熱鬧，通過表面現象來解說勝敗。比如曾國藩剛剛在祁門紮營的時候，軍容雄壯，鄉民們就說祥瑞來了，還有的甚至說是「歲星臨祁門」。等到徽州失陷，祥瑞馬上變成了災殃，大家都說祁門是兇險之地，根本不能住人。
接著湘軍在洋塘、歷口、上溪口連續打了三個勝仗（洋塘之戰為霆軍在景德鎮大敗黃文金，歷口、上溪口之戰為祁門湘軍擊敗劉官芳），立刻，在眾人口中，祥瑞又回來了，而且仍是「歲星臨祁門」。曾國藩忍俊不禁，遂賦打油詩一首：「天上歲星也起霉，掉頭一去不歸來。忽聞打破上溪口，又向祁門走一回。」
在援救景德鎮的洋塘之戰中，霆軍起到了無可替代的作用，但不久因皖北形勢緊急，鮑超率霆軍北援安慶，這使曾國藩失去了手中唯一可震懾敵方的機動兵力。在霆軍走後，李世賢乘勢殺入皖南，他首先攻佔婺源，繼而擊退了前來援救婺源的楚軍。曾國藩聞報，急調陳大富部接防景德鎮，但陳部也在李世賢的猛攻下全軍覆滅，景德鎮隨之丟失。
景德鎮落入太平軍手中，使得江西通往祁門的糧道完全斷絕。曾國藩憂心如焚，夜不能寐，與眾將商議後，決定攻取徽州，另行開闢一條通往浙江的糧道。
如果湘軍能攻佔徽州，則祁門、黟縣、休寧三縣都可得到從浙江運來的餉米補給，如若不然，三縣均不能守。曾國藩對徽州之戰極其重視，不僅親赴休寧督戰，而且動員了九千湘軍參戰，可是他沒想到的是，湘軍出師不利，被徽州守軍迎面扇了個大巴掌。
徽州守軍這次能夠打敗湘軍，不是如以往一樣依靠數量優勢或狠勁，而是在軍械上做到了更勝一籌。
直到19世紀中葉，「戰爭依靠的是人而不是武器」的觀點仍流行於中國軍隊，真正認可西方武器的中國軍人很少。北京的火器營照例應該最注重火器等特種武器的使用，但連他們對弓箭訓練的重視程度也遠超槍炮，出自於火器營的湘軍名將塔齊布在戰場上就基本不用槍，用的都是長矛和強弓。太平軍方面同樣如此，西方觀察家注意到，太平軍的士兵常常有「一種對刀劍……的渴望，似乎對槍炮不感興趣」。
與此同時，西方國家的中立政策也實際限制了清軍和太平軍對西方武器的接受和使用。英法等國不僅禁止武器運往交戰雙方，而且也阻礙雙方獲得外籍軍事人員與技術援助，這樣一來，清軍和太平軍即便得到武器，也存在不會使用保養或者毀壞後難以修復等難題。