集賢關外有一座赤岡嶺（據考證實際應為雉岡嶺，但因湘軍奏報中都寫為赤岡嶺，故得以沿用）。陳玉成在赤岡嶺築成了四座堅壘，他前往桐城後，赤岡嶺由所部主力劉瑲琳等率四千人據守，與關內十三壘互為掎角。
陳玉成前腳剛走，鮑超、成大吉及水師楊岳斌部即對赤岡嶺發起攻擊。這三支人馬加起來超過萬人，為太平軍的三倍，鮑超的霆軍更是湘軍第一勁旅，可是結果不但沒能攻下赤岡嶺，還承受了極大損失，傷亡者竟至三千餘人之多，為湘軍建軍以來所未見。
被打得這麼慘其實也不冤，除了攻守態勢不同外，還因為他們遭遇到的是當時太平軍中首屈一指的精銳武裝，按曾國藩的說法是「最悍之黨」「第一悍黨」。
陳玉成把他的基幹力量都留在了赤岡嶺，四千士兵個個都是參軍多年的老兵，賈仁富、李四福、朱孔堂等諸將也都是自金田從軍的老將，可以說兵是強兵，將是強將。統領留守部隊的劉瑲琳既是參加金田起義的元老，也是陳玉成麾下最為驍勇善戰的將領，此人頑強敢拼，能打硬仗，每每在大戰中充任先鋒。作為對手，曾國藩對劉瑲琳極為讚賞，私下甚至避開將太平軍官兵稱為「賊」的習慣，稱其為「瑲林先生」或「瑲翁」。
劉瑲琳部堅守四壘，血戰到底，殺得湘軍屍橫遍野，赤岡嶺之戰也由此成為安慶戰役中太平軍打得最頑強的一次小戰役。這一戰役令湘軍內部大受震動，其中最為失望的人莫過於曾國藩，他原以為派鮑超北渡即可解決問題，可沒想到鮑超上去了，攻擊兵力在數量上也前所未有地佔有極大優勢，最後竟然打成這個樣子。
失望沮喪之餘，曾國藩連一直堅守的心理防線都守不住了。他敦勸曾國荃考慮「退兵馳圍」（即撤安慶之圍），說：「若不弛圍，而全軍又沒有後顧之憂，此為上策……若不弛圍，但全軍又不能免除後顧之憂，則不如弛圍，尚可偷安旦夕。」
曾國藩突然退縮，當然有為胞弟安全著想的因素，然而曾國荃對此卻並不領情。他不但不撤圍，還把「長圍久困」擴大開來，再掘長壕，用以圍困關內十三壘。
以胡林翼為首的其他將帥也反對撤圍，胡林翼在給李續宜的信中透露：「滌帥（曾國藩）欲撤安慶之圍……沅浦（曾國荃）不應，厚庵（楊岳斌）恐亦不應。……今湖北江西已吃大虧，忽又撤圍，實在是太不值得了。」
曾胡在指揮作戰時雖不時產生意見分歧，然而這並不影響他們之間的團結無間，尤其是兩人各有所長，常能發現對方所沒有注意到的地方。這回胡林翼就顯得比曾國藩要高明，他認為，赤岡嶺挫敗後應及時改變戰術，「斷不可太急，急則狗賊（此處泛指陳玉成所部）必遁矣」，應該如同曾國荃壓制關內十三壘那樣，也用以靜制動的戰法來對付關外四壘。
胡林翼向鮑超等前敵將領下達明確指示：「官軍應四面包裹，不放此狗外竄，只憑壘固守，持重不戰，賊必自來求戰。待其精疲力竭後可方起而破之，狗可屠也。」
遵照胡林翼的指示，鮑超等人不再對赤岡嶺實施強攻，而是予以四面圍困，同時還圍繞關外四壘修築了數十座炮台，連日對炮台進行轟擊。