1854年，琦善病死，托明阿繼任江北大營的統帥。
江南江北大營宛如天京門口的兩顆獠牙，既隨時威懾著天京，又能扼住太平軍南侵的態勢。向榮有事沒事經常騷擾天京城，讓楊秀清很頭疼。
1855年，江蘇巡撫吉爾杭阿進攻鎮江。鎮江和瓜州都是戰略要地，向榮已經扼住了長江水路，如果鎮江和瓜州失去，兩路清軍就會匯合，直逼天京。楊秀清下令從南京調兵增援鎮江，但全被向榮和張國梁等人擊回。不得已，只好從長江上游調兵，命秦日綱為主帥，率領陳玉成、李秀成等人馳援鎮江。這幾個人都是會打仗的人，秦日綱可能稍微差點，但陳玉成和李秀成挺能打的。
陳玉成很猛，他突破清軍重重封鎖，進入鎮江，和城內太平軍會師。3月18日，太平軍與清軍、湘軍激戰了一天，大敗敵人。但形勢仍然不容樂觀，陳玉成自告奮勇，要攻打江北大營，拿下揚州，解決糧餉問題。
陳玉成和李秀成不愧是猛將，輕鬆拿下了江北大營，攻克揚州。此時，石達開率領三萬大軍直逼江南大營。石達開先是引誘向榮分兵，然後秦日綱趁機包圍吉爾杭阿，吉爾杭阿是條漢子，戰鬥到最後。咸豐憤怒之餘，大大讚揚了吉爾杭阿勇於犧牲的精神，謚號「勇烈」，追贈其總督頭銜。事後，連吉爾杭阿的屍體都沒找到。
向榮反應過來時，匆匆趕過來支援，沒想到遲了一步，鎮江周圍的清軍營壘先後被攻破。向榮又被秦日綱打了回去，前有秦日綱，後有石達開，向榮這次估計是凶多吉少了。
這時，楊秀清又從天京城裡調出精兵，三路大軍合圍向榮，終於攻破孝陵衛大營。向榮畢竟是一個老將，敗也敗得比較從容，沿途還不停地阻擋，最終被秦日綱擊退。向榮到了丹陽後，終於安靜下來，一安靜下來，悲從中來，心想我勇猛了這麼一輩子，最後像狗一樣被人追著打，沒臉再活了。一個大男人，沒有用刀給脖子來一刀，反而像女人一樣拿著白綾上吊，說明在最後的日子裡向榮的心情是抑鬱的、悲哀的。
聽說他自殺，咸豐也很悲哀，給他上謚號「忠武」，對外說他是病死的。
本來太平軍形勢一片大好，也就是在這個時候，天京城內正醞釀著血雨腥風。