曾國藩的觀察和判斷都沒錯，湘軍勝利在望。不過正所謂瘦死的駱駝比馬大，天國仍擁有一定的實力，而湘軍要想扳倒它，也還需要經過一個時期。
據湘軍方面統計，曾國荃軍在天京會戰中傷亡了五千人，如果算上病死者，折損情況就更為嚴重。在添加援兵後，雖然總兵力增至三萬餘人，但由於要不斷分兵北援，力量就又不夠用了，不得不在天京城下停止進攻。
籠罩於重重危機之下，太平天國把所有的解圍希望都放在了「進北攻南」之上。1863年2月底至3月中旬，李秀成陸續抽調精兵，由其親自率領渡江北上。如此一來，太平軍同樣無法在天京城下進行反攻，這種雙方都無力進行大戰的狀態由此保持了約半年之久。
李秀成軍在經過含山、和州、巢縣後，先攻下江浦，進而又對有「無為北大門」之稱的石澗埠展開圍攻。石澗守軍以逸待勞，堅守不出，太平軍連續攻擊數日都無法得手。那幾天大雨瓢潑，曾經困擾湘軍的疫情也在太平軍軍營中傳播開來，很多官兵一病不起，與此同時，曾國藩調鮑超等部北上增援。眼看形勢不妙，李秀成只得從江浦撤軍，並將攻擊目標轉向無為、廬江，但這些城池的防守也很嚴密，太平軍一無所獲。
1863年5月10日，李秀成率部圍攻六安。他原計畫在六安與張樂行和陳得才會合，到了六安才知道，張樂行已經被捕，陳得纔則西入陝南，無法與之取得聯繫。此時鮑超等趕來增援的湘軍各部已抵達廬江、無為一帶，六安一帶又糧食緊缺，在自身所攜軍糧告急，且前進無望，久留不能的情況下，李秀成只得停止西進，全軍東返。
北上時浩浩蕩蕩，東返時卻兩手空空，李秀成實在不甘心。「進北攻南」方案的最初靈感來自李世賢之計，他便打算按照此計，在東返過程中，「倒擊揚州、六合，然後襲通、泰（南通、泰州）以連蘇、杭（蘇州、杭州）」。
從揚州到南通、泰州，乃俗稱的里下河地區，該地區盛產海鹽，漕運發達。李秀成預計，在佔領里下河之後，一者有條件徵集糧餉，二者懾於太平軍的聲勢，鎮江清軍將不擊自退。鎮江既下，就可以通過天京郊外的燕子磯，將外界糧餉源源不斷地運入天京城內，而只要糧餉有保障，曾國荃便不足為慮。
5月19日，李秀成下令撤六安之圍，準備先往壽州、天長補充軍糧，然後再進圍六合、揚州。孰料壽州原為皖北割據勢力苗沛霖的地盤，苗沛霖多年在此強征谷糧，胡作非為，導致這一帶人煙稀疏，一片荒涼。當李秀成軍到達壽州時，軍糧已經所剩無幾，官兵們只能以草根充饑，因此餓死了許多人。之後他們花費了將近半個月時間，才得以通過壽州，到達天長。
太平軍進兵皖北，一度分散了曾國荃的兵力。發現李秀成即將揮師東下，進軍里下河，曾國荃也決定採用圍魏救趙之計，在天京城下發起新的進攻，以迫使李秀成放棄東向，回救天京。
自古守城必守山，攻城必攻山。天京城外的雨花台地勢高，且緊鄰城牆，太平軍在其上修築石壘，作為對天京城進行協防的一大要塞。江南大營曾圍攻雨花台要塞多年，但都沒能打下來。這次曾國荃授命李臣典，對要塞採取了乘夜偷襲的方式。
自天京會戰結束後，攻守雙方已休戰數月，要塞守軍明顯懈怠下來。直到李臣典率部在三更天時架梯登壘，驚醒過來的守軍才急忙對外開炮轟擊，然而已經來不及了，李臣典一馬當先地攀上城頭，拔下太平軍軍旗，緊隨其後的兵勇將火箭射入石壘，徹底打亂了守軍的陣腳。
天亮時，雨花台要塞被湘軍完全攻克。曾國藩在奏報中為了給弟弟請功，極力渲染戰況之激烈，不過據他的幕僚趙烈文透露，實際上整個戰鬥過程並沒有那麼驚心動魄，湘軍僅死傷了幾個人，這一方面歸功於偷襲戰術的實施，另一方面也得說，太平軍的戰鬥力和作戰意志確實早已今不如昔。
除雨花台外，湘軍還攻克了聚寶門（即今中華門）外的九座石壘。消息傳到江北，李秀成自然無心再進攻里下河，匆匆率軍南下以回救天京，成了他的唯一選擇。
李軍南下時正逢長江水漲，道路被洪水沖毀，無法行走，滯緩了其前進速度。等全軍到達江岸，鮑超等部已攻下江浦，他們在長江北岸的後路被截斷了。太平軍人心慌亂，都希望自己能早一點登船，由於船少兵多，過於擁擠，許多前面的人都被後面的人擠落江中，讓江水給捲走了……
造成李軍損失慘重的另一個因素，是楊岳斌部湘軍水師的攻擊。這時天京附近的江面幾乎完全掌握在湘軍水師之手，太平軍只能通過九洑洲要塞炮台等幾座江邊炮台，對江面進行有限的控制。在李軍渡江的過程中，湘軍炮船不斷朝岸邊等待登船及其正在搶渡的太平軍施以轟擊。英國人呤俐其時正在九洑洲炮台協助李軍渡江，他目睹「炮彈不斷在這些骨瘦如柴的人們中間隆隆爆炸」「炸死了一排排的人」，感到痛苦莫名，可是又愛莫能助，無能為力。
李軍花了整整二十天才完成南渡，就這樣，老弱病殘人員及其不肯上船的馬匹也都被拋於北岸，等於大部分損失掉了。南渡前，李軍尚有可作戰士兵五萬人，最終回到天京城的只有一萬五千人。「進北攻南」戰略徹底失敗，天京不但沒能解圍，還因雨花台要塞的陷落以及前後數萬精兵的損失，陷入更大的困境之中。面對此情此景，連李秀成本人都意識到，天國確實已經岌岌可危。