1860年5月2日，太平軍前鋒約兩萬騎兵突破清軍防線，對江南大營的中心陣地發起突襲並獲勝。天京城內守軍也按照預先約定的信號由各門殺出，與城外援軍勝利會師。
清軍的左右兩翼跟被襲的中心陣地較遠，加上天色朦朧，雨霧瀰漫，無法辨識太平軍的行動。聽到城內守軍衝出，他們便自恃人多勢眾，以為可以一舉擊潰軟弱疲憊的守軍，從而趁機殺入城內。
見清軍向城內守軍發起攻擊，太平軍騎兵除分出一隊協助城內守軍外，主力重新沖回敵中心陣地，再次橫掃正在混亂中整隊的清軍。掃完之後，騎兵分成兩路，猛攻清軍左右兩翼。
左右兩翼的清軍未想到對方騎兵從旁邊殺出，想退回原陣地已來不及了，頓時陣形大亂，紛紛倉皇敗逃。
太平軍開始發起全面反攻。5月3日，陳玉成部突破清軍在西南所築的長壕。城內守軍向清軍營內拋擲火罐，火罐正好落入火藥庫，當即引起劇烈爆炸，又進一步加劇了清軍的混亂狀態。不到半天工夫，從得勝門至江邊的五十餘座清軍營壘就全部被攻陷了。
兩天後，李秀成部擊破清軍孝陵衛大營，摧毀了東南面的清軍防線，清軍被緊緊壓縮於僅存的大小水關大營。
5月6日，天寒刺骨，雷雨交加，清軍大營內一片愁雲慘霧。一些兵勇認定必敗無疑，便吵鬧著到王浚帳下向他索要軍餉，要不到錢就乾脆攔路搶劫，和春見狀竟不敢過問，更不用說責罰了。
這幫人真是怎麼挨揍都活該。當晚太平軍便攻入了大營，各營火起，王浚部先跑，和春部繼之，張國梁見狀也只得殿後奔逃。
此戰過後，天京城外遍布清軍所遺棄的軍械、旗幟、火藥、糧秣，清軍遺屍將他們自己所挖掘的壕溝都填滿了，可謂是敗得十分徹底。當然更重要的是江南大營垮了！
江南大營始建於1853年，也即咸豐三年，其間經歷重建，至再度被攻破，已歷八年之久，耗費的人力、物力和財力難以計數，然而轉眼之間便灰飛煙滅。張國梁不由得頓足長嘆：「八年心力，不料敗於李秀成之手！」
天京之圍既解，文臣武將一齊入朝慶賀，同時商議下一步進取目標。朝議時，眾人意見不一，英王陳玉成自然主張全力援救安慶，李世賢建議儘快拿下閩浙，而干王洪仁玕則認為應該首先經略長江下游。
長江下游素為富庶區域，但在天京事變前並未被太平天國定為戰略控制的目標，太平軍發動過西征、北伐，卻從未有過東征。這倒不完全是顧忌江南大營的存在，事實上，只要從西征、北伐所用兵力中調一部分過去，是不難完成目標的。
更大的原因是由於要徹底掃蕩下游，就不可能不觸碰上海。上海既是五口通商所允許的條約港，又是各國使節的駐節地，在太平天國定都南京後，英法美公使都曾先後前往南京進行試探，並聲明將在清帝國和太平天國之間保持中立。
列強與清帝國有著正式的外交、條約關係，並派駐有外交官，它們說要保持中立，本身就帶有傾向性，這對太平天國是很有利的，加上當時天國的給養也很充足，因此以楊秀清為代表的決策層就選擇了把長江下游置於次要的戰略位置之上。
時過境遷，環境和條件都發生了很大變化。如今湘軍圍住安慶，從上游威脅著太平天國，天京的交通和物資供應仍然時時面臨著被切斷的危險，但要是能率先控制長江下游，並將之作為保護性後方基地，起碼暫時不用為缺乏財力物力發愁了。洪仁玕走南闖北，去過香港，看過洋文，其文化水平、見識比一般人要廣博得多，而且他自入京執政以來，日日處理要務，軍政知識也增加了不少，自然不會看不到這一點。
再往大了說，太平天國的西征也好，北伐也罷，最終都是想要統一全國。比如，往西面打，至少要打到川陝，才能把這一面全都解決了。以此類推，北面要一直打到長城，南面要一直打到雲貴兩廣，可是川陝、長城、雲貴兩廣距天京都有五六千里之遙。這麼一比較，唯有東面的滬蘇杭距離最近，不及千里，一打便能打到底。
洪仁玕認為，以太平天國和太平軍的現有條件而言，乘勝攻取長江下游最容易獲得成功。他進一步設想，一旦控制住包括上海在內的下游地區，僅僅從上海庫房中就可以拿到一百萬兩庫銀。用這一百萬兩銀子，足以買到一支有二十艘現代輪船的艦隊，這支艦隊可載運太平軍沿江作戰，屆時不僅能夠成功解除清軍水師對天京的水上封鎖，還有望重開西戰場，奪回被清軍佔領的沿江重鎮，從而使得「長江兩岸俱為我有」。
進攻上海會不會遭到列強的抗議和干涉？洪仁玕的態度相當樂觀，他相信洋人終究會接受現實。理由是當初英法美公使來天京試探時，天國早已公開申明，除鴉片、酒精、煙葉外，准許與各國通商，各國也聲明保持中立，在太平軍與清軍相爭的過程中兩不相幫。既然如此，若是太平軍將清軍逐出上海，洋人為什麼要反對呢？不但不會反對，沒準大加歡迎還說不定呢！
李秀成與洪仁玕的私下關係並不好，但猶如陳玉成始終將安徽作為根據地一樣，他向來更重視江南，所以立即對洪仁玕的提議表示贊成。
天王洪秀全在聽取眾臣意見後，決定採納洪仁玕的方案，並命李秀成具體負責實施。