李秀成下定了進攻上海的決心，1860年8月14日，他正式宣布將攻取上海。
上海城內的空氣由此變得分外緊張，各國僑民、商人競相將行李皮箱搬上船，自願者則紛紛應徵入伍，各種武器也被集中起來準備用於作戰。數日之內，約一千五百名英法聯軍已被部署於租界周圍的各個要害陣地以及七座城門之上，「許多事情都以超常速度完成了」。
8月16日，李秀成偕洪仁玕率部自松江前進，佔領了上海周邊的泗涇鎮。卜魯斯和英國海陸軍軍官急忙給李秀成寫信，申明上海市區本身及租界正被英法軍事佔領，勸其勿攻上海，否則「會被認為是開始與聯軍對抗，並將得到相應的制裁」。
李秀成沒有能夠及時收到這些信件，其部繼續由泗涇進至上海西南的七寶、虹橋、法華諸鎮。
8月18日，太平軍的先鋒約三千人直抵上海徐家匯，逼近上海西南兩門。這時李秀成顯然仍希望列強保持中立，他致書英法美等各國公使，提出太平軍攻城時的幾個注意事項：洋人最好留在屋內，等到戰火平息再出來；洋人之住宅店面，凡掛出黃旗，便可不受干擾；所有洋人教堂也得掛黃旗，以免受軍隊破壞。
太平軍在松江與勇軍作戰時，勇軍中混有四個洋人，由於難以辨別，其中一人被太平軍士兵殺死。為了表明對外國人進行保護的誠意，李秀成特意下令處決了那名士兵。
可是不管李秀成怎樣再三聲明和顯示誠意，洋人始終置之不理。因為有大風雨，太平軍也沒有立即攻城，直到次日才從三面圍攻上海，城內的英法聯軍隨即向太平軍開火。
戰事一開，李秀成大感震驚和困惑。這倒不僅僅是因為洋人動了手，事實上，從談判失敗和與洋槍隊交手起，他就已經有所預料，他真正感到意外的是英法聯軍的實力竟然如此之強——槍炮彈密集如雨，且極為準確。
李秀成可能一直把洋槍隊錯認為是英法聯軍的一部分，他哪裡知道洋槍隊不過是臨時拼湊的雜牌軍，不管是士兵的戰鬥素質還是武器的精良程度，都無法與真正的西方正規軍相比。他的部下同樣對此毫無心理準備，當炮彈傾瀉到陣地上時，一個個竟然都像石頭一樣呆立不動，既不知道隱蔽也不回一槍，數百名太平軍官兵因此當場喪命。
1860年8月20日，李秀成揮軍再攻上海。戰鬥更趨激烈，黃浦江上的英艦也加入進來，用艦炮對太平軍進行猛烈轟擊。太平軍傷亡慘重，李秀成臉部受傷，只得退至徐家匯。
東線戰事一向勢如破竹，沒想到會在上海吃大敗仗，其後加盟太平軍的洋將薩維奇也英勇戰死。李秀成既痛苦又失望，他致函英美等各國領事，責備各國不守中立，並且說：「我壓住數日來的憤慨，寬厚地讓出一條通道，以便我們相互交換我們目前的陣地。」
打仗都是靠實力說話，這種信函自然不可能得到任何迴音。此時太平軍後翼已受到清軍威脅，恰好嘉興被圍求救，李秀成便順勢南下浙江，以解嘉興太平軍之圍。
進攻上海受挫是太平軍戰史上的一個轉折點。除未能佔領上海外，這次戰役對他們在其他方面的軍事和政治利益也造成了難以彌補的損失。軍事方面，李秀成在上海耽擱的這兩個月，等於救了曾國藩之急，也因而使他錯失了消滅湘軍的天賜良機。這還不算，由於與洋兵為敵，英法聯軍不僅禁止太平軍在距上海城五十公里以內布兵，而且禁止洋商逆江而上，向太平軍提供補給和武器。政治方面，洪仁玕的外交政策完全失敗，他在太平天國領導集團中的權力也開始日益衰落。
事後，洪仁玕歸咎於李秀成，說他本人已經與來蘇州講和的「洋官」談妥，是李秀成不肯，執意要打上海，最後「中空城計敗回」。這種說法頗有點欲加之罪、何患無辭的味道，其實連洪仁玕自己都清楚，來蘇州的洋人根本不是什麼「講和的洋官」，而僅僅是幾個沒有任何政治背景及其權力使命的傳教士罷了。
說到底，上海之敗還是因為太平軍和清廷一樣，對西方根本不了解，亦缺乏正確有效的外交政策和溝通手法，結果便只能是事與願違，南轅北轍。
在江南官員看來，保住了上海，似乎說明聲名狼藉的洋槍隊也已經沒有了存在的必要。吳煦奉薛煥之命，寫信給美國領事士覓威良，告訴他：「中國人以前為消滅海盜僱傭的外國人現已全部解僱了。」吳煦在信中還補充說，除外國海關人員外，中國政府沒有僱傭任何外國人。
《北華捷報》隨後證實了吳煦的說法，確認洋槍隊已經全部解散。至於華爾，他在青浦遭遇挫敗後就漸漸銷聲匿跡。有人說這位美國冒險家負傷後，他的「幕後老闆」楊坊還以為他已經死了，是曾將華爾推薦給楊坊的英商希爾給了他一間房子，並「守護他，照料他」。還有些報道則說華爾到國外去治療了，不過對於他的確切行蹤，誰都無法提供可靠的消息。