如同寶帶橋之戰的情形一樣，李秀成所帶來的白齊文部繼續發揮著重要作用，他們的大炮汽船給湘淮軍帶來了不小壓力，僅湘軍淮揚水師就被炸毀了二十一隻舢板船。不過湘淮軍隨即發起反擊，用火箭焚燒和擊沉了「高橋」號，加上淮軍援兵大批趕到，李秀成軍支撐不住，只得暫時退往蘇州外圍要地黃埭。
白齊文加盟太平軍，曾讓李鴻章擔心從此會出現一個太平軍版的洋槍隊，由此大大加強太平軍的力量並在心理上給其以激勵，白齊文在幾次作戰中的表現，似乎就是對這種擔心的一種驗證。英國駐華公使卜魯斯聞訊更是驚恐萬狀，以至於向英國國內報告說，如果白齊文率領「眾多軍隊」在冬季進軍北京，就將獲得攻佔北京的良機並最終推翻清廷。
事實是，這樣的情況並沒有發生。白齊文如果還在常勝軍，其槍炮和彈藥都有充足和穩定的來源，但自投入太平軍陣營後，隨著聯合部隊對軍火走私的查緝越來越嚴，這些都成了問題。白齊文為了補充彈藥，曾親自潛入上海，結果不僅沒能買到軍火，還差點被捕，之後他再不敢如此冒險。因為軍火不足等原因，白部對淮軍的幾次攻襲都未成功，漸漸地，慕王譚紹光便失去了對他的信任。
見失意於慕王，白齊文又向忠王李秀成獻計，勸其「棄江浙，北據山東、山西、河南、陝西，使清水師無所用，外人亦不能相助」。可這種時候李秀成哪裡需要如此迂闊和不切實際的「計謀」，自然沒法採納。白齊文深感受到冷遇，轉而與戈登聯絡，勸他脫離清軍，兩個人聯合起來獨立作戰，「組織兩萬人，進取北京」。戈登聽後啼笑皆非，也沒當一回事。
白齊文大失所望，於是向譚紹光提出辭行。譚紹光倒也豁達大度，抬抬手就放他和部下走了。白齊文被戈登用船送回上海後，因他正生著病，美國領事便將他遣送到日本橫濱治病，並禁止其再來中國。
1863年10月24日，程學啟、戈登會同太湖水師，一舉攻克蘇州外圍要地五龍橋。李秀成合譚紹光之軍前來救急，但被擊退，蘇州守軍的處境日益窘迫。
為了實施防守反擊，李秀成繼續把戰火引向無錫，他從無錫、溧陽、宜興等地約集了八九萬機動兵力，這些部隊出運河口作戰，以連營並進的方式對李鶴章等軍進行擠壓，李秀成自己則率數千精銳紮營於無錫後宅，居中調度。
李鴻章不為所動，一面讓李鶴章等軍堅守營壘，鞏固後路，一面派程學啟由蘇州橫出敵後，對太平軍發動攻擊。這時的程學啟部已擴充至水陸十八個營，成為淮軍中唯一也是最大的大枝營頭，攻擊能力很強。在常勝軍的協助下，程學啟連下蘇州外圍的蠡口、黃埭，從太平軍身後對其造成了威脅。
李鶴章和曾國葆一樣，是由分統提拔成的統領，軍事指揮能力絲毫不亞於其他由團練頭目出道的淮軍將領。看到有機可乘，他立即約集原先固守的諸軍主動出擊，滾營前進，除李秀成所據營壘無法攻克外，太平軍駐於前線的十餘座營壘都被他們端了個乾淨。
在這一輪外圍戰中，常勝軍不僅自己乘汽船作戰，也用汽船為湘淮軍運兵，從而成功地將蘇州外圍河流多的劣勢轉化為了自身的優勢。鑒於白齊文帶來的「高橋」號已經被毀，李秀成交給呤俐一項重要使命，讓他尋機捕獲常勝軍的汽船，以為己用。
呤俐奉命潛入上海，他偵察到一艘名叫「飛而復來」的汽船從蘇州開往上海，當天即開回蘇州。於是便在一個星光黯淡的深夜展開行動，與同伴一起奪取了這艘汽船。
對於呤俐這次行動取得成功，李秀成很是高興，親自到船上對參與行動的人員進行慰問和獎勵，「飛而復來」也被重新命名為「太平」號，懸掛忠王軍旗，由呤俐統領。
「太平」號的船頭架有一門旋轉炮，船尾架有一門榴彈炮，船中裝置精良，彈藥充足，雖然它無法在湖中與數量眾多的敵船抗衡，但在相對狹窄的小河中卻佔有機動靈活的優勢，也因而部分打亂了聯合部隊進攻蘇州的部署。
聯合部隊的對策是斷絕運河，使太平軍不得使用「太平」號，同時阻止外地的太平軍進援蘇州。他們一路由蠡口、黃埭進發，攻克滸墅關及虎邱，進逼蘇州閶門街口，一路由五龍橋進發，在接連摧毀太平軍營壘後，進逼蘇州盤門。