1863年4月，淮軍和常勝軍組成聯合部隊，開始重新對蘇福省發起攻擊。他們一口氣奪回了一度失守的福山，又擊破太平軍對常熟的包圍，顯示出與日俱增的戰鬥力和攻堅能力。
淮軍雖然通過引進西洋炮加強了自身火力，但炮位都還很小，所以攻城仍需依賴於常勝軍，更確切一點說，是依賴於常勝軍的開花炮隊。經華爾、戈登等人的先後經營，常勝軍建有六百人的整營炮隊，擁有三十餘門以上的大炮，這些大炮都是當時中國所沒有的，其中「開花巨炮」（實際為加農炮和榴彈炮）等重炮就有一二十門。
5月，聯合部隊再攻太倉，在攻城戰中起主要作用的，就是常勝軍的開花炮隊。戈登採取的戰術是首先向城牆猛轟四個多小時，然後才組織步兵向被炸塌的城牆缺口衝鋒，如此反覆三次，終於攻破了太倉。自此以後，每當淮軍遇到堅城難克的情況，都要調常勝軍開花炮隊強轟硬炸。
華爾也很重視火力組織，從這個角度來說，戈登並沒有完全脫離前任的路數，但確實已更上一層樓，所以有人稱戈登是個出色的戰術家，在用兵上比華爾更精。
當然，戈登本人也許更願意別人把他看成是第二個華爾，他甚至還模仿華爾的風格，作戰時手裡不握槍（在襯衣里藏一把左輪，但從來沒用過），只拿一根小手杖，士兵們戲稱為「勝利魔杖」。
1863年6月1日，聯合部隊圍攻崑山。在北面的常熟、太倉均已失陷的情況下，崑山守軍僅有一條退路和糧道可通往蘇州。戈登經過偵察發現，可在崑山城西的正儀鎮對此退路予以切斷。
崑山周圍河道縱橫，湖泊甚多，和華爾一樣，戈登認為汽船在江南三角洲地帶是不可或缺的，「在這個國家裡，我們的汽船具有絕對優勢」。他率領常勝軍和部分淮軍，乘著汽船，在太平軍佔領區內迂迴行進三十多公里，對正儀鎮發動了突襲。
多數太平軍對汽船都很陌生，也異常害怕，聽到汽船尖厲的鳴叫聲，士兵們甚至都驚呆了。聯合部隊以突襲的方式成功佔領了正儀，戈登事後頗為得意地總結道：「熟悉地形起了決定性作用，我花了很大精力研究地形……」
後路被切斷令崑山城內的太平軍不攻自亂，繼太倉之後，通往崑山的第二座城市也落入淮軍手中。
到這個時候為止，淮軍和常勝軍的配合已經相當默契：淮軍有野戰優勢，主要負責佔領陣地，保護常勝軍的開花炮隊以及掩護其側翼；常勝軍有技術優勢，重點通過對大炮和汽船的有效運用，來擊破敵方的堅固防線。
過去國內戰爭的經驗表明，湘軍長於野戰，而拙於攻城，太平軍相反，長於守城，拙於野戰。長江上游重鎮，武漢、九江、安慶，沒有哪一個不是湘軍經年累月，付出巨大代價才攻下來的。淮軍改變了人們的這一習慣看法，由於其本身裝備了大量的洋槍洋炮，又有常勝軍協助，從而彌補了不善攻堅的缺點，迅速成長為一支野戰攻堅兼長的軍隊。
如果說太倉是蘇州的北大門，崑山就是東大門，太倉、崑山既下，蘇州的北、東兩面完全暴露在聯合部隊面前。程學啟、戈登繼續加強進攻，他們在攻佔蘇州南面的吳江，隔斷蘇州與浙江太平軍的聯絡之後，開始著手進攻蘇州。蘇州主將、慕王譚紹光屢屢出師反擊，但均未能得勝，不得不派人前往天京，向李秀成頻頻告急。
自南渡回到天京後，由於天京、蘇州的局勢同時惡化，李秀成一直在兩地的前線奔忙，往往是早上在蘇州，晚上就得回天京，兩邊都需要兼顧，兩邊又都難以集中精力，其有限的突擊部隊也無法集結於一處使用。為此，李秀成再三奏請天王洪秀全，要求准許他先出京解蘇杭之困，但洪秀全只顧天京一頭的安危，始終不肯放行。
1863年9月中旬，劉銘傳攻克江陰。此後李鶴章等部向無錫推進，致使無錫、常州的太平軍都不敢也無法進援蘇州。眼看蘇州危在旦夕，李秀成又一次向天王懇切奏請，說：「蘇州、杭州一旦失去，天國的糧庫就將毀於一旦，天國將永遠得不到安寧。我懇求天王讓我出京，解救蘇州、杭州，這樣我死也瞑目。」
見硬留李秀成不住，洪秀全及群臣向他提出兩個條件，一是要資助天京餉銀十萬，二是只給四十天期限，四十天後必須立刻回京，如果銀兩不夠或逾期不歸，將依法予以處理。
李秀成急於解蘇杭之困，只好把全家的金銀首飾等值錢物品都拿出來，湊夠十萬兩交給洪秀全，並將母親和兒子留下作為人質，這才得以出京。