華爾被太平軍擊斃後，華爾的副手白齊文接管了常勝軍的指揮權。白齊文在許多方面與華爾相似，兩人都是來自美國的冒險家，剛到中國時同為大副。白齊文作戰也很勇猛，曾經幾次負傷，後來他又和華爾一同加入中國籍，甚至都娶了一名中國妻子，當了「洋姑爺」。
兩人不同的是，華爾深知自己的飛黃騰達全都仰仗於中國人，因此很自覺地接近中國人，白齊文卻無此自知之明。除此之外，他缺乏華爾的管理和軍事指揮才能，性情也很專橫，常常因酗酒、傷口疼痛等原因亂髮脾氣，弄得與其意見相左者都不免提心弔膽。
這時拖欠常勝軍的軍費和賞金的情況依舊存在，白齊文和幾名部下便跑到上海，當面向楊坊索要餉銀。幾句話不對付，楊坊就遭到一頓暴打，之後白齊文一行闖進上海官方專為軍隊所設的「大吉行」，從中搶走了四萬餘兩庫銀，史稱「大吉事件」。
大吉事件一出，各方均為之震驚。士迪佛立急忙派兵前往松江，對白齊文和常勝軍進行彈壓，同時另派英國軍官奧倫接管常勝軍。
這一期間，在天京、浙江戰線日趨緊張，太平軍也無力再進攻上海的前提下，淮軍發動了對蘇福省太平軍根據地的大舉反攻。皖籍的常熟守將駱國忠見勢不妙，連忙獻城投降。
常熟北臨長江，南鄰蘇州，東接太倉，駱國忠的叛降，不僅使太倉處於被東西夾擊的地位，而且對蘇福省首府蘇州的安全也構成了嚴重威脅。太平軍急忙調集大軍圍攻常熟，李鴻章聞報雙管齊下，一面增援常熟，一面會攻太倉，雙方在兩地展開大戰。
常熟方面，太平軍奪回了常熟的福山鎮，但這還比較好交代，因為太平軍在那一面略佔優勢，何況常熟也沒有被攻破。太倉方面卻是令人大跌眼鏡，李鴻章派去的是程學啟部及其常勝軍主力，結果仍被人打得丟盔卸甲。
常勝軍大失水淮，被認為是太倉慘敗的主因，這也是常勝軍自重新組建以來打的最糟糕的一仗，情報失誤、偵察不準、戰術不當、撤退無當等各種毛病都一股腦兒堆到了一起。
鑒於奧倫難以勝任他的新職務，另一名英國軍官戈登得以走馬上任。當戈登到達松江時，士兵正陷入低迷士氣之中，軍官們則要求被趕走的白齊文重返部隊，整個常勝軍已處於嘩變邊緣。戈登當即向官兵們表示，他不會再因大吉事件和太倉慘敗而解僱任何人，只要他們表現良好，他就將「精心維護他們的權益」。在戈登做出這一保證後，官兵們才勉強接納了他。
戈登是個和華爾一樣具有冒險精神的人，但軍人世家、英國皇家軍官學校畢業生、正規軍官的履歷，又使他在很多觀點上有別於華爾。比如在軍隊管理上，華爾較注重權術，戈登卻更堅持原則，華爾追求名望和財富，戈登更在意他所謂的榮譽和建樹。
接手常勝軍之初，戈登即按照西方做法，對原先混亂的財政管理制度加以整頓，其中包括：削減軍餉，並用成色統一的墨西哥元作為軍餉，以阻止軍官們盤剝士兵以及濫用資金；取消每半個月發餉一次的慣例，改為每個月發餉一次；取消奪城後的特別賞金。
相應地，戈登也要求中方必須按時發放軍餉，不得拖欠。常勝軍的士兵和中方對這些措施都能接受，李鴻章向戈登保證，只要是正當要求，他就一定會予以滿足。
華爾治軍，靠的完全是經驗、直覺甚至隨心所欲，這是華爾一死，部隊便立刻渙散失去戰鬥力的一個重要原因。戈登將英國陸軍的紀律及其規章制度引入常勝軍，下令開除吸鴉片者和其他不良分子，禁止搶劫、酗酒，他自己也以身作則，宣布吃住自理，除統領的固定薪金外，不再從軍隊里獲取額外獎金。
在貫徹其革新政策後，戈登贏得了各方認可。常勝軍士兵對他的態度由勉強接納轉為表示尊重和支持，戈登在家信中寫道：「我的軍隊……士氣高漲，可以勝任一切任務。」李鴻章也對戈登大加讚揚，認為他不僅恢複了常勝軍的秩序，而且使得軍隊開銷井井有條，有效緩解了政府在這方面的財政壓力。
華爾在世時，雖然與李鴻章尚保持著良好的合作關係，但卻從未主動前去拜謁這位上司，輪到白齊文上台，那就更是專橫高傲得沒譜了。戈登不一樣，在李鴻章面前，他能夠按照英國軍隊里下級對上級的禮儀行事，身上完全沒有華爾、白齊文那種令中方官員不能容忍的高傲姿態，這讓李鴻章感到特別舒服和受用。
令李鴻章滿意的還不止於此。戈登擁有英國軍方背景，他的到任，使得常勝軍可以源源不斷地從英軍手中直接購買武器，相比於華爾時期來說，渠道更穩定，價格更便宜。這樣一來，淮軍在西式武器的採購方面也因而變得更加便利。
淮軍對於洋槍的使用，最初只是停留在閉門效仿的層面上，雇聘的洋人教習極少。經由戈登介紹，淮軍各營陸續從常勝軍中增雇洋教習，淮軍洋教習前後達到了二十餘人之多，其中除兩名來自法軍，一名雇聘較早外，其餘全部出自於戈登的介紹。
李鴻章一直發愁的教練問題終於得到解決。在洋教習們的指導和帶領下，淮軍士兵不僅學會了如何使用洋槍洋炮，而且全部改用洋式操練法，比如開步走、向右轉等，都按照外國軍號以及音譯的外國軍令行動。
原先由於不易買到真正的西洋開花炮，又無人教授，淮軍所擁有的火炮既小且少，形不成戰鬥力（劈山炮的威力只堪與火力較強的洋槍相當，而不能與洋炮相比較）。從1863年春季起，在洋教習的牽引和鑒定下，淮軍所購買的洋槍洋炮陡然大增。戈登又將常勝軍停用、閑置乃至從太平軍手裡奪過來的洋炮，轉贈給淮軍使用，於是淮軍各主力大營便都先後建立起了自己的炮隊。