李鴻章的童年是在安徽老家度過的，接受的教育也是儒家理學的正統文化，剛剛來到上海的時候，對這個炫目的城市感到十分陌生和茫然，而他帶來的「叫花子軍」也是處處都與這裡格格不入。
大上海是洋人的天下，要想在上海紮下根，不跟洋人打交道那是不可能的事情，逃避與牴觸肯定不是辦法。李鴻章對洋人在中國作威作福、橫行霸道十分痛恨，自他懂事以來，就知道了洋人跑到中國來肆意侵略的事實，所以從心底裡就存在著極強的牴觸情緒。
另外，也有很多中國官員崇洋媚外，處處討好洋人，上海本地的一些人，吳煦和楊坊就是兩個典型的代表，他們經常剋扣拖欠淮軍餉銀，而對洋鬼子的常勝軍洋槍隊則是極力討好，銀子給得足足的，尤其是那個楊坊，還把自己的女兒嫁給洋槍隊頭子美國人華爾。
為此李鴻章十分苦惱。朝廷的政策是要與洋人搞好關係，因為要「借師助剿」太平軍，花很多錢養著洋槍隊常勝軍。另外，洋人的武器也確實很先進，這一點不服也不行，自己淮軍的那些大刀長矛、土槍土炮與鬼子的洋槍洋炮比起來其威力簡直是天壤之別。
所以李鴻章心裡是又恨又急，他寫信給老師，請教與洋人打交道的秘訣。曾國藩回信說：「可以與洋人合作地方防務，但不能讓他們進入內地插手剿滅太平軍的戰事；與洋人要保持距離，不能輕易與之推心置腹。」這其實就是要中國軍隊在戰事上掌握主動權。
洋人為了能夠繼續深入中國內地實行進一步的侵略，便積極要求參加會剿太平軍。而朝廷則是剿滅太平軍心切，不顧飲鴆止渴的危險，極力要求李鴻章允許洋人參與會剿。
那些崇洋媚外的中國官紳也迎合響應洋人這一陰險要求，吳煦還親自跑到李鴻章跟前勸說：「撫台大人，既然洋人老爺自願幫助我們打太平軍，而且總理衙門也是支持的，這麼好的事情，咱們幹嗎不同意呢？」
李鴻章聽著十分來氣：「你懂個屁！洋人是黃鼠狼給雞拜年沒安好心，他們有那麼好心幫咱們？你們這些吃裡扒外不知好歹的飯桶！」把吳煦一頓臭罵，再也沒人敢來提這事了。
不過，這只是權宜之計，不能老這樣下去。後來，李鴻章動了一些腦筋，想出了用攪渾水和瞞天過海的法子。你朝廷和洋人不都要會剿嗎？行。我派幾千人專門到松江、徐家匯這些地方駐紮操練，你洋槍隊也合併進來一起操練，等需要的時候就去會剿，而我淮軍大部隊則單獨行動。其實當大部隊行動的時候，就不一定派這個聯軍參加了。
朝廷三番五次地警告李鴻章要注意籠絡洋人，不要把事情鬧僵。於是李鴻章又想出了一招，就是同意先前設立的會剿專門部隊參與上海周邊的戰鬥，但決不允許摻和到淮軍的主力戰事中，另外那支會剿部隊也要聽從李鴻章調遣。
但是常勝軍始終是李鴻章的眼中刺、肉中釘。在淮軍沒有到上海之前，常勝軍可是上海官紳的救星，他們對這支洋槍隊百般逢迎。李鴻章是何許人也，臥榻之側，豈容他人酣睡？在我淮軍的跟前，哪能容忍你洋槍隊囂張。
恰好不久，華爾在浙江慈溪被李秀成的軍隊打死，由副手白齊文接任統領，白齊文出生於美國，是一個冒險家。李鴻章趁機安插了一個英國人浩倫德做常勝軍的秘書，對白齊文掣肘。
恰好此時，李秀成撤兵回南京攻打曾國荃，曾國藩連忙命令李鴻章派兵增援弟弟。李鴻章一看機會來了，於是任命這時已經被整下台的吳煦和楊坊二人統帶常勝軍前去南京支援。楊坊這時候正憋著氣，加上自己的洋女婿華爾也被打死了，就把氣到處亂撒，不給常勝軍及時配發經費。
常勝軍平時作威作福慣了，哪受得了這氣，於是全體官兵抗令，說要等領到欠餉才走。但是上頭有令，軍機大事可拖延不得。楊坊叫人喊來白齊文問話：「你們想造反還是怎的？我是這次行動的統帥，常勝軍應該聽你的還是聽我的？」
這白齊文也不是好惹的：「那又怎的？我們常勝軍是為錢打仗，你不給錢，我們憑什麼聽你的？」楊坊一聽氣急敗壞：「混賬話！這是李撫台的命令，到時候誤了事你可要負責。」白齊文根本不理這一套：「我們要錢，是不是你和吳煦兩個老混蛋把錢私吞了？」
楊坊見他辱罵自己，大發雷霆，用手指著白齊文罵道：「好你個洋鬼子，我姓楊的怕你不成，有本事你就來拿錢！」
爭吵逐漸升級，白齊文這時候氣血上湧，他上前左手抓住楊坊的手腕，右手啪地打了他一記耳光，這白齊文人高馬大，楊坊哪是對手，撲通一下摔倒在地。白齊文招呼手下衝進了後庫，搶走了楊坊現款四萬兩銀子。
這事鬧大了，李鴻章卻高興了，這下可有文章做了。於是將吳煦、楊坊二人撤職查辦，然後與英方進行了交涉，革了白齊文的職。
白齊文不服這口氣，跑到北京去向英、法兩國公使申訴，兩國公使轉報恭親王奕訢，奕訢去函要李鴻章慎重考慮，但李鴻章堅決不同意恢復白齊文的職務。李鴻章一方面將常勝軍的人數由四千五百人裁減到三千人，同時收回一些權限，另一方面請英國陸軍司令斯泰夫萊保舉一個繼任人選，斯泰夫萊保薦戈登，在戈登到任之前，暫由浩倫德代理。浩倫德接管以後，在打太倉時吃了敗仗，死傷三百多人。常勝軍從此一蹶不振。
第二年，淮軍攻佔蘇州，江蘇戰事宣告基本結束，已不需要洋人參與上海防務和會剿之事，在這種情況下，李鴻章終於名正言順地解散了常勝軍，將軍事主動權收回到自己手中。