還是在安慶的時候，李鴻章就開始接觸外國人的洋槍洋炮，還有那些威力無比的遠洋戰艦與船隊。到達上海之後，李鴻章不無驚異地發現，堂堂大清上海的防衛力量，竟是由英國人、印度人、法國人組成的三千人的洋人軍隊。這支軍隊是由上海商人和紳士出錢養著的外國僱傭軍。該軍一八六○年正式組建，由美國人華爾出任指揮。一八六二年，被清政府命名為「常勝軍」。這個華爾，後來還娶了楊坊的女兒，加入了中國籍。
「常勝軍」的武器都是西式的來復槍和榴彈炮，李鴻章看著這些硬邦邦、冷冰冰的「利器」，不禁驚嘆它們的神奇力量，並逐漸對這些「利器」產生了極其熱烈的嚮往。為此，他還化妝成百姓，親自到上海的外國軍艦上參觀。李鴻章在文章中寫道：我觀察我們中華民族和外國人的種種，包括歷史、制度和文字等等方面，外國人唯一比我們強的就是他們先進的武器裝備。如果我們中國人將來也有自己的先進武器，那我們就再也不用害怕外國人了。
由華爾所率領的「常勝軍」連連挫敗雄風依舊的太平軍這一事實，使李鴻章深深地感受到了洋槍洋炮的巨大威懾力，同時也不得不生出空前的危機感。李鴻章明確提出：大清現在的大患是太平軍，將來更長久的大患必是洋人無疑。所以他要求自己的軍隊不能依靠洋人，一定要「自強」，而最初的自強之道，就是所謂「講求洋器」。
在李鴻章著手以「洋器」裝備淮軍時，首先遭到曾國藩的反對。曾國藩一向認為，用兵在人不在器，而且懷疑洋槍洋炮的作用是否有李鴻章說得那麼厲害。李鴻章不便強烈回駁自己的恩師和統帥，只是在回信中委婉地表示，我是想學習洋人的一點兒「密法」，希望能增強淮軍的戰鬥力。
在一八六二年五月給曾國藩的信中，李鴻章談到世界歷史說，以前俄羅斯和日本因為不知道大炮的厲害，所以國力日益衰退，自從他們從英法學到武器的製造術後，便逐漸能和英法比高下。除此之外，李鴻章日益感到淮軍勢單力薄。他考慮到從老家招兵不方便，所以除了在當地招募了一些新兵之外，把淮軍主要來源放在改良以前的防軍上。他還收編了一大批太平軍的人馬，用以擴大和充實淮軍力量，而且收編的降軍力量遠遠超過改編的防軍。這是李鴻章有意採取「以毒攻毒」之策。
此時李鴻章還開始組建自己的水師。最早的淮軍水師起建於安慶時期，那時候有五隻大船。到達上海之後，李鴻章改編了上海舊的水師防軍和蘇嘉地區的部分船隊，還有其他一些零散的力量。他還統率著淮陽水師和太湖水師。這樣，李鴻章的淮軍便達到了水軍四萬人，陸軍七萬人的規模。
最初李鴻章訓練淮軍，基本上也是按照以前訓練湘軍的那一套辦法，特別是每天要帶領士兵唱「愛民歌」，這都是曾國藩的創意。湘軍雖然擁有洋槍洋炮，但是很少使用。李鴻章則請洋軍官進入淮軍大營，幫助實際操練，讓士兵學習洋槍洋炮的使用方法。從此以後，淮軍這支湘軍中最早的分支部隊，開始和湘軍有了諸多的差別。李鴻章就率領著這樣一支隊伍，開始了對太平軍更猛烈的進攻和更瘋狂的剿殺。