和老師曾國藩一樣，李鴻章的洋務活動也是從軍事開始的，而他在中國軍事近代化方面的貢獻，要遠遠超過他的老師，也超過了他同時代的其他洋務大臣。這一方面和他不拘成法的辦事風格有關，同時也是和他剛一出山就被派往列強盤踞的上海，推行「華洋會剿」政策的特殊情況有關。這一點，又是曾國藩有意為之的了。
一八六二年，李秀成率領大軍攻打上海，上海派人向曾國藩緊急求援，經過仔細考慮，曾國藩決定派李鴻章前往上海，同時編練淮軍，一方面抵抗太平軍，實現戰略包圍，同時也是派得力幹將，搶佔這個重要的軍餉來源地和洋務的橋頭堡。
到達上海之後，李鴻章看見外國槍炮性能優越，殺傷力強，而中國自己生產的卻質量低劣。同時他又發現，太平軍專用洋槍，尤其是李秀成所部用洋槍最多。為了在戰場上爭得主動，李鴻章決定用西方新式武器武裝淮軍。
李鴻章通過兄長李瀚章，在廣州購買了大量的西方新式槍炮，不僅用來武裝改編後的淮軍，而且分撥給曾國藩、曾國荃的湘軍使用。從這年的六月開始，李鴻章的淮軍裡面也出現了「洋槍隊」。從此以後，湘淮軍開始了新式武器的裝備，後來曾國藩多次說，湘淮採用洋槍，是李鴻章倡導的。
事實上也是如此。對洋槍洋炮，曾國藩並不迷信。當時曾國荃屢次要求李鴻章為他代買洋槍洋炮，曾國藩就表示，打勝仗「在人不在器」，關鍵還是訓練好。這種認識當然存在一定的誤區，這是曾國藩受條件限制的原因。但他並不保守，一旦發現洋槍洋炮的威力後，對於李鴻章的行動，他不但同意，而且還給予了極大的支持。在他的積極扶持和指導下，李鴻章才走上了洋務強國的道路。
在奕訢的幫助下，李鴻章的意見終於得到慈禧太后的首肯，允許他在「剿匪」的前提下，學習製造軍火。
隨後，李鴻章開始跟有軍工經驗的英、法軍事人員接觸，目的是要模仿他們的生產。由於李鴻章與外國軍隊的頻繁接觸，使他對外國武器的效力更為推崇。
在實踐中，李鴻章的洋務自強思想也在不斷深化。不久，他就認識到，長期依靠購買西方軍火，只能增加對外國的依賴性，要想自立自強，就必須學習外國的生產技術，創辦和發展自己的軍工企業，實現自主生產。從此，他開始與有經驗的外國軍事人員接觸，學習有關知識。經過不斷地瞭解，逐漸堅定了生產西式武器的決心。
一八六二年十月，由韓殿甲領導的技工在李鴻章的軍費資助下，開始生產炸藥及雷管。
一八六三年，李鴻章僱用英國人馬格里，會同直隸州知州劉佐禹，首先在松江設立了一個洋炮局，主要製造炮彈銅帽等軍用品，這是上海最早成立的洋炮局。
這一年的九月，李鴻章調丁日昌到上海，又建了一局，仿造短炸炮以及各種新式炮彈。三個洋炮局先後成立，李鴻章將其合稱為上海「炸彈三局」，當時又稱之為上海洋炮局。
丁日昌，字雨生。廣東豐順人。他曾任江西萬安知縣，當時李瀚章是丁日昌手下的贛南道。丁日昌因為萬安失守被革職，投奔到曾國藩處當幕僚。曾國藩很欣賞丁日昌的才幹。李鴻章組建淮軍的時候，就想要丁日昌跟自己去上海，曾國荃則提出要丁日昌跟自己去攻打天京。曾國藩誰也沒有給，把丁日昌和李瀚章一起派到廣東去辦理釐金了。當時還在到處尋找人才的李鴻章聽說丁日昌在廣東軍營，已經督製出了大小炮硼三十六尊，子彈二千多顆，十分羨慕。心想如果能讓他來主持炮局就好了。李鴻章於是使勁追著曾國藩要人，終於奏請朝廷批准把丁日昌調到上海主持炮局。
事實表明，丁日昌辦的炮局最有成效，它能製造「田雞炮」（迫擊炮），還有能發射八十磅炮彈的「開花炮」。後來，丁日昌一直在李鴻章身邊做他的得力助手，成為「洋務運動」的積極實行者。
一八六四年五月，和太平天國的戰爭已經接近尾聲。按理，洋槍洋炮的製造也該放鬆下來，但是，李鴻章不但沒有放鬆，反而認為更應當加強。在仿製洋槍洋炮的基礎上，他強調，不但要仿造，而且還要逐漸學會製造「製器之器」，刻不容緩。建議朝廷向日本學習，掌握西方的先進技術，加強國家的國防力量，在世界上站起來。
韓殿甲和丁日昌分別主持的炸彈局，「都不僱傭洋匠，只選中國工匠，仿照外洋做法」，分別用手工鑄造炸炮。這三個炸炮局所造的炮，大多限於輕便的短炸炮，炮重不滿五十斤，每月只造六至七尊。炸彈則每月可出產萬餘顆。
「炸彈三局」生產出來的各種炸彈源源不斷地被送到前線，給李鴻章消滅太平軍提供了有力的保證，並為李鴻章日後創辦江南製造總局、金陵機器局積累了經驗。江南製造總局又稱上海機器局，成立於一八六七年九月，以生產槍炮彈藥為主，後來能修船造艦，成為綜合性的新式軍用企業。金陵製造局，是把以前馬格里主持的蘇州洋炮局遷到南京建立的。到南京後，規模擴大了，生產能力也提高了。主要生產各種口徑的大炮、炮彈和子彈，還生產其他軍用品。江南製造局和金陵製造局，都是製造軍用器械的兵工廠。它們用蒸汽機作為動力，以機器為工具，僱傭了一批工人，這表明中國出現了一種新的社會生產力。這兩個局的資金都來自清政府的財政劃撥，生產的武器彈藥都歸湘軍和淮軍以及其他各省軍隊使用。它們不參與市場競爭，不產生直接利潤。這種先進的生產力結合官僚專制式的管理，實際上是一種官僚資本。有些研究者認為，在社會生產力極為低下的某種特殊環境下，這種官僚資本的介入，對經濟與社會的發展是有益的。
一八六四年，淮軍攻佔蘇州，李鴻章把馬格里、劉佐禹主持的洋炮局遷往蘇州，成立了蘇州洋炮局。地址設在太平天國納王府，佔地比上海大得多。這期間，馬格里通過李鴻章的允准又從外國購買了一批機器，規模擴大，生產也頗有成效，每一星期就可以生產一千五百到二千枚槍彈和炮彈，還製造了規模不同的開花炸炮。對此，總理各國事務衙門大臣奕訢在一八六四年五月奏請朝廷允准，從保衛宮廷的火器營中選出了八名武弁、四十名兵丁前往蘇州洋炮局學習。於是李鴻章成了讓人們刮目相看的洋務派首領之一。
一八六四年五月，同太平軍作戰即將結束，李鴻章再次強調製器之不可緩。他在致總署函中說：「前者英法各國以日本為外府，肆意誅求，日本君臣發憤為雄，選宗室及大臣子弟之聰秀者往西國製器廠師習各藝，又購製器之器在日本製造，現已能駕駛輪船造放炸炮。去年英人虛聲恫嚇，以兵臨之，然英人所恃為攻戰之利者，彼已分擅其長，由是凝然不動，而英人固無如之何也。」「日本以海外區區小國，尚能及時改轍，知所取法，然則我中國深維窮極而通之故，夫亦可以皇然變計矣。」
一八六五年，李鴻章接替曾國藩署理兩江總督。他看到，原來所設立的三個洋炮局設備不全，就在曾國藩的支持下，購買了上海虹口美國人的一座旗記鐵廠，將它和原來設在上海的兩個洋炮局合併，擴建為江南製造總局。江南製造總局規模極大，該局用兩江海關二成的洋稅作常年經費，主要製造軍械。此外，江南製造總局還附設譯書局，專門翻譯外文科技書籍。
該局堅持「自立」、「自強」的主旨，從經費的籌措、機器設備的購置、管理人員的委派到洋匠的僱傭、機構的設立等問題，李鴻章和曾國藩都要過問，可謂費盡心機。一八六七年夏天，江南製造總局從虹口一帶遷至高昌廟，規模又有所擴大。經陸續擴充和添置設備，到十九世紀八十年代上半期，已擁有各種工廠十餘座，船塢一座。一八六七年，用原有購置的設備，並自造一部分機器，每天已能生產毛瑟槍十五支，十二磅開花彈一百發；每月平均生產發射十二磅炮彈的開花炮十八門。自一八六七年至一八九四年二十七年間，該局共計生產各種槍支五萬多支，大炮五百八十五尊，水雷五百六十三枚，炮彈十二萬發以上。這些武器彈藥除供應淮軍外，還供應南洋系統及各地的炮台、軍艦，各總督所轄地區的軍隊。這些軍工產品統一由清政府調撥，不具有商品性質。
在製造槍炮之外，江南製造總局同時還生產「製器之器」也就是生產造機械。同時，還專門設立了一個製造輪船的分廠。李、曾二人都清醒地認識到，要對付西方列強，實現自強，對海域的爭奪是關鍵，因此就要多造船，防禦好沿海各個重要港口。為了達到這個目的，曾國藩又奏請另外劃撥兩江海關的兩成洋稅，其中一成作為江南製造總局專造輪船的費用。同治七年（一八六八年），江南製造總局終於造出了第一艘大型新式兵輪。中國近代的船舶製造業也從此開始發軔起錨。
從江南製造總局的成立可以看出，「自立自強」是其主旨，這是曾國藩和李鴻章師徒二人的主要目的，因此事無鉅細，二人都十分關注，從經費籌措、機器設備的購置、管理人員的委派到洋匠的僱傭、機構的設立等題，他們都要過問，這使得江南製造總局從一開始就有了強大的人力和物力的支持，