帶兵將帥必須同時為地方大吏，否則在領兵籌餉時將步履維艱，這是曾國藩從自己的軍事生涯中所總結出一個極其重要的經驗教訓。他在向朝廷推薦李鴻章領兵東援時，就請求朝廷「等該員（指李鴻章）到鎮江後，請明降諭旨，令其署理江蘇巡撫」。
朝廷當時就應允了，因此李鴻章到上海不久，便由道員破格超升為署理江蘇巡撫（七個月後，實授江蘇巡撫），取代了原先薛煥的位置。李鴻章雖已貴為一省之長，可是他的政令也只在上海這座孤島才管用，出了上海，就全是太平天國的天下，這使他更深刻地領會到曾國藩要他沉住氣，積極「練兵練器」的重要性和必要性。
李鴻章最初的擴軍方式是效法湘軍，讓湘籍營官們返湘募勇，但淮勇畢竟是淮軍的基礎部分，所以他很快就改變方式，令張樹聲、吳長慶等人前往兩淮等地，收編兩淮團練及其太平軍降眾，同時大力整編原駐於上海的勇軍。
近代史家將恭親王奕訢、文祥、曾國藩、左宗棠、李鴻章稱為洋務派五大領袖。作為地方洋務派的代表，曾、左、李在很多具體觀點上其實並不一致，比如對待西式武器的態度就有很大差異。曾國藩主張「用兵之道，在人而不在器」，且向來「不深信洋槍，（洋）火藥為利器」，即便在皖南指揮所部進攻徽州，被太平軍用洋槍擊退後，亦不改初衷。左宗棠同樣不是很相信洋槍的功效，他認為洋槍僅僅是重量輕一些而已，要論射程，還不如抬槍。
事實上，洋槍雖然沒有抬槍射得遠，可是射擊速度卻要高出後者數倍之多，再加上可以隨裝隨射，不避風雨，火力方面絕非抬槍所能及。至於曾國藩對洋槍的觀點，則只能說明當時的多數士大夫都還無法完全擺脫傳統文化的片面說教。
李鴻章與曾李的想法都不一樣，而這與他的上海之行又有著很大關聯。他剛剛抵達上海時，就受何伯之邀，前往英國海軍駐地進行參觀。一進英軍軍營，英軍大炮的精純，彈藥的細巧，槍支的鮮亮，隊伍的整齊，頓時把他弄得眼花繚亂，目眩神迷。
英國海軍本身並不以陸戰見長，但也擁有用於攻城劫寨的各種武器。令李鴻章備感驚異的是，這些武器他在國內大多聞所未聞，見所未見。即如浮橋、雲梯等，雖然中國軍隊中亦有裝備，可其精良的製作和巧妙的設計，仍是中方設備所做不到的。
李鴻章雖奉曾國藩為師，但他是一個極重實效的人，做事往往隨實際需要而定，不像曾國藩受傳統束縛那麼深。再者，他的淮軍新建，人數既不多，戰鬥力也不強，又遠離湘軍母體，在孤軍作戰的情況下，若不另闢蹊徑，勢難自立自強。在發現洋槍確實比他的刀矛加舊式火器更為精利後，李鴻章馬上決定予以採用。曾國藩將鳥槍稱為小槍，湘軍營制中原有刀矛隊、小槍隊、抬槍隊、劈山炮隊，李鴻章便在戰鬥力最強的程學啟部率先添設了洋槍小隊。
擴充軍隊和購置西式武器，都需要大筆資金的投入，而此時李鴻章署理江蘇巡撫，曾國藩是兩江總督，上海的財賦收入完全為李鴻章和湘軍所掌握。上海的海關厘稅數額巨大，但由於開支同樣驚人，所以仍然入不敷出。為了解決這個問題，李鴻章決定採取海關厘稅分收分用的政策，即以關稅支付會防局、常勝軍和鎮江綠營的費用，以厘金承擔湘淮軍的軍費。
厘金是商業稅，李鴻章認為，從商人手中多收點錢，勝過從農民身上收稅，在他出任江蘇巡撫期間，上海厘金被規定為值百抽一，收取標準是全國最高的。這些厘金除基本解決淮軍所需外，還資助了湘軍在西線的作戰。
那個時期，因江西巡撫沈葆楨截留江西稅收和厘金，湘軍糧餉出現很大困難。就在曾國藩坐困愁城之際，李鴻章雪中送炭一般地從上海送來七萬兩銀子，令其大喜過望。在給李鴻章的複信中，曾國藩戲言李鴻章如同嫁出去的女兒，自己日子好過了，還沒有忘記要時時貼補娘家。
當然，曾國藩為「出嫁女兒」提供的嫁妝也同樣極其豐厚，淮軍的相當大一部分力量都來自於湘軍不說，直接繼承於湘軍的軍制，更令它在初建時就已站在了很高的起點之上。