李鴻章到達上海十七天，清政府即於四月二十五日正式任命他署理江蘇巡撫，僅僅過了七個月，又由署理而被實授為江蘇巡撫。「從此隆隆直上」，幾與恩師曾國藩「雙峰對峙」。
李鴻章所以能夠從一個遺缺道而驟膺封疆重寄，主要是由於他手握重兵和曾國藩舉薦的緣故。清政府既欲藉重李鴻章的淮軍絞殺蘇南太平軍，又要依靠曾國藩集團保全東南大局。早在一八六一年十二月二十六日曾國藩就在《查覆江浙撫臣及金安清參款摺》中，指責江蘇巡撫薛煥「偷安一隅，物論滋繁」，「不能勝此重任」，並附片奏保李鴻章「勁氣內斂，才大心細，若蒙聖恩將該員擢署江蘇巡撫，臣再撥給陸軍，便可馳赴下游，保衛一方。」清政府自然懂得曾氏用意，而李鴻章也十分清楚箇中奧秘，於是致書曾國藩說：
十月二十五日（一八六二年十二月十六日）……戌刻接奉廷寄，十二日（十二月三日）奉旨補授蘇撫，恩綸獎勵，非分寵榮。自顧何人，愧悚無地。此皆由我中堂夫子積年訓植，隨事裁成，俾治軍臨政，修己治人，得以稍有塗轍，不速顛覆，……實不知所以為報，伏乞遠賜針砭，免叢愆咎。當時清政府任命薛煥為通商大臣，專辦交涉事宜。但只過兩月，清政府就調薛煥赴京簡候，而令李鴻章署理通商大臣。這樣，李鴻章就成為手握重兵、身兼巡撫和通商大臣要職的江蘇實權人物。
人到中年的李鴻章，此時已是手握兵權、政權和財權的一方封疆大吏，其仕途「從此隆隆直上」，開始了他在晚清政壇上縱橫四十年的政治生涯。
要做到這一點，就必須妥善解決軍事、吏治、籌餉和洋務等問題。於是他下決心衝破「險阻艱難」，闖出一個新局面，使出渾身解數，盡快扼殺農民起義。
李鴻章初到上海，就面臨太平軍第二次攻打上海。李鴻章知道，如果沒有上海，自己的一切都將化為虛無。李鴻章也知道有太多的目光關注著自己，所以他絲毫不敢懈怠。他給自己提出「不要錢、不怕死」的六字方針，時時刻刻提醒著自己、鞭策著自己。由於淮軍中大部分人都是農民，他們初到上海的時候，上海的官員商紳和外國人看到這支腳穿芒鞋、布帕包頭、土裡土氣的隊伍，都忍不住哈哈大笑。他們懷疑這樣一支隊伍能否擔當起保衛上海的重任。為了自己也是為了這支剛剛建立的隊伍將來的命運，李鴻章始終對淮軍嚴格治理，加大訓練強度，整頓軍中紀律。
訓練的內容主要有陣法操練和紮築營盤。淮軍每天在營房四周做防禦工程，築高牆，挖深溝。他們築的牆高八尺，厚一丈，用土塊和草袋壘在外面，裡面是實土。牆上還有四尺高的子牆，上面有槍眼，士兵就守在子牆上面。牆外修了壕溝，配合絆馬樁、梅花坑、鐵蒺藜等障礙物。此外，淮軍還有嚴格的體能訓練，例如要求士兵能跳上一丈高的房屋，越過一丈寬的壕溝，拋火球要二十丈遠，腿綁沙袋一天要走一百里。
紀律整頓方面，每天中午晚上各點名一次，規定士兵不許擅自出營。絕不允許吸食鴉片。李鴻章還不斷設法鼓舞士氣，士兵的精神狀態良好，都盼著快點開戰，好試試身手。
李秀成率領十萬大軍對上海進行第二次圍攻時，上海的英法聯軍一再要求淮軍協同作戰，李鴻章對他們不予理會，要帶領淮軍進行獨立的戰鬥，一八六二年六月，上海流行瘟疫，太平軍很多人染上疾病，李秀成決定撤離上海。撤退之前，李秀成先圍攻虹橋的程學啟部。李鴻章帶領隊伍前去救援。
這是淮軍和太平軍雙方第一次交戰，當時李鴻章帶來的是樹字營、春字營等。春字營很快就抵擋不住往橋邊逃跑，李鴻章正坐在虹橋橋頭督戰。他一把抓住帶隊的張遇春對士兵下令道：拿刀來把他的頭砍了！張遇春只好又帶人往回衝。張遇春是李鴻章的舊部，是李鴻章十分信任的人。但在大敵當前的時候，李鴻章就毫不留情了。經過虹橋、北新涇、四江口三場戰役，李鴻章率領淮軍守住了上海，使得那些最初恥笑淮軍是「乞丐兵」的人開始對淮軍刮目相看。
立足之後，李鴻章開始整頓江蘇省的吏治，並多方延攬人才。李鴻章認為，江蘇和各省一樣，官場腐敗到極點，而上海尤為突出。
其特點是官吏不知禮義廉恥為何物。為了貪財撈錢，他們不惜媚外賣權，從中以飽私囊；為了滿足一己之私慾，他們相互勾結，巧取豪奪，置國法而不顧。主觀上李鴻章雖很想把江蘇一省尤其是上海的官場腐敗風氣扭轉過來，但在客觀上卻心有餘而力不足。因為他初到上海，強龍難鬥地頭蛇，但為了求得淮軍生存，他採取了「有選擇地加以懲治」的辦法，盡自己的能力對吏治進行了一番整頓。同時，李鴻章還起用了一批務實肯幹、能力出眾的人才，例如郭嵩燾、丁日昌等人。與此同時，李鴻章開始建立自己的幕府，幕府中很快召集了一大批各種各樣有能力的人才。其中有精通數學、天文、機器製造的科學家；有懂得會計、錢穀之事的經濟學人才；有熟悉兵法懂得計謀的軍事人才等等。李鴻章用人是從實際需要出發，而且能做到人盡其才，最大限度地發揮調動幕僚們的積極性和能力。李鴻章還善於發現人才，上海那個錢鼎銘，也被李鴻章收歸旗下，讓他為淮軍辦理營務。這些人被李鴻章聚集在一起，齊心協力做好江蘇的事情，做好淮軍的事情，做好李鴻章交辦的事情。
李鴻章做的另外一件大事，就是徵集軍餉。
曾國藩極力舉薦李鴻章援滬，除了單純的軍事和政治目的外，還存在著以上海稅收支助湘軍的打算。上海自五口通商以後，工商業在外國貨物的刺激之下日趨繁榮，海關洋稅的收入日漸增多，但仍入不敷出，與所需差距甚大。為了解決這個問題，李鴻章果斷採取了海關釐稅分收分用的政策。
李鴻章用關稅支付「常勝軍」、中外會防局和鎮江綠營的費用，用釐金承擔湘軍和淮軍的軍費。當時上海的釐金收取是全國最高的。釐金的稅額是按照商品價格的百分比收取，值百抽一，百分之一為一厘。李鴻章認為，從商人手中多收點錢，勝過從農民身上收稅。釐金的用途是「取之於民用之於民」，比從民間收稅更方便。在李鴻章的多方籌措下，釐金大筆地進入了湘軍和淮軍的銀庫，從而使得軍餉有專撥之款，更主動而有效地控制了餉源。不僅基本上解決了淮軍的餉需問題，還以大批金錢和物資支助了湘軍在西線戰場的作戰。
然而，曾國藩還不滿足，希望李鴻章能籌集更多的軍餉。李鴻章對於曾國藩的推舉一直心存感激，所以對於曾國藩交辦的事情盡心盡力地去做，並未因自己得勢就棄曾國藩而去。相反地，他比當幕僚的時候更加服從曾國藩，體現了顧全大局的一貫行為方式。在上海半年，李鴻章就為曾國藩籌集到軍餉九萬兩。此外，他還給曾氏兄弟送去大批武器，支持他們的軍需裝備。
當時，江蘇的吏治特別壞，其中以前江蘇布政使王有齡（時為浙江巡撫）為罪魁禍首。王有齡提拔的幾個幹部如蘇松太道吳熙、蘇州知府吳雲、蘇松糧道楊坊等都是貪污腐化分子。做了一番深入調查之後，李鴻章開始採取行動。他讓吳熙管理關稅，以前歸吳熙管理的釐金改由幕僚薛書常管理。接著要求吳熙要做出明確的賬目定期匯報，吳熙只好開始做假賬，以求矇混過關。
有一天，李鴻章喝酒之後，來到吳熙家中。對吳熙說：有人說你賬目不清，現在總理衙門正要查你呢。你告訴我實話，你的賬目有沒有問題？如果你真有問題，那我想辦法幫你找人疏通一下。吳熙看李鴻章喝多了，於是心裡沒有任何懷疑，拿出賬本交給李鴻章說，你看看吧。李鴻章看了一會兒說，我今天喝酒喝得頭疼，看不清楚。我回去好好幫你看看賬面怎麼樣？吳熙就這樣把自己的罪證交給了李鴻章。李鴻章回去後，馬上找了幾個精通會計的幕僚仔細審核，發現了賬目中的很多問題。第二天，李鴻章就輕易地收拾了吳熙，改派黃芳和劉郇膏掌管海關和布政使司。劉郇膏以前在上海當縣令的時候的聲譽較好，被百姓稱為「劉青天」。他還是李鴻章的同年，李鴻章對他比較瞭解。楊坊看到李鴻章收拾了吳熙，嚇得主動辭去了蘇松糧道的職務。李鴻章把這個職務交給了自己的老同學郭嵩燾。
雖然李鴻章使用一些被他稱為「君子」的人管理財政機構，但是出於策略上的需要，他還任用了一些例如金鴻保這樣聲名狼藉的人物幫他做事，因為金鴻保同地方上的各種要人都有廣泛的關係。李鴻章需要利用這些關係維持和壯大自己在江蘇地區的勢力。此時，作為地方行政最高長官，李鴻章注意到了一個問題，就是地方經濟建設的問題。由於連年戰爭，百姓生活窮困，還有大批無家可歸的流民。李鴻章首先在戰後地區恢復農業經濟，減免田賦，還給農民發放耕牛和種子，給饑民發放米錢。在未直接受到戰爭影響的地區，向地主官紳收取新稅，用這些稅金補貼對農業費用的開支。
李鴻章還向朝廷提出舉措，指出大戶和小戶之間的稅率差別一定要改正，建議取消對大戶的一些優惠政策。李鴻章在財政管理上一直傾向於從商人、地主、豪紳的手中獲取