最早回籍辦團練的呂賢基、李鴻章父子都來自於皖中的士族家庭。李鴻章自隨呂賢基回籍，一直到他後來投奔曾國藩，皖中民團與太平軍的對抗始終沒有終止。通過實戰鍛煉，團練頭目們提高了軍事才能，增長了膽識，其中，廬州人張樹聲築數十寨自衛，連太平軍都不敢接近，是皖中勢力最大的民團之一。曾國藩通過李鴻章得知張樹聲的事迹後，大加讚許：「獨立江北，今之祖生（祖生即東晉名將祖逖）！」
雖然如此，這些民團卻都難成氣候，原因是他們喜歡互爭雄長，快意恩仇，通常情況下都是太平軍來攻了還能互為聲援，太平軍一走，彼此之間便打成一團。比如，廬州有一個以解先亮為首的團練，解先亮的部下葉志超身材魁梧，膂力過人，每次打仗都勇冠全軍，很受解先亮的重用。葉志超有一天在路上看到一個長得很漂亮的姑娘，眼珠子頓時就不會轉了。解先亮看在眼裡，便對他說：「你下次作戰要是能夠再次取勝，我就把她送給你。」
葉志超依言打了勝仗，解先亮果然說到做到，把葉志超心儀的那位姑娘搶來送給了他。後來才知道，這位姑娘竟然是張樹聲的表妹。即便這樣，解先亮、葉志超也沒把張樹聲當回事，更沒去向其賠禮道歉，只是相互之間從此不來往而已，反正一句話，大家都憑實力在江湖上生存，你能吃得了我就吃，吃不了就相互提防著。
由於團練頭目們互不服氣，無法自行團結成整體，因此就需要一個地位高、聲望隆，各方非但對他沒有私怨，還有好感的人來一體統攝。李氏為皖北望族，李家與團練頭目們有著較深的淵源，有的論交情甚至可以追溯到上一代，李鴻章本人既是高官，又被大名鼎鼎的湘軍統帥曾國藩所倚重，他自然而然就成為了團結眾人的合適人選。事實上，在湘軍攻下安慶後，頭目們就不斷與李鴻章聯繫，希冀著能夠通過他與湘軍掛上鉤。
李鴻章從前曾隨父親在廬州辦過團練，但追隨他的那些人早已星散。眼看援滬事宜箭在弦上，重起爐灶已不可能，他便決定走捷徑，對皖中的舊有團練進行羅致和改編。
想好辦法之後，李鴻章沒有返回故里，而是坐鎮安慶，通過派人傳達或通信的方式，與團練頭目們進行聯絡。皖中一帶早就已經形成了以李鴻章為群體中心的趨勢，李鴻章奉命募勇的消息一出，張樹聲、潘鼎新、劉銘傳、吳長慶四位頭目馬上聞風而動，率所部團勇前來安慶。當然也有例外，解先亮原先是個不識字的農民，不願意離鄉外出作戰，正好吳長慶的手下兵勇不多，解先亮就把包括葉志超在內的部屬交給了吳長慶。
經過兩個多月的籌備，淮勇陸續抵達安慶北門城外並在城外進行駐紮。這批淮勇共有三千五百人，根據淮勇實力單薄的實際情況和李鴻章本人的請求，曾國藩從湘軍中陸續撥出三千人歸其統一節制。這三千人裡面，有一千人是曾國藩的親兵，一千人是曾國荃的舊部，均為湘軍中最精銳的部隊。
1862年3月4日，在李鴻章的陪同下，曾國藩對各營進行檢閱，這標誌著淮軍的正式建成。
初建時的淮軍，共計十三個營，其中只有張、潘、劉、吳四營是純粹的淮勇，另外三個營雖然營官和弁勇也都是安徽人，但原先都是湘軍舊部。除此之外，各營官兵皆為清一色的湖南人，且他們中的大多數人已跟隨曾國藩多年。在軍制上，淮軍的營制、營規、餉章也都沿襲於湘軍，沒有變化。也就是說，這時候的淮軍仍然只是湘軍的一個分支，與過去胡林翼手下的鄂軍相比，並無多大差異。
3月19日，上海會防局提供的八萬軍餉解至安慶。對於湘軍而言，這是多年來少見的一筆巨款，既足證了上海的財力，又進一步顯示出官紳們求援的誠意及其急迫心情。看到軍餉，壓在曾國藩心頭的一塊石頭也落了地，他在日記中直言：「少荃（李鴻章）啟行的軍費有著落了，真是快慰之至。」
此時江蘇範圍內能作為據點的，僅上海、鎮江兩個城市。鎮江守將是江南大營時期的綠營將領馮子材，馮部一直處於孤城被困的境地。指揮江北清軍的都興阿曾派兵救援，但沒有能夠取得成功。朝廷認為鎮江乃南北樞紐，務必確保，所以諭令曾國藩速催李鴻章率水陸軍前往應援。
以前胡林翼也覺得鎮江比上海更重要，他和曾國藩商量，準備一旦進兵江蘇，即留駐鎮江，並保舉李鴻章、李瀚章兄弟中的一人為兩淮鹽運使，以便用徵收的鹽稅為湘軍提供軍餉。
根據朝廷的諭令及與胡林翼商量的結果，曾國藩初步計畫以黃翼升指揮的淮揚水師搭配淮軍，組成水陸萬餘人的東援大軍，其中淮軍由陸路進兵，經巢湖、含山一帶前往鎮江。
陸路行軍路線長達千里，首先遇到的困難是糧餉難以接濟，李鴻章就叫苦說：「江北遍地瘡痍，人煙寥落，辦米、辦夫、餉運維艱。」其次，從安慶到上海，沿途多半是太平天國控制區，淮軍要穿越其防線，艱難程度可想而知，很有可能部隊還沒到鎮江，就遭到太平軍的截擊甚至被其消滅。
退一步說，即便淮軍能夠順利到達鎮江，由於上海正處於太平軍的包圍之中，由鎮江開往上海也不容易。上海會防局正是看到了這一點，所以連忙籌措十八萬兩運費，僱傭英商的七艘輪船，用來將淮軍分三批運往上海。
李鴻章與曾國藩經過商議，決定順應上海紳民之請，「由水路東下，直赴上海」。