咸豐二年（一八五二年）六月十二日，曾國藩在焦急不安中被欽命充江西鄉試正考官，奏准回籍探親。曾國藩選擇了六月二十四日這天出京，李鴻章當天起得很早，專程把老師送到盧溝橋。
李鴻章在盧溝橋送別老師曾國藩以後，不消半年，太平天國革命烈火便迅猛地燒向北方，太平軍捨棄久攻不下的長沙，出洞庭，佔岳州，順江而東，攻打武昌。翰林院表面上依然那麼沉靜悠閒，然而翰林們畢竟也沉不住氣了，無心再編史撰文，見了面都不免議論起戰事來。
這天，李鴻章正憂鬱地背了手獨自站在窗前仰天沉思戰局，同屋的翰林檢討湖北鄧文恭忽然慌慌張張從外面走了進來，說道：「武昌失守了。湖北巡撫常大淳和滿城藩台、臬台司道都已殉難。」
李鴻章沒想到太平軍的氣勢如此洶湧，他已無心處理公務，背了手在室中來回蹀躞沉吟，腦中思緒很亂，朝廷所派督師大臣賽尚阿大學士已因作戰失利，被革職拿問，廣西提督向榮所帶綠營官兵也攔不住太平軍這頭猛虎。天寒地凍，洪秀全也許會在武昌度歲，若是過了年從武昌順江而下，計算水程，不出十日，便可危及安慶。「明年正月安徽要遭大難了。」李鴻章憂慮地喃喃嘆息。
一八五三年三月，太平軍大舉進入安徽。還是二月下旬的一天早晨，李鴻章吃完飯在琉璃廠閒逛，偶遇一位安徽同鄉。從他口中得知，省城安慶已陷，撫台蔣文慶已然斃命，家鄉很快就要被太平軍全部佔領了。情急之下，李鴻章逕直來到了呂賢基的家。
呂賢基也算是李鴻章的老鄉，字鶴田，安徽旌德人，先時任職於翰林院，以編修轉御史，旋任工部右侍郎，兼署刑部左侍郎。李鴻章為翰林院編修時，時常為呂氏捉刀為文。一見面，李鴻章就痛陳剛剛得到的全部情況，並建議呂趕快請求清政府迅速發兵救皖。呂賢基隨口說道：「還是由你來寫，我負責上呈就是。」
李鴻章回到翰苑立即寫了一個奏摺，連夜差人送呈呂賢基。第二天，咸豐帝詔諭呂賢基從籍，與皖撫負責辦理團練防剿事宜。呂賢基無奈，只好奏請朝廷讓李鴻章和自己一起回籍，說是他熟悉鄉情。下朝歸來，他對等候他的李鴻章直言說：「你讓我上奏是害我，皇上讓我去安徽幫辦團練；我也害你，我上奏請求你和我一同去安徽。」不過，說到底，呂賢基之所以選中李鴻章，還是因為他知曉李鴻章有才華，可以助自己一臂之力。朝廷很快應准呂賢基的請求。不久，李鴻章即跟隨呂賢基回到家鄉，開始了戎馬生涯。
李鴻章本是書生出身，原本對團練之類的武事不感興趣。可是皇命在身，別無選擇。回到安徽之後，李鴻章首先面對的是安徽錯綜複雜的人際關係。官宦之間的傾軋和爭鬥，讓一直在墨香書冊和學問堆裡浸泡多年的李鴻章有了很多新的體會和教訓。更讓李鴻章苦惱的是，組織團練指揮戰役，這些都是未曾接觸過的新事。雖然古代有不少投筆從戎成為一代名將的先例，但是李鴻章從來沒有想過自己也會成為這樣一個「以儒生而起家軍旅」的典範。
李鴻章認為，辦理團練防剿工作是暫時的，只是迫於大清國的目前局勢而已，等到內患消除，國家安定，自己還是要回到京城的廟堂中去的。但是，如果不能勝任目前的工作，那麼自己能否回到京城將是一個未知數。李鴻章對於目前究竟怎麼工作，怎麼實施戰略計劃，心裡是一片空白。再則，李鴻章手中一無權、二無兵、三無餉，連究竟如何著手，也是一片茫然。儘管如此，李鴻章心中仍然充滿了報效朝廷和保衛家鄉的熱望。
安徽也同江南其他某些階級鬥爭激烈的省區一樣，地主士紳紛紛舉辦團練，站到反對農民鬥爭的最前線。其中兇悍著名的有：桐城馬三俊，廬江吳廷香、吳長慶（字筱軒，世襲雲騎尉出身）父子，合肥張樹聲（字振軒，廩生）和張樹珊（字海珂）兄弟、周盛波（字海舲）和周盛傳（字薪如）兄弟、劉銘傳（字省三）、潘鼎新（字琴軒，舉人）、解光亮、李鶴章等人。據說「廬郡團練整齊」，同遠在京師的李文安有著密切關係。他基於階級本能，「寄信回里，勸諭鄉人先為恩患預防之計」。團練頭子們築圩練兵，自稱圩主，所謂「寇至則相助，寇去則相攻」，有的「藉團練之名，擅作威福，甚至草菅人民，搶奪民財，焚掠村莊，無異土匪」。
抵達廬州的李鴻章，面對這樣內外交訌的局面，內心的震動是可想而知的。他雖然血氣方剛，有意大顯身手，力挽狂瀾，但怎奈自己無權、無兵、無餉，又係儒生從戎，對軍事一竅不通，因而展望前途，憂心忡忡。
當時安徽政局上有三個重要人物：巡撫李嘉端，幫辦團練的兵部侍郎周天爵，還有一個就是呂賢基。
李鴻章首先在周天爵處入幕。入幕是清朝當時的一個重要的官場現象。一般有地位的官僚，手中都要培養幕僚，即所謂養士。一般有學問有才幹的人都有過當幕僚的經歷。幕僚既是官僚的學生，也是官僚的得力助手，也就是我們今天說的「智囊團」。很多有才學的青年通過入幕的機會，對官場政治會有很深入的瞭解，同時，也在一些具體事務的操辦中鍛煉了自己的能力。所以說，入幕與養士是一件對雙方都有利的事情，這也是中國的幕僚制度能夠久盛不衰的緣故。
在周天爵處，消滅捻軍是李鴻章的主要任務。捻軍，原稱捻黨，起於清朝初年，由淮河兩岸的窮苦老百姓組成的反抗壓迫的結社。後來逐漸發展到山東、河南、蘇北等地。捻軍的成員複雜，有農民、漁夫、手工業者、船夫、饑民等等。他們最早做的事情就是抗糧、抗差、吃大戶、劫富濟貧。活動的時候，數十人或者數百人為一「捻」，各部自號為捻，各不相同。首領被稱為「捻頭」。本來捻黨主要進行的是經濟方面的鬥爭，並沒有明確的政治綱領。但是，隨著太平天國的壯大，安徽、河南等地的群眾紛紛結捻響應，捻黨逐漸發展成為捻軍，規模和組織日益嚴密。所以消滅捻軍也成為清政府迫在眉睫的一件大事。
李鴻章跟隨周天爵參加了兩次較大的消滅捻軍的戰役。一次是鎮壓定遠陸遐齡起義。
陸遐齡（約一八○三—一八五三年）是定遠縣荒陂橋旗桿村（現屬長豐縣沛河鄉）人，為地主家庭出身的武秀才，因受到某個案件株連被關押在安慶監獄。一八五三年二月，太平軍首克安慶，把他從監獄中拯救出來，並派他返回定遠組織群眾起兵響應。約在三月上旬，陸在家鄉造反，豎立「隨天大王」等旗，聚眾萬餘，打擊土豪，抗擊清軍。據時人記載：定遠知縣督兵進犯，「兩戰兩敗」，而城內團練，更「事同兒戲」，甚至公然乘機漁利，「有用竹槍一支，開支公項八百文者」。是時，合肥夏村夏金書聯絡陸遐齡「約期大舉」，南北呼應。李鶴章聞訊，立即率領團練百餘人前往圍捅，殺害金書父子，解散千餘，「增立東北鄉團防」，堵塞了陸遐齡南下的通路。接著李鴻章、李鶴章督團隨同周天爵在定遠荒陂橋、壽州東鄉等地擊敗陸遐齡起義軍。四月中旬，周天爵誘捕並殺害了陸遐齡父子。周天爵奏獎李鶴章六品銜。
另一次是鎮壓活躍於潁州、蒙城、亳州交界處的陳學曾、紀黑壯起義。據記載：
（咸豐三年三月）有巨捻陳學曾、紀黑壯等嘯聚潁州之王市集，官軍節次被挫，周天爵率編修李鴻章督團堵剿。五月初，安徽巡撫李嘉端行抵廬州，不久即將李鴻章從周天爵處調來，協辦團練。這位新任皖撫把「靖內變而禦外侮」作為首要任務。周天爵把鎮壓境內以捻軍為主體的群眾鬥爭叫做「靖內變」。把堵截太平軍進入安徽叫做「禦外侮」。其實，本地的造反群眾已經搞得他們顧此失彼，疲於奔命，哪還有什麼力量阻止太平軍破門而入呢？就在李嘉端行抵廬州不久，太平天國先後派兵大舉北伐和西征，而安徽則首當其衝。率先挺進安徽的，是以林鳳祥、李開芳為首的北伐軍。五月十日，北伐軍佔領滁州，十八日，北伐軍攻克臨淮關，直逼鳳陽。面對北伐軍的凌厲攻勢，李嘉端等膽戰心驚，寢食難安，哀嘆：「現在鳳陽以南均無重兵，各城團練亦單，一無足恃。」因而一面籲請咸豐速調江西、湖北官兵趕赴廬州救應，「並堵賊回竄之路」；一面表示要「號召兵勇親援鳳陽」。他令候補直隸州知州李登洲帶勇三百先行，繼令戶部主事王正誼於梁園鎮會合李鴻章，「號召練勇，勸借軍餉」，他隨後帶兵二百餘名陸續進發。五月二十八日，北伐軍一舉攻下鳳陽。剛剛帶勇進至定遠、鳳陽交界的李登洲，忽聞鳳陽失守，手下「民夫盡逃」，又怕所帶合肥鄉勇「思歸驟散」，於是率部慌忙退卻。李嘉端「一籌莫展，五內如焚」，踟躕於護城驛。他雖然沒有勇氣率兵直逼鳳陽，但又「不能不虛張聲勢」。他令王正誼、李鴻章「分諭各團首，自店埠至麻布橋排日點驗練勇，使槍炮之聲聯絡不絕。」只是由於北伐軍繼續北上，並沒有揮師南下，李嘉端、李鴻章才得以逃脫滅頂之災。
隨後，安徽巡撫李嘉端開始指派李鴻章獨立指揮軍事。一八五三年六月，李鴻章手下已經擁有兵勇一千人。這些人都是李鴻章從地方團練和其他部隊徵集來的。八月