一八五八年七月，太平軍再度佔領合肥城，李鴻章帶著老母及妻小一路倉皇往北逃竄，剛剛出來辦團練幾年就遭遇了這樣的慘痛，不僅父親死在戰場，而且老家也被太平軍燒得精光，李鴻章感到前途渺茫。父親死了，京城已經沒有了安身之所了。這時候他又想起了老師曾國藩，先前在合肥的時候，他就曾託人帶話給老師，表示希望繼續投靠在老師的麾下。對於李鴻章的請求，曾國藩當然表示歡迎。這年年底，李鴻章來到江西建昌，正式投靠到曾國藩的幕府。對於李鴻章來說，曾國藩算得上是一棵真正的大樹。曾國藩經過五年的努力，建立了一支與清軍不同的新型部隊——湘軍，麾下網羅了大批軍事將領和形形色色的幕僚，這支部隊在清末實際成了朝廷上的一根「救命草」。
而曾國藩的學問、才能、魄力和意志，都是李鴻章在安徽碰到的那些官員所無法比擬的。幕府中那些幕僚包括政治、軍事、經濟、洋務、工程技術等各方面最優秀的人才，李鴻章能置身於這麼好的環境之中，對於自身成長自然是極其有益的。曾國藩對李鴻章這個學生也十分看重，十幾年前，他曾經指導李鴻章經世之學及科舉考試之學，後李鴻章果然不負期望，順利考中進士。
所以這次李鴻章到來，曾國藩著意要對他進行進一步的培養，因為畢竟時世不同了，現在要緊的不是寫文章做學問了，他要培養李鴻章在政治、軍事等多方面的素養，甚至想要培養他作為自己今後的接班人。
在功名利祿問題上，曾國藩教導李鴻章不能急功近利，要有耐性，等待時機。有一次，曾國藩派李鴻章協助曾國荃到景德鎮去增援湘軍老營，李鴻章一看還是跟在別人後面湊熱鬧，心裡就不痛快。曾國藩語重心長地對他說：「少荃啊，你現在初來乍到，許多東西還需要好好學習，就算讓你獨當一面你能承擔得起這個任務嗎？是金子總會發光的，但要學會忍耐啊。」隨後還把自己的一部「秘傳心法」——《挺經》傳授給了李鴻章。
當然，曾國藩也慢慢地讓李鴻章獨立完成一些小的實踐任務。另外，他還讓李鴻章參與幕府的機要活動，使李鴻章能有機會接觸一些軍機、參與一些決策，這對於李鴻章的快速成長當然是極其重要的。
最重要的是培養擔綱挑梁的能力了，因為要作為曾國藩的衣缽傳人，必須進行全面的素質培養，具備把握全局戰略的能力。
咸豐十年八月，英法聯軍攻佔了天津，矛頭直逼京城，咸豐帝慌忙向熱河逃跑，同時命令湘軍猛將鮑超率部北上救援。接到命令之後，曾國藩召集幕僚開會，就是否應該北上勤王展開了討論。
大家七嘴八舌，各抒己見，有的主張北上，有的則說北上無益，互不相讓。這時李鴻章發言了：「聯軍雖然來勢洶洶，揚言要進攻京城，我看那是說大話嚇人，京城就那麼容易被攻佔的嗎？他們不過是想訛詐點金銀財寶罷了。我們這邊的軍隊正在跟太平軍及捻軍交戰，哪能抽出主力到北方去呢，一旦太平軍趁勢捲土重來，後果不堪設想。我看還是寫一個請示，說明情況，再請皇上定奪為好。」
曾國藩一聽李鴻章言之有理，非常高興，採納了李鴻章的建議。果然，不久便接到了清政府與聯軍議和的通知，叫不用北上救援了。這印證了李鴻章的判斷，說明此時的李鴻章已經具備了掌控全局的思維能力。
經過幾年的學習培養，李鴻章各方面能力得到了全面的提高，已經不再是先前的莽撞青年了。同時，對老師曾國藩也更加佩服了，以後凡是他對人說起曾國藩時，開口必稱「我老師」，恭敬如神聖。