李鴻章一怒之下憤然離開曾國藩幕府，回到南昌他哥哥家中閒住了一年之久。此事使曾國藩大為惱火，認為李鴻章不明大義，不達事理，在自己困難時藉故離去，得出「此君難與共患難」之結論。此事也使李鴻章憤怒異常，他對人說自己原認為曾國藩為豪傑之士，能容納不同意見、各種人物，「今乃知非也」。
李鴻章回到老家之後，因為局勢惡劣，他發現自己竟然走投無路了。他想去福建補缺，可是他在福建的朋友沈葆楨勸他不要去，說福建政事「糜爛」。李鴻章走後，曾、李二人並沒有中斷友情，仍有書信往來。胡林翼在二人之間做了很多調解的工作。而且，曾國藩切實地感到身邊少了李鴻章，猶如少了左膀右臂，不禁又想起李鴻章的種種好處來。特別是祁門果然遇到了大麻煩。太平軍佔領徽州之後，忠王李秀成直逼祁門。曾國藩猶如甕中之鱉，他寫好了遺書，準備一死了之。所幸李秀成沒有進攻祁門，曾國藩才倖免於難，所部也不得不撤離祁門。此外，身為曾、李二人好友的郭嵩燾聞知李鴻章出走，給李鴻章寫信說：當今之下，能依靠個人力量崛起是非常艱難的，只有依靠可以信賴的人。你應當心胸寬闊，以功名為重，還是重新回到曾國藩身邊為好。
李鴻章本來就很後悔自己的負氣行為，看到好友如此勸說，不覺感嘆郭嵩燾的遠見卓識。在李鴻章成為顯赫的大人物之後，唯有和郭嵩燾之間的友情最是真正的「君子之交」。郭嵩燾沒有派系成見，獨往獨來，眼光深遠，「能言他人所不能、所不敢、所不知之言」。一身兼具新學和舊學的兩大本領，卻長期背負著「獨醒之累」，猶如楚大夫屈原，很難得到世人的理解和認識，是一個孤獨的前行者。
此時，曾國藩也給李鴻章寫信，懇切邀請他回來。一八六一年七月，李鴻章又回到曾國藩的大營，二人又開始了密切的合作。
從此以後，李鴻章忠心師事曾國藩，在老師的言傳身教下，在個人修養及政治上都得到了曾國藩的著意栽培和極盡薰陶。