李元度幕僚出身，繼而才領兵打仗，況且他與曾國藩還是患難知交，當初曾國藩困頓於江西時，能夠始終不渝地追隨在曾國藩左右的，除了彭玉麟，就只有李元度。曾國藩說彈劾就彈劾，往小了說是處理有些過分，往大了說是傷了其他幕友的感情——有哪個幕友敢說自己能做到比李元度更好呢，曾國藩如此對待李元度，讓其他人情何以堪？
一群幕僚都自動站出來，反對曾國藩參劾李元度，其中尤以李鴻章的情緒最為激烈。曾國藩的奏疏多由李鴻章擬稿，他便拿這個示威：「老師若一定要奏劾，門生不敢擬稿！」
在曾國藩看來，私歸私，公歸公，即便李元度過去有恩於他，但個人的情誼不能代替其犯下的過錯，諸葛亮尚且揮淚斬馬謖，他能這麼輕描淡寫地將李元度放過去嗎？李鴻章指責他不近人情，他反過來也覺得李鴻章不可理喻，所以毫不相讓：「那我自己擬稿好了。」
李鴻章畢竟年輕，給老師一激，竟脫口而出：「要是這樣的話，門生也將告辭，不能留在大營了。」雙方都在氣頭上，誰都沒打算給對方留面子，曾國藩馬上答道：「聽君之便。」
見曾國藩不為所動，李鴻章真的收拾行裝，離開了祁門。幾天後，李鴻章入幕的介紹人陳鼐再次進言，勸曾國藩就是要彈劾李元度，也不宜太重。曾國藩此時怒氣略消，於是刪掉了奏劾中最嚴厲的幾句話，未再強調棄城先逃等情節，只說李元度剛愎自用，不聽調度，提出的處分意見是「請旨將李元度革職拿問，以示懲儆」。
在外逗留了大半個月的李元度終於回到了祁門，但是面對曾國藩的斥責，他依舊很不服氣，首先做的不是積極檢討自己，而是向糧台索要欠餉。
雖然幕僚文人們多為李元度打抱不平，然而軍隊中是很實際的，打了敗仗就是打了敗仗，更何況徽州潰敗不僅令湘軍損失慘重，而且還危及了整個戰局，在這種情況下，沒人覺得主將值得同情和原諒。
有好事者寫下一副對聯：「士不忘喪其元，公胡為改其度。」它的表面意思是說勇士不怕掉腦袋，你為什麼在關鍵時候不能堅持你的氣節呢？對聯之上還有一個橫批「道旁苦李」。它出自南朝王戎的一個典故，說王戎從小就非常聰明，七歲的時候和小夥伴一道外出遊玩，看到路邊有幾株結滿李子的李樹。其他小夥伴都興高采烈地爬到樹上去摘李子，唯王戎站著不動，別人問他為什麼不摘，他回答說李樹長在道旁，結的李子又這麼多，可是卻沒有人摘，只能說明一個事實，那就是李子一定是苦的。眾人一嘗，果然如此。
湘軍的好多軍官原先都是書生，文化程度不低於幕僚。他們寫的其實是一副嵌字聯，橫批的最後一個字為「李」，兩句對聯聯尾兩個字分別是「元」和「度」，合起來就是「李元度」，譏諷意味非常明顯。
李元度一看就懂，他忍受不了，就向曾國藩提出要請一天假。曾國藩回覆說：你已是奉旨拿問之人，我不得做主，你要留還是走，悉聽尊便。
「悉聽尊便」和曾國藩對李鴻章所說的「聽君之便」一樣，都不是肺腑之言，實際上他是告訴李元度，你要在大營聽候處理，不能擅自離開。
誰知李元度卻以為曾國藩已允許他離開大營，於是在留下一封信後就回湖南去了。及至曾國藩接到上諭「李元度不能堅守待援，著即革職拿問」時，李元度已回到了老家平江。
對照上諭，革職是肯定的，實際李元度在湘軍中也早已失去了指揮權，但拿問就未必了。曾國藩再怎麼表現得大公無私，礙於和李元度的舊日情誼以及幕僚們的勸說，也不會真把李元度怎樣，無非是藉此給其一個警告和教訓而已，可是李元度卻反過來將了他一軍，讓他很是被動和難堪。
儘管如此，曾國藩對李元度的擅自回鄉仍採取了不聞不問的態度，從內心來說，他是希望李元度能在換個環境之後閉門思過，好好反省一下自己，這樣再出來做事才不至於重複釀成大錯。只是他沒想到對方「思」是「思」了，但是思考的角度和內容與他想像的完全不同，後來還因此把兩人的友誼推向了決裂的邊緣。