從成功翦除魚朝恩的那一天起，元載就開始得意忘形了。他經常在大庭廣眾中口出狂言，稱自己文可安邦，武可定國，腹有經綸，胸懷韜略，古往今來，無人可及！
每當這種時候，聽眾就會陣陣反胃、噁心不已，可元載卻總是洋洋得意、樂此不疲。
沒有人會否認，元載這個人確實有才；可與此同時，滿朝文武也沒有人不知道——元載這傢伙無德！帝國朝政一旦被這樣一個有才無德的人把持，其結果也就可想而知了。
史稱魚朝恩死後，元載「弄權舞智，政以賄成，僭侈無度」，其小人得志的醜惡嘴臉比魚朝恩有過之而無不及！
在這種人的手底下幹活，正直的人肯定沒什麼好果子吃。當時，有個叫楊綰的吏部侍郎，為人正直，性情耿介，從不依附元載，而且在遴選官員時總是堅持公平公正的原則，這對「政以賄成」、賣官鬻爵的元載自然是一大阻礙。元載視其為眼中釘肉中刺，總想找機會把他拿掉。
大曆五年三月底，一個叫徐浩的嶺南節度使盯上了吏部侍郎這個肥缺，遂「傾盡南方珍貨」賄賂元載。據說這個徐浩在地方上聲名極臭，以「貪而佞」著稱，可元載才不管他臭不臭，他唯獨關心的就是一車一車拉到他府上的那些「南方珍貨」。幾天後，元載就把楊綰調到了清水衙門國子監，讓他擔任國子祭酒，同時把徐浩調入朝中，取代楊綰成為新的吏部侍郎。
毫無疑問，這種只會花錢買官的爛人一旦掌握了中央的人事大權，以後想要升職或補缺的所有帝國官員肯定都要被「雁過拔毛」了；而被「拔毛」的官員到了任上，也肯定要千方百計從老百姓身上加倍搜刮回來。所以，無論什麼時代，「買官賣官」與「官員腐敗」必定是一對孿生子，有其一必有其二！
對於元載的所作所為，代宗李豫當然不會不知道。可元載畢竟當了好幾年的宰相了，經驗豐富，能力突出，而且又有誅除魚朝恩之功，所以代宗還是不捨得拿掉他。
大曆五年年底，代宗找了個機會單獨召見元載，對他進行了一番深刻的批評教育，希望他能有所收斂，不要重蹈魚朝恩之覆轍。
然而，元載卻把代宗苦口婆心的勸導當成了耳旁風，仍舊我行我素，毫無半點悔悟的跡象。
通過大半年的等待和觀察，代宗終於失去耐心、徹底失望了。
沒想到這傢伙跟魚朝恩完全是一個德性、一路貨色！
隨後，代宗不得不開始考慮收回元載手中的權柄。
然而，代宗也很清楚，這個事情急不得，只能一步一步來。因為元載久任宰相，朝中黨羽眾多，比如宰相王縉、京兆尹杜濟、吏部侍郎徐浩、薛邕等人都是他的死黨，其他還有很多公卿大臣也惟其馬首是瞻。在此情況下，要想從朝廷的文武百官中找到一個真正忠於朝廷、而且有能力對付元載的人，還真不是件容易的事。
大曆六年（公元771年）八月，代宗經過一番謹慎的考察，終於把目光鎖定在一個地方官員身上。
此人名叫李棲筠，時任浙西觀察使。
為了避免元載等人的阻撓，代宗索性繞開中書省，直接頒布了一道詔令，召李棲筠回朝擔任御史大夫。
代宗交給李棲筠的主要任務就是——尋找元載等人貪贓枉法、營私舞弊的證據，然後發起彈劾。
大曆八年（公元773年）三月，李棲筠不負代宗所望，果然找到了一個突破口。
這個突破口就是從那個花錢買官的吏部侍郎徐浩身上找到的。
徐浩有一個小舅子，姓侯莫陳（三字姓），原任美原（今陝西富平縣）縣尉。徐浩想把他搞到京師來，就讓京兆尹杜濟捏造了一份政績，聲稱侯莫陳在主管驛站驛馬的工作中表現優異，成績突出，特此向朝廷推薦。然後，徐浩又讓他的同僚、吏部侍郎薛邕出面，將侯莫陳調任長安縣尉。
依照規定，長安縣尉赴任前必須先到御史台報到。結果侯莫陳一到御史台，李棲筠就不由分說地把他扣下了。
本來這也算不上多大的事，但是李棲筠自從到任之後，就一直睜大眼睛在找元載一黨的毛病，如今侯莫陳自己撞上門來，李棲筠當然不會輕易放過。他稍微一調查，侯莫陳偽造政績的行跡就敗露了。李棲筠當即發起彈劾，把奏章遞到了代宗手上。
代宗即命禮部侍郎於邵負責審理此案。
這個於邵也是元載的黨羽，他壓根沒有意識到代宗就是想利用侯莫陳的案子引蛇出洞的，於是還傻乎乎地替侯莫陳辯解，聲稱此人雖然政績造假，但他造假的時間卻是在去年的大赦之前（大曆七年五月，代宗朝廷曾有過一次大赦），既然「罪在赦前」，自然不該受到處罰。
代宗一聽，頓時勃然大怒。
好你個於邵，如此牽強的借口你也想得出來？也好，既然你們都是一夥的，那朕就把你們這幫狐朋狗黨一鍋端了！
是年五月，代宗斷然下詔，將徐浩貶為明州別駕，薛邕貶為歙州刺史，杜濟貶為杭州刺史，於邵貶為桂州長史，一下子把元載一黨的四個核心成員逐出了朝廷。
自此，元載的勢力得到了一定程度的削弱，朝廷的風氣也終於有所好轉。
但是，這只是代宗收拾元載的第一步而已。
他真正想要的，是元載的命！
大曆九年（公元774年），河北爆發了田承嗣之亂，代宗忙於平叛，無暇顧及朝廷內部鬥爭。一直到大曆十二年（公元777年），河北好不容易塵埃落定，代宗才終於得以騰出手來對付元載。
這幾年來，元載、王縉一黨不僅沒有因「侯莫陳案」而有所醒悟，反而在結黨營私、貪贓枉法的道路上越走越遠，連他們的家人、幕僚、手下低級官吏，甚至是出入他們家中的尼姑，也全部加入了招權納賄的行列。史稱，「載妻王氏及子伯和、仲武，縉弟、妹及尼出入者，爭納賄賂。又以政事委群吏，士之求進者，不結其子弟及主書（幕僚）卓英倩等，無由自達……」（《資治通鑒》卷二二五）
是可忍，孰不可忍！
是到採取行動的時候了。
當然，代宗是一貫小心謹慎的。由於不知道自己身邊是否安插了元載的耳目，所以代宗從來不敢跟左右提起誅除元載的計畫。滿朝文武中，他也唯獨只敢跟自己的母舅、時任左金吾大將軍的吳湊商議。
這年三月末的一天，元載和王縉在夜晚設壇，請了一幫道士齋醮做法，具體在幹些什麼沒人知道。可第二天一早，馬上有人向代宗密報，說元載和王縉設壇齋醮，圖謀不軌。雖然史書沒有明載告密者的身份，但是我們不難推測——這個人很可能是代宗安插在元載身邊的釘子。所以，不管元載和王縉設壇做法想幹什麼，他們這一回是在劫難逃了。
代宗立刻下令吳湊帶兵進入中書省，逮捕了正在政事堂辦公的元載和王縉，隨後又逮捕了元載的兒子元仲武、幕僚卓英倩等人，最後命吏部尚書劉晏和御史大夫李涵組成合議庭，共同審理此案。
代宗雖然把案子交給了劉晏和李涵，但實際上「問端皆出禁中」，亦即調查重點和調查方向都是由皇帝欽定的。換句話說，這個案子的主審官其實就是代宗李豫本人。
既然天子親自上陣，元載和王縉自然是渾身長嘴也講不清了，更何況本來就劣跡斑斑。所以，開審沒多久，元載和王縉就認罪伏法了。
但是，代宗的目標絕不僅僅是元、王二人。他要乘勝追擊，挖出他們在朝中的所有黨羽，將其一網打盡！
當天，左衛將軍兼宦官總管董秀就被查出與元載有牽連，隨即被亂棍打死。此外，吏部侍郎楊炎、諫議大夫韓洄、起居舍人韓會等十幾個朝元黨成員也先後被捕。
直到一切水落石出，代宗才下令將元載賜死於獄中。
接到賜死令後，元載萬般絕望地對獄吏說：「求你快點讓我死吧！」獄吏陰陰地答：「宰相大人，死很簡單，不過在你死之前，多少總要讓你受點委屈，請別見怪！」
說完，獄吏就脫下腳上的臭襪子，一把塞進了元載的嘴裡。
直到怒目圓睜的元載嘗夠了臭襪子的滋味，獄吏才揮起一刀，砍下了元載的腦袋。
古人經常說，士可殺不可辱。對古代的知識分子而言，最可怕的並不是死亡，而是受辱。在帝國政壇上跋扈多年的堂堂宰相元載，或許也曾意料到自己總有敗落的一天，但他絕不會想到，自己竟然會以吃臭襪子的屈辱方式死去。
元載死後，他的妻子王氏，兒子元伯和、元仲武、元季能也同日被殺，家產全部抄沒。幕僚卓英倩等人被關數月後，於獄中杖殺。
王縉本來也已被下令賜死，但主審官劉晏替他求情，說王縉只是從犯，宜網開一面。代宗才留了他一條命，把他貶為括州刺史。
代宗本來也想把楊炎、韓洄等人全部誅殺，所幸吳湊力諫，才改為貶謫。
如果不是吳湊這一諫，楊炎就不可能在幾年後東山再起，赫然登上德宗朝廷的