從唐朝中期開始的「牛李黨爭」綿延了近半個世紀。在唐武宗為帝的時代，「李派」首領李德裕備受恩寵，做了六年宰相。李德裕為政甚為剛健，滿朝清明肅然。但同時，由於出身高門，他的貴族作派又非常突出，以奢華為例，按《獨異志》記載：「武宗朝宰相李德裕奢侈極，每食一杯羹，費錢約三萬，雜寶貝、珠玉、雄黃、硃砂煎汁為之，至三煎，即棄其滓於溝中。」也就是說，李德裕每喝一杯羹，價值三萬錢，而且羹湯是用當時稀有的珠玉、雄黃、硃砂等煎熬，熬到第三次後，這些珍貴的藥材就扔到地溝里。可以設想，連李德裕家的地溝也充滿了寶物。說到寶物，按史上記載，李德裕「每好搜掇殊異，朝野歸附者，多求寶玩獻之。」可以說是古代的一位文物收藏家。放到現在，他所收藏的隨便一件東西想必都價值幾百萬元。舉一個例子：有一年盛夏，大臣們在他家聚會，當時天氣甚是悶熱。李德裕說這不妨事，隨後把大家帶到一個小屋，屋子四壁之上均是前人的名貴字畫。諸位入座後，頓感清涼無比，於是問其故，才知道屋內有一件稀世寶物白龍皮，為新羅人所獻，將其浸入水中後四周則清涼如秋。這只是他收藏的寶物之一，此外還有諸如暖金帶、壁塵簪等皇家也沒見過的東西。
唐宣宗即位後，深惡李德裕，當然不是因為他的奢華，而是因為他孤傲嚴肅、不怒自威的個性風格以及在武宗時代對自己的打壓。按史上記載，每次上朝時，看到李德裕後，宣宗皇帝往往「寒毛倒豎」。這樣的君臣關係算是沒法處了。所以，沒幾天，皇帝就將李德裕貶到南方。在「牛李黨爭」的半個世紀里，兩派人物被貶到外地是常事，所以當接受貶令時，李德裕雖悲憤，但還抱著有朝一日重返長安的幻想。但他錯了。
唐相國李德裕為太子少保，分司東都。嘗召一僧問己之休咎，僧曰：「非立可知，願結壇設佛像。」僧居其中，凡三日。謂公曰：「公災戾未已，當萬里南去耳。」公大怒，叱之。明日，又召其僧問焉。「慮所見未子細，請更觀之。」即又結壇三日，告公曰：「南行之期，不旬月矣，不可逃。」公益不樂，且曰：「然則吾師何以明其不妄耶！」僧曰：「願陳目前事為驗，庶表某之不誣也。」公曰：「果有說也？」即指其地曰：「此下有石函，請發之。」即命窮其下數尺，果得石函，啟之，亦無睹焉，公異而稍信之，因問：「南去誠不免矣，然乃遂不還乎？」僧曰：「當還耳。」公訊其事，對曰：「相國平生當食萬羊，今食九千五百矣，所以當還者，未盡五百羊耳。」公慘然而嘆曰：「吾師果至人！且我元和十三年為張公從事，於北都，嘗夢行於晉山，見山上盡目皆羊，有牧者十數迎拜我。我因問牧者，牧者曰：『此侍御平生所食羊。』吾嘗記此夢，不泄於人，今者果如師之說耶，乃知陰騭固不誣也。」後旬日，振武節度使米暨遣使致書於公，且饋五百羊。公大驚，召告其事，僧嘆曰：「萬羊將滿，公其不還乎？」公曰：「吾不食之，亦可免耶！」曰：「羊至此，已為相國所有。」公戚然。旬日，貶潮州司馬，連貶崖州司戶，竟沒於荒裔也。 （《宣室志》）
在這個秘密記載中，李德裕在被貶前居於東都洛陽，曾向一善於預測的僧人問吉凶之事，僧人指出李德裕近期將有災難，會被貶到遙遠的南方，且稱南行之期月內即見分曉，無可逃避。李德裕鬱悶，努力說服自己不要相信。
「您不相信？那這樣，我們做個實驗。」僧人說著，一指地下，「此地下埋有一石盒。」
李德裕立即叫人挖掘，果得一石盒。李德裕大驚，問：「貶至南方既然不可免，那麼我想問一句：還有回還的可能嗎？」
僧人道：「還有這個機會。」
僧人又道：「您這一生，應吃一萬頭羊。到現在為止，您已吃了九千五百頭。也就是說，以後還有吃五百頭羊的日子，官位未絕。」
李德裕長嘆一聲：「法師真乃神人！憲宗皇帝元和十三年，我在北都太原為張弘靖宰相的部下，曾夢見自己行於晉山上，那裡是一眼望不到頭的羊群，有牧羊人告訴我，這滿山之羊是我平生所吃之羊。這個奇異的夢被我隱藏數十年，一直未向他人說過，而現在看來，正中禪師之言！」
儘管很悲傷，但李德裕還是抱有一絲僥倖，因為如那僧人之言，自己還有吃五百頭羊的顯貴日子，即使每天都吃羊肉，吃完這五百頭羊，也需要十年。也就是說，自己還能顯貴十年。聯繫到自己現在的歲數，十年足矣！
但計畫趕不上變化。沒過幾天，振武節度使米暨派人來到洛陽，為了表達對李德裕的尊敬，專門一次性地送來了五百頭羊作為禮物。
李德裕望著庭院里的群羊，大叫一聲：「天意？！」
隨後，李德裕將此事告訴那僧人，僧人搖搖頭，嘆息道：「一萬頭羊已夠數了，看來您被貶之後，不能回還了。」
李德裕說：「我不吃這些羊還不行嗎？」
僧人說：「羊已到了您眼前，吃不吃的都已屬於您了。」
李德裕神色戚然，陷入長久的沉默。在他為宰相的時代，他對內抑制住中唐以來囂張的宦官勢力，對外採取強硬手段削平藩鎮，並成功打擊、威懾了回紇、吐蕃以及南詔。他甚是勤政，每日出入宮闈，與武宗皇帝商討軍國大事，他的名詩《長安秋夜》即是這種生活的寫照：「內官傳詔問戎機，載筆金鑾夜始歸。萬戶千門皆寂寂，月中清露點朝衣。」此詩生動地刻畫出一位宰相夜以繼日、辛勤工作的形象。但現在皇帝換成了宣宗，他失寵了。在收到那令人壓抑、恐怖的五百頭羊後，沒幾天，他就接到等待中的朝廷命令：被貶至荊南。隨後，又被貶為潮州司馬，還未到潮州，又貶為崖州司戶。崖州，即現在的海南島三亞。可以想像唐朝時那裡的荒蠻，大約是那個帝國的最南方了。在去南方的路上，過一條險惡的河流時，李德裕身上攜帶的白龍皮、暖金帶、避塵簪等無價之寶，不慎落入了水中，從此它們消失於這個世界上。
李德裕無限傷懷，他永遠失去了它們，永遠失去了北歸之日。
遠貶崖州後，李德裕寫有無限傷感的《登崖州城》：「獨上高樓望帝京，鳥飛猶是半年程。青山似欲留人住，百匝千遭繞郡城……」他終於沒有機會北返中原了。大唐帝國的最後一位鐵腕宰相最後孤獨地死在了海那邊。那是唐宣宗大中四年（公元850年）。