整倒王鉷可不是楊國忠的最終目標，他還要順藤摸瓜，把李林甫也給裝進去。怎麼裝呢？楊國忠對玄宗說，審案子的時候，李林甫曾經替王鉷說過話。當年，王鉷的御史大夫也正是李林甫推薦的。他倆這樣休戚與共，恐怕有結黨的嫌疑。那麼，玄宗對此是什麼反應呢？要知道，玄宗一生最討厭大臣結黨了。當年，姚崇、張說、張九齡不都栽在這個問題上嗎？雖然玄宗晚年不大過問朝政了，但是，對於權力可是一點都沒有放鬆。在他看來，李林甫奢侈腐化可以、打擊對手也可以，但是，唯獨結黨不可以。因為一旦臣子結黨，就是分割皇權，這可是玄宗無論如何不能容忍的。李林甫沾上結黨的嫌疑，在玄宗心目中的形象馬上就變了。雖然玄宗念及他任相十幾年的功勞，沒有立刻罷免他，但是，從此也就逐漸疏遠他了。
李林甫是個聰明人，玄宗的情緒一變，他馬上就察覺到了，而且真是恨透楊國忠。怎麼辦呢？李林甫可是個政治強人，不會任由楊國忠陷害。馬上，他就採取措施了。他向玄宗提出，把楊國忠從朝廷調到他的發跡之地——四川。為什麼要調楊國忠到四川？因為楊國忠當時還身兼劍南節度使。我們講過，當年楊國忠落魄的時候，四川的土豪鮮於仲通曾經幫助過他，楊國忠發達之後，就讓鮮於仲通當劍南節度使。當時，雲南地區有個少數民族政權叫南詔 ，劍南節度使主要就是負責防控南詔，維護地方穩定。可是，別看鮮於仲通當個樂善好施的員外不錯，當地方大員就不行了。他性格特別急躁褊狹，很快就跟南詔鬧翻。天寶十年（七五一年）四月，鮮於仲通帶著八萬大軍在西洱河和南詔大戰，結果既不熟悉地形，又不習慣氣候，再加上指揮不力，最後一敗塗地，八萬人死了六萬，剩下的兵也打散了，鮮於仲通連滾帶爬，隻身逃回四川。從此之後，劍南的形勢可就緊張了，南詔三天兩頭來騷擾。於是，楊國忠就暗示鮮於仲通上奏皇帝，說自己能力不足，請求讓楊國忠兼領劍南節度使，這是天寶十年年底的事。當然，楊國忠兼領劍南，只是為了在重視軍功的時代給自己增加一點政治資本而已，他的工作重心可還在朝廷里，他也壓根兒沒想真到劍南去。
但是現在，李林甫要跟楊國忠鬥法，可就拿這個說事了。天寶十一年（七五二年）十月，李林甫跟唐玄宗說，劍南形勢持續不穩，自己已經收到無數封群眾來信，強烈要求節度使楊國忠親臨指導工作，請陛下派楊國忠赴任。李林甫為什麼要這麼干呢？這可是一招妙棋。讓楊國忠赴任，不僅能把他排擠出中央政治核心，還給他的未來設計好陷阱，試想，如果楊國忠不能迅速把劍南形勢穩定下來的話，李林甫不就可以治他的罪嗎？這是李林甫的如意算盤。另外，除了算計楊國忠之外，李林甫也想通過這個事情探一探玄宗的底，我可是給你幹了十九年了，你如果還信任我，就讓楊國忠走；如果你不讓楊國忠走，那就意味著我完了。不管結果如何，反正賭一把。
李林甫打了這麼個報告，楊國忠什麼反應呢？他馬上找到唐玄宗，跪倒在地，號啕大哭。說我這一去，肯定要被李林甫害死啊，請陛下千萬保護我。不僅楊國忠苦苦哀求，楊貴妃也在旁邊替他求情。可能有人會說，楊貴妃不是不幹政嗎？怎麼也替楊國忠求情了？楊貴妃是沒什麼政治主張，不過，天寶九年她被唐玄宗送回娘家，畢竟是楊國忠求到吉溫，一番遊說，才讓她重返後宮的。現在楊國忠這麼緊張，她也不能裝聾作啞。一邊是拜相十九年、幫自己處理無數大事的老宰相，一邊是驚慌失措的新寵臣，唐玄宗怎麼處理呢？他對楊國忠說：「卿暫到蜀區處軍事，朕屈指待卿，還當入相。」什麼意思呢？一方面，還是讓楊國忠赴鎮，這是給李林甫面子；但是，另一方面也許諾楊國忠，我很快就會招你回來，而且讓你當宰相。看起來，這個處理意見是兩頭都照顧到，但在實際上，唐玄宗偏袒楊國忠了。讓他去四川走個過場，這只是賣給李林甫一個虛面子，但許諾給他的可是實實在在的宰相職位。
李林甫當時畢竟已經是近七十歲的老人了，聽說玄宗這樣答覆，真是氣結於胸，一下子就病倒了。請醫問葯全不見效，愈病癒重，眼看就起不了床。怎麼辦呢？所謂有病亂投醫，家裡就給他請了一個巫師。這個巫師說：「李相公這個病，吃藥是不行的，只要看一眼皇帝就會好。」這個巫師靈不靈呢？太靈了，不是別的靈，而是心理學學得靈。他知道，李林甫這個病其實是心病。只要他覺得皇帝還在乎他，病就有可能好。當年唐太宗時候大將李積生病，醫生說吃龍鬚能好，唐太宗不是二話沒說，就把自己的鬍子剪下來了嗎？現在，只要唐玄宗對李林甫也有這番誠意，李林甫也能好。
那麼，玄宗到底會不會去探望李林甫呢？玄宗沒去。自從李林甫有了結黨的嫌疑，唐玄宗對他的熱情已經急劇下降。換言之，他正等著李林甫騰位置換人呢！可是，也不能顯得對老宰相太絕情。怎麼辦呢？當時唐玄宗正在驪山華清宮泡溫泉，李林甫也隨行在驪山的別院里。玄宗就讓李林甫的家人把他抬到院子里，面朝著華清宮，而玄宗就站在華清宮最高的降聖閣上，朝著李林甫住的院子揮舞一條紅手帕。李林甫看見這條紅手帕，就算是看見玄宗本人了。李林甫聽說皇帝這麼對待他，真是徹底絕望，連從床上爬起來給皇帝磕頭的力氣都沒有了，只好讓人代拜了事。從這天起，李林甫知道，皇帝是徹底拋棄他了，他也只有等死的份。而楊國忠呢？差不多也就在這時候接到玄宗讓他立刻趕回長安的詔令。這樣一來，楊國忠心裡可高興了，看來，拜相的事就要實現了！一路晝夜兼程往回趕。回來之後，也不知道是想示威還是想探探虛實，反正楊國忠第一件事就是去看望李林甫。這時候的李林甫已經是奄奄一息，再也沒有和楊國忠爭鬥的勇氣和力量，他流著淚對楊國忠說：「林甫死矣，公必為相，以後事累公！」真是鳥之將死，其鳴也哀！強硬了一輩子，終究對楊國忠服輸。那楊國忠會不會得意忘形？根本沒有。可能是這句話所表現出的軟弱與李林甫平時的形象反差太大，楊國忠居然產生一種不真實的感覺。別是這老傢伙裝病騙我吧！嚇得汗流浹背，連聲說「不敢」。套用《三國演義》中「死諸葛嚇死活仲達」的說法，這真是「死林甫嚇倒活國忠」。不過，這次嚇唬楊國忠，也確實是李林甫人生中最後一次。幾天之後，李林甫一病身亡，楊國忠順理成章地接替他的職位，成為唐玄宗安史之亂前最後一任宰相。
不是有句話叫做人走茶涼嗎？這句話用到李林甫身上最合適不過。他活著的時候威風八面，可是，一旦死去，也只能是任人擺布。任誰擺布呢？當然是新宰相楊國忠。李林甫活著的時候把他嚇得夠嗆，現在，輪到他對死人報仇了。怎麼報仇呢？楊國忠誣陷李林甫曾經和一個叛亂的少數民族將領阿不思結為父子，對這個將領的叛亂負有直接責任。叛國的罪名一安到頭上，李林甫可算是一敗塗地了。唐玄宗下令，剝奪李林甫的官爵，查抄他的家產，把他的兒子、女婿全部流放嶺南。李林甫本人不是已經躺在棺材裡了嗎？那就剖開他的棺材，把他嘴裡含的寶珠拿出來，把身上穿的紫袍也脫下來，換上一口薄薄的小棺材，按照普通老百姓的規格草草掩埋了事。榮辱的轉化瞬息萬變，真是讓人感慨。當年，李林甫正赫赫揚揚的時候，有一次，和他的兒子一起在後花園散步。這個兒子是個老實人，覺得爸爸太張揚了，就指著花園裡勞動的僕役說：「大人久處鈞軸，怨仇滿天下，一朝禍至，欲為此，得乎？」李林甫看了看他的兒子，沉默好半天，最後說了一句：「勢已如此，將若之何？」如今，他兒子的話果然應驗了。不過，更令人感慨的還是唐玄宗對李林甫的處理態度。我們講開元盛世的時候，不是特地表彰過玄宗對退休的宰相都溫情脈脈嗎？姚崇、宋璟的生榮死哀給我們留下多麼美好的印象，可是現在，看看玄宗對一個為他工作了十九年的宰相做出這樣的處置，我們可不覺得他嫉惡如仇，而只能說他是愈來愈昏聵、愈來愈無情了。