根據史書記載，他得罪了一個叫李輔國的小人。我們講過，李輔國是肅宗的心腹宦官。但是要論起出身，可是玄宗這邊出去的。李輔國本來是高力士手下養馬的飛龍小兒，長得奇醜無比，大概玄宗這邊看不上，這才撥給兒子李亨使喚。可是人不可貌相，馬嵬之變中，李輔國有功，從此地位扶搖直上。俗話說一朝天子一朝臣，肅宗當了皇帝，李輔國也就取代高力士當年的位置，成為大唐首席宦官。當了首席宦官當然要抖抖威風。可是，李輔國發現，他這個威風在哪裡抖都好使，唯獨在唐玄宗和高力士面前卻抖不出去，因為他們太了解他的底細，就算嘴上不說，舉手投足之間，總不免帶出幾分輕蔑。李輔國是個心機深沉、睚眥必報的人，他不由得恨透唐玄宗和高力士，總想找機會收拾他們一下。有道是人非聖賢，孰能無過。要是有人整天拿放大鏡挑你的錯，任何人其實都是不禁挑的，何況是唐玄宗這麼一個身份敏感、本身活著就是錯的太上皇。
唐玄宗犯了什麼錯呢？他犯了結交外人的錯。我們講過，唐玄宗是個活潑好動的人，一向身體健康、精力旺盛。即便是晚年接連受到打擊，他的活力也沒有完全泯滅。哀悼貴妃固然是他暮年生活的主要內容，但是，貴妃畢竟已經死去，玄宗也不能整天給她當「未亡人」啊！他還得跟活人打交道。和誰打交道呢？除了一直陪伴在身邊的宦官高力士、龍武大將軍陳玄禮等人之外，有三類人這時候經常出現在玄宗的生活里。誰呢？第一類人物就是長安城的老百姓。玄宗不是住在興慶宮嗎？興慶宮本來就建在市井之中，最南面的長慶樓下面就是大道。風和日麗的時候，玄宗經常站在樓上俯瞰街景，而老百姓經過樓下時，看到玄宗，也會高呼萬歲。聽到有人喊萬歲，玄宗心裡當然高興，也會揮手致意。碰到他心情特別愉快的時候，他還會讓人在樓下擺上酒菜，賞賜過路的父老。第二類人物是劍南道的奏事官。玄宗在劍南道避難一年多，所以劍南道的官員進京奏事，都會來看望一下玄宗，而玄宗對這些患難之交也頗感親切，每次都讓身邊的人請他們吃飯。第三類人物就比較特殊了，誰呢？當時的禁軍首領，羽林軍大將軍郭英乂。郭英乂原來在西北從軍，玄宗一直比較賞識他，現在調任禁軍首領，回到長安，當然來往就多了。玄宗為什麼和這些人來往呢？其實不過是為了排遣寂寞。但是到了李輔國眼裡，這些可就是大問題了。太上皇為什麼要接待長安父老啊？說明他想利用舊日威望，收買人心。他為什麼要款待劍南道奏事官呢？那可以解釋成勾結地方啊！至於結交禁軍將領的嫌疑就更不用說了，唐朝哪一次宮廷政變沒有禁軍參與呢？
抓住這些把柄，李輔國就對唐肅宗進言了。他說：太上皇住在興慶宮，每天都和外人來往。陳玄禮、高力士更是日夜搞陰謀，對陛下很是不利。俗話說無事生非，不可不防啊！什麼意思呀？暗示唐肅宗，玄宗這邊想搞復辟呢！李輔國這麼說，唐肅宗怎麼表態呢？根據《資治通鑒》的記載，唐肅宗聽了之後嗚咽流涕，他說：太上皇那麼慈仁，怎麼會害我呢？李輔國說：太上皇固然沒有其他想法，但是，他身邊那群小人就難保了吧！陛下您是一國之主，應該為江山社稷考慮，防患於未然。可不能因小失大，拘泥於一般老百姓那樣的孝心啊！那麼，怎樣為江山社稷考慮呢？李輔國的建議是，興慶宮就建在市井之中，矮房淺屋的，防守實在太不嚴密，不適合太上皇居住。不如把太上皇接到太極宮去算了，那邊深宮大院，又安全，又能防範小人蠱惑，豈不是兩全其美。
可能有人不明白，這太極宮和興慶宮有什麼區別呀？這裡頭區別可大了。興慶宮是由原來玄宗當藩王時的舊宅改建的，因此就在居民區之中，不太嚴密，但是比較自由。太極宮就不一樣了，它當初建的時候就是皇宮，安全被放在第一位，北邊是禁苑，南面是中央各部門的辦公區，東面是太子住的東宮，西面是宮女住的掖庭宮，四面包圍，與世隔絕。所謂接太上皇去太極宮住，那就不是一般意義上的居住了，說白了，那叫軟禁。那麼，對於李輔國這個主意，唐肅宗怎麼表態呢？按照《資治通鑒》的記載是「上不聽」。講了這麼多宮廷的事情，想來大家都明白，所謂不聽就是不反對。我們都明白，李輔國當然更明白。沒過幾天，他就採取行動了。唐玄宗不是從年輕時起就喜歡騎馬打獵嗎？晚年雖然不常出門，但是，興慶宮還保留了三百匹馬。要知道，馬可是騎兵的基本裝備，這樣的戰略物資哪能放在玄宗手裡。李輔國假託肅宗敕令，一下子就拿走兩百九十匹，只給唐玄宗留下十匹。看著空空蕩蕩的馬廄，唐玄宗對高力士說了一句話：「吾兒為輔國所惑，不得終孝矣。」那麼，唐玄宗的判斷對不對呢？他猜對了。
上元元年（七六○年）七月，李輔國派人到興慶宮傳話，說肅宗皇帝請玄宗到太極宮遊玩。既然在兒子手下混飯吃，兒子邀請，玄宗能不去嗎？帶上高力士等幾個侍衛就去了。沒想到剛剛走到睿武門，忽然間，五百名專門陪皇帝打獵的騎兵沖了過來，每個人手裡都揮舞著長刀，攔住玄宗的去路。李輔國就在這五百人的最前面，他傲慢地說：「皇帝以興慶宮湫隘，迎上皇遷居大內。」自從經過馬嵬之變，玄宗都被政變嚇怕了，一看這陣勢，大吃一驚，差點掉下馬來。這時候，高力士趕緊上前扶住玄宗，厲聲說：「五十年太平天子在上，李輔國何得無禮。」李輔國看了高力士一眼，說：高公公，真沒想到，事到如今你還這麼不懂事。高力士真是英雄，才不怕他的威脅呢！直接對五百名騎兵喊道，諸位將士，太上皇有誥命，說大家辛苦了，你們在太上皇面前拔刀攔路，難道不怕犯法嗎？玄宗畢竟當了那麼多年皇帝，虎老餘威在，這些士兵一聽，趕緊把刀插進刀鞘，紛紛跪倒在地，局勢總算暫時穩定下來。但是，高力士也知道，在這種情況下，再想回興慶宮已經是不可能了。怎麼辦呢？只能是儘力保護玄宗的安全了。他直盯著李輔國，說：李輔國，你來和我一起給太上皇牽馬。李輔國看了看高力士，雖然不情願，但還是把馬韁繩給拉起來。就這樣，一路把玄宗護送到太極宮。關上宮門，李輔國這才率兵退出。這時候再看唐玄宗，早已是淚流滿面。他對高力士說：「微將軍，阿瞞已為兵死鬼矣！」五十年太平天子，如今卻被欺凌至此，玄宗怎能不傷心呢。
可能有人會說，這李輔國太有本事了，連太上皇都敢欺負。是不是呢？李輔國固然是小人得志、氣焰囂張，但是，背後要是沒有人撐腰，借給他十個膽子也不敢欺凌太上皇啊！誰支持他呢？當然是唐肅宗。唐肅宗為什麼要這麼對待風燭殘年的老父親呢？一句話，為了權力。唐玄宗畢竟是五十年太平天子，雖然經歷了安史之亂，可是，餘威尚在。如果肅宗統治狀況好，自然沒有問題；關鍵是，當時肅宗正面臨著一個巨大的困難——安史之亂的戰局發生變化，洛陽城得而復失，又被安史之亂的另一個重要人物史思明佔領了。這種軍事困境讓肅宗一下子緊張起來。當年玄宗不就是在兩京失守、權威下降的情況下，才被自己鑽了空子，淪落為太上皇的嗎？現在自己又把東京丟了，玄宗不會趁機復辟吧！如果真到了那一天，自己豈不是死無葬身之地。乾脆，防患於未然，把玄宗關起來算了。這樣看來，唐玄宗到底是被誰給軟禁起來的呢？不是李輔國，恰恰是自己的親生兒子唐肅宗。權力戕害一切，直至最基本的父子天性，這真是最大的悲劇呀！
軟禁到太極宮後，唐玄宗可真的是安全了。不僅和外界失去聯繫，連原本一直在身邊的人也都被趕走了。其中，陳玄禮被勒令退休，而最忠實的老奴高力士，則被流放到巫州，也就是今天湖南省的洪江市。臨行之前，高力士曾經請求唐肅宗說：「臣當死已久，天子哀憐至今，願一見陛下顏色，死不恨。」可是，就這樣簡單的請求，也被肅宗拒絕了。
當初，唐玄宗剛到四川避難的時候，有一天登高遠望，對身邊的女藝人說，給我唱首歌吧！女藝人就唱了一首李嶠的《汾陰行》：「山川滿目淚沾衣，富貴榮華能幾時？不見只今汾水上，唯有年年秋雁飛。」歌唱完了，唐玄宗早已流下眼淚。榮華富貴的喪失確實讓唐玄宗傷感，但是，他恐怕沒有想到，自己將要失去的，遠不止是榮華富貴。現在，到了終日無人、滿目凄涼的太極宮，唐玄宗終於知道，他已經把能失去的一切都失去了。他失去皇位、失去愛情、失去尊嚴，甚至，連自由也失去了。此刻，他剩下的只有風燭殘年的生命。可是，既然沒有了精神支撐，生命還有什麼意義呢？
唐玄宗一直喜歡道教，總想長生不老。但是到了太極宮，他不再煉丹，而是開始學習辟穀了。什麼叫辟穀呢？所謂辟穀，就是不食五穀，本來也是道家修鍊的方法之一。但是，玄宗所進行的辟穀，可不是真的修行，其實是絕食。就在軟禁太極宮一年零十個月之後，寶應元年（七六二年）四月初五，唐玄宗崩於神龍殿，享年七十八歲。曾經創造過無比燦爛繁華的開元盛世的大唐玄宗皇帝就這樣走完人生苦旅。
他曾經有一個強大的帝國，但是此時，山河破碎，安