很快的，田延年就去找張安世。然而，兩人剛商量完事，霍光卻突然聽到一個消息：罷黜劉賀的事，可能被傳出去了。
事情是這樣的：有一天，劉賀出行，半路被人攔駕。擋他去路的人，名喚夏侯勝；職務，光祿大夫。夏侯勝一見劉賀，就一聲大吼：「陛下出宮，又想去哪裡玩？」有下屬這樣對皇帝問話的嗎？
劉賀倍受打擊，也朝他怒吼一聲：「老子去哪裡玩，關你什麼事？閃開！」
夏侯勝冷笑一聲，對劉賀叫道：「你就知道玩，你知不知道有人要搞掉你？」
劉賀詫異地看著夏侯勝，問道：「你怎麼知道有人想整我，有證據嗎？」
夏侯勝叫道：「我的證據就是天象。天氣久陰無雨，說明有人會犯上做亂。」
劉賀一聽這話就更急了。要知道，他在昌邑王國當王的時候，曾經夢到過和碰到過種種稀奇古怪的事情。然後，他還專門向龔遂請教過。龔遂一不做二不做，經常哄他說，他之所以夢到和碰到鬼鬼怪怪的東西，是不良徵兆。要多注意積善行德，才能化危為安。
那時，劉賀聽到那話，也不揭穿龔遂，總是哼哼哈哈著就應付了之。什麼鬼神，什麼天意，通通是假話。在他的人生詞典里，沒有信仰二字。如果有，那就是只相信感覺。他的生活，就是跟著感覺走。
不過，今天劉賀一聽夏侯勝這話，一點也不客氣了。接著，只見他怪叫一聲，大罵夏侯勝妖言惑眾，不知好歹。
我認為，劉賀罵這話不是沒有道理的。如果真有天意，為什麼他在昌邑王國天天瘋狂時，上天非但沒整他，反而將他送到長安來當皇帝。可見，所謂天象，實在不靠譜。如果有人說他靠譜，當然就是瞎扯。
劉賀將夏侯勝拿下後，先投入監獄，然後立案，將案卷送到了霍光手裡。沒想到霍光一看，眼皮直跳，直叫大事不妙。於是乎，他馬上將田延年喊來。
田延年也是鬱悶至極。準備廢掉劉賀這件事，不超過三個人知道。除了霍光和他，最後一個就是張安世了。奇怪，夏侯勝怎麼會知道有人要搞掉劉賀？難道……
一想到這裡，霍光和田延年恍然大悟：肯定是張安世泄密了。
霍光一下子就火大了。很快的，他就將張安世召來。然而，更奇怪的事發生了，霍光質問張安世是不是走漏了風聲的時候，他卻直喊冤枉。他說根本就不是他泄密的，如果不是有人想陷害他，那就是不知哪個環節出問題了。
這下子，霍光疑惑了。張安世不泄密，田延年更不會。那麼，是哪個環節出問題了呢？想了半天，三人誰也想不出來。
最後，他們只有使出一招，密審夏侯勝。
沒想到，夏侯勝很老實，很快就交待了問題。更沒想到的是，他的答案讓人直想吐血。他說，他之所以知道有人要搞掉劉賀，不是什麼人告訴他的，而是他受了某篇文章的啟迪，推理出來的。
夏侯勝這話，一聽就是胡扯。然而，夏侯勝卻氣壯如山地告訴霍光，如果你們不信，去翻一下書不就知道怎麼回事了嗎？霍光想想，這話說得有道理。於是，派人將書拿來。一翻，竟然還真有那麼回事。
夏侯勝說的那篇文章，果然記載了一句話，大約意思是：如果皇帝犯有大量過失，必招天罰。所以，老天使天氣陰沉，顯示的就是他位置不穩，多數要被臣屬搞掉了。
我認為，這話一點都不聰明。古往今來，君王不正，不是被人拆台搬家，就是換人。商代夏，周代商，秦一統天下，莫不如此。然而，我們不得不承認，夏侯勝竟能自圓自說，不可謂不高。
霍光聽夏侯勝這麼一解釋，最後一想，得出一個結論：行動機密還未泄露，夏侯勝對劉賀那驚人一罵，純屬巧合。
不過，霍光認為，夏侯勝可謂國之忠臣，必須保護。就在這時，有一侍中多次規勸劉賀，劉賀非但不聽，竟然還把他關起來了。聽到這個消息，霍光對張安世下了一道命令：救病宜快不宜遲，不能再拖了。
然而，要廢掉劉賀，還必須另外一個人配合。這個人，當然就是丞相楊敞。於是，田延年立即去找楊敞，傳達了霍光的意思。
自漢朝立國以來，歷屆丞相可謂百花齊放，面孔多樣：兢兢業業者，有如蕭何；大智若愚者，有如曹參；陰謀大師者，有如陳平；知難而退者，有如周勃；牛氣哄哄者，有如周亞夫；混日子領工資者，有如田千秋。
那麼，楊敞屬於哪一類呢？一個詞：膽小如鼠。遇事時無主無神，簡直要了他的命。
那時，當楊敞一聽說霍大將軍等人要踢劉賀，他竟然緊張得渾身流汗，舌頭髮硬，一點主意都沒有。他的嘴巴像是缺氧的魚，啊啊啊要朝天張開，卻叫不出聲音來。
田延年很聰明，一見這架式，也不強勢奪情。他告訴楊敞，你再慢慢想下，我先上個洗手間。田延年說完，轉身真上廁所去了。
楊敞還在犯愣。一直以來，他做官的哲學就是，多一事不如少一事。基於以上原則，他從不摻和各種政治派別之間的火拚。所以，以前是上官桀要搞霍光，他假裝生病躲到幾十公里外去了。現在是霍光要搞劉賀，他也想躲，卻只恨地下無洞，跑不掉了。
現在到底怎麼辦？楊敞幾乎要絕望了。
正在楊敞手足無措之際，突然間從東廂里跳出一女子，直奔他而來。楊敞定眼一看，原來是他老婆。
一個成功的男人背後，總有一個賢內助。我認為，這話放在楊敞身上，基本靠譜。當時，楊敞和田延年在客廳里說話時，他老婆正躲在東廂偷聽。楊夫人之所以急得要跳出來，就是要替他的膽小鬼丈夫拿定主意。
楊夫人告訴楊敞：廢掉劉賀的事，霍大將軍已經決定；他之所以派田延年來通知你，不過是需要你配合一下。如果你還猶豫不決，我們全族人都要成為你的陪葬品了。
楊敞恍然大悟。原來，在漢朝的政治天平上，他不過是別人手裡的一個籌碼。
這時，田延年回來了。楊夫人在楊敞一旁站著，楊敞彷彿有如天助，他堅定地告訴田延年：「丞相府將鼎力支持霍大將軍，一切聽從他的指揮。」
萬事俱備，只欠東風。六月二十八日，霍光在未央宮召開中央擴大會議。
除皇帝劉賀以及劉賀的人外，參加大會人員有丞相、御史、將軍、侯爵、九卿、大夫、博士等。大會上，霍光宣布討論議題：皇帝劉賀混賬，危害國家安全，請大家就這事討論如何處置。
在場所有官員，猶如被晴天霹靂擊中一般，全都做木偶狀。全場雅雀無聲，沒人敢站出來哼哈一聲。
正當大家集體發愣時，突然跳出一猛人。此猛人，就是田延年。田延年首先向劉賀開炮：先帝劉徹將國家託付於霍大將軍，將軍忠心治國，天下平安。然而劉賀及其屬下，自從進了長安，猶如火煮開水，搞得天下沸沸揚揚，雞犬不寧。如此下去，國將不國，霍大將軍又有何臉面見先帝於地下。
田延年頓了頓，他一手按劍，目光如炬，環掃現場。然後，他又大聲喝道：「今日之議，不得拖拉；凡是後應者，劍斬！」
所有人都聽明白了，今天這場大會就是謀劃好的。要想豎著走出大門，必須站到霍光一邊。
於是，當田延年話音剛落，所有人齊向霍光叩頭，大喊將軍英明，昌邑王混賬，不能再當皇帝了，一切由將軍說了算。
這個場面，霍光甚是滿意。此舉說明，廢掉劉賀已成功一半。接著，霍光率領文武百官，直接朝見上官太后，痛訴劉賀無道。
罵完以後，霍光將他跟眾官聯名彈劾劉賀的書交了上去。
那個上官太后，就是霍光的外孫女。很快的，上官太后下詔：原昌邑王國的官員，一律不得入官；同時，召劉賀來見。
這招就叫關門打狗。然而，劉賀還被蒙在鼓裡。他聞聽上官太后召見，隨即帶著一幫人前往。
此時，霍光已在未央宮外守候。他告訴劉賀，今天只許你一人進宮，你的人通通在外等候。
劉賀很是疑惑，問霍光：「為什麼不讓他們進來？」
霍光很客氣地說：「對不起，這是上官太后的命令。」
頓時，劉賀心底湧起一股不祥之感。他知道今天這趟來，肯定是凶多吉少了。然而有多凶，他不知道。
事實上，劉賀的預感是對的。劉賀一人進宮後，他的人全被趕到金馬門外。他們發現車騎將軍張安世已經率領羽林軍等候多時了。
此時，劉賀更是不妙。他進宮後，霍光安排幾個宮廷隨從引他上殿。一路上，劉賀倍感不安。他問隨從，好像我那些從昌邑帶來的人，也沒犯什麼罪，霍大將軍為什麼不讓他們進宮？
陪侍的人，沒有人能回答劉賀這個問題，也不敢回答這個問題。
劉賀又問：「那麼，你們知道上官太后為什麼要召見我嗎？」
仍然是一片沉默的回答。最後，劉賀被引到金鑾殿前，發現場面異常嚴肅莊嚴