就在霍顯為外孫兒的降生操心的時候，霍光去世了。
霍光一死，劉詢立即鬆了一大口氣，他對霍家的態度，來了個一百八十度的大轉變。從此，霍家再也沒有真正有才幹的人物，也沒有對劉詢有恩的人物了。劉詢按捺了多年的怒火，將要開始渲瀉。
就在霍光死去的第二年，公元前六七年夏天四月戊申日，劉詢終於如願以償地冊立了結髮之妻許平君的兒子、七歲的劉奭為皇太子，並大赦天下。
與此同時，許平君的父親許廣漢也順利地升為平恩侯。——霍光當年堅決反對的事情，現在劉詢都辦到了。他的反擊將要開始。
霍顯還沒有完全意識到危險，她只是對劉奭為太子嚴重不滿，氣得吐血兼吃不下飯，憤憤地說：「劉奭不過是皇帝在民間時與貧婦所生的賤兒，哪有資格當太子？難道我女兒日後生的兒子，反倒只能做一個小小親王嗎？」
憤怒完了之後，霍顯決定重彈老調，教女兒霍平君去毒死劉奭。
然而，霍平君是個嬌驕小姐，不是淳于衍；更何況劉詢為兒子精心挑選了一名忠心耿耿的保姆。每當霍皇后給劉奭送食物的時候，這保姆便先將食物吃下自己肚裡，驗證無害之後才送去給小主人。霍皇后的毒藥實在找不到放的時候。
而且，霍平君聽了母親的挑撥之後，對小劉奭便忍不住滿肚皮的討厭。她這樣一個大小姐，當然不知道要收斂態度，加上一向認為丈夫劉詢對自己千依百順，她便有恃無恐地把對劉奭的反感現於臉上。
霍成君的一言一行，都在劉詢的眼裡，他對這個後妻更是心生憎惡。
但是劉詢此時已非當年那個不知世事深淺的新任皇帝了，他早已經在髮妻的猝死事件中，吸取了所有的經驗教訓。如今他雖然厭惡霍皇后，但是表面上仍然不動聲色，只是暗地裡加快了從霍氏家族爪牙手裡爭回皇權的步子。
經過一段時間的運籌，霍氏家族所有掌握軍政大權的傢伙都被調離了京城，或者明升暗降。不久，漢政府的軍政大權，都被與霍家有仇的官員、以及劉詢的祖母史良娣家族、許皇后的許氏家族所控制。
網已布好，只等收網的那一天。
果然，失去了實權的霍家人開始大發牢騷。當牢騷積累到一定的程度，他們開始想要奪權了。召開家庭會議商量大計的時候，霍山等人還只是想要從新官員手裡搶回本屬於自己的位置而已，甚至於認為丞相魏朝為人廉正，動誰也能冒犯他。霍山更道：「雖然我霍家的子弟女婿們確實多有不謹慎不成器的事情，可是民間傳言我們毒死了太子生母許皇后，就未免太過分了，哪有這樣的事？」聽到子侄們「寬宏大量」的發言，心中有鬼的霍顯急得滿頭大汗，不得不把實情告訴了霍家人等。
聽到這個消息，霍山霍禹霍雲都驚恐萬分，責備霍顯為什麼不早點把這底細說出來，弄得他們在毫不戒備的情況下，就把手中的權力軍隊都交了出去。
但是事已至此，後悔也沒有用了。於是他們不得不改變主意，決定造反了——就算劉詢不跟他們算帳，被霍顯毒死的許皇后之子成為下任皇帝時，也不會放過他們。
然而，霍家太大了，人材也參差不齊。謀反的消息很快就被霍家一個馬夫的朋友張章探聽到。他立即飛奔著去告密。
就這樣，霍家還沒有來得及動作，就被劉詢的軍隊一網打盡了。
在將霍家全部誅滅之後，八月己酉日，劉詢派有關部門向霍皇后頒布了這樣的命令：「皇后熒惑失道，懷不德，挾毒與母博陸宣成侯夫人顯謀欲危太子，無人母之恩，不宜奉宗廟衣服，不可以承天命。嗚呼傷哉！其退避宮，上璽綬有司。」
二十三歲的霍平君不得不結束她五年的皇后生涯，孤零零地搬進了冷宮昭台宮。十二年後，劉詢不知怎麼的又想到了她，覺得住昭台宮還太便宜她了，下令讓她再搬到「雲林館」去住。
霍平君至此已全無生趣，她不知道接下來等著自己的是什麼。但是她知道，皇太子已經成年，自己的將來只會愈來愈凄慘。於是，她就在雲林館裡自殺了。
霍平君死的時候，大約三十五歲。下葬在長安市郊藍田縣昆吾亭東。
霍光一生英雄，對大漢王朝又立下了汗馬功勞。只因為錯愛了一個無知無畏的女人霍顯，落得子孫絕滅的下場。
現在，許平君和霍平君都死了。該由誰來當皇后呢？
此時，劉詢的後宮裡美女如雲，得寵生子的也為數不少。首屈一指的，就是淮陽王劉欽的生母張婕妤。此外，還有華婕妤衛婕妤等等。她們為劉詢生下了東平王劉宇、定陶王劉囂、館陶王、楚孝王等兒子。
然而，吸取了霍成君試圖毒殺劉奭的教訓後，劉詢不打算冊立任何一個有子的寵妃為皇后。與其說他是為自己娶皇后，不如說他是要為許平君的兒子劉奭找一個養母。