卻說霍顯心虛情怯，悔懼交並，霍禹對顯道：「既有此事，怪不得縣官斥逐諸婿，奪我兵權，若認真查究起來，必有大罰，奈何奈何！」霍山、霍雲，亦急得沒有主意。還是霍禹年紀較大，膽氣較粗，自思一不做二不休，將錯便錯，索性把宣帝廢去，方可免患。比母更凶。忽又見趙平趨入道：「平家有門客石夏，善觀天文，據言天象示變，熒惑守住御星，御星占驗，主太僕奉車都尉當災，若非罷黜，且遭橫死。」霍山正為奉車都尉，聽了平言，更覺著忙。就是霍禹、霍雲，亦恐自己不能免禍。正在秘密商議，又有一人進來，乃是雲舅李竟好友，叫做張赦。雲亦與交好，當即迎入，互相談敘。赦見雲神色倉皇，料有他故，用言探試，便由雲說出隱情。赦即替他設策道：「今丞相與平恩侯，擅權用事，可請太夫人速白上官太后，誅此兩人，翦去宮廷羽翼，天子自然勢孤。但教上官太后一詔，便好廢去。」雲欣然受教，赦也即告別。
不意屬垣有耳，竟為所聞，霍氏家中的馬夫，約略聽見張赦計謀。夜間私議，適值長安亭長張章，與馬夫相識，落魄無聊，前來探望，馬夫留他下榻，他佯作睡著，卻側著耳聽那馬夫密談，待至馬夫談完，統去就寢，便不禁暗喜，想即藉此出頭，希圖富貴。心雖不善，但不如此，則霍氏不亡。朦朧半晌，已報雞聲，本來張章粗通文墨，至此醒來，又復打定腹稿，一至天明，即起床與馬夫作別，自去繕成一書，竟向北闕呈入。宣帝本欲杜除壅蔽，使中書令傳詔出去，無論吏民，概得上書言事。一面由中書令逐日取入，親自披覽。至看到章書，就發交廷尉查辦，廷尉使執金吾官名。往捕張赦、石夏等人；已而宣帝又飭令止捕。
霍氏知陰謀被泄，越覺驚惶。霍山等相率聚議道：「這由縣官顧著太后，恐致干連，故不願窮究。但我等已被嫌疑，且有毒死許後一案，謠言日盛，就使主上寬仁，難保左右不從中舉發，一或發作，必致族誅。今不如先發制人，較為得計！」已經遲了。乃使諸女各報夫婿，勸他一同舉事。各婿家也恐連坐，情願如約。會霍雲舅李竟，坐與諸侯王私相往來，得罪被拘。案與霍氏相連，有詔令霍雲、霍山，免官就第，霍氏愈致失勢。只有霍禹一人，尚得入朝辦事。百官對著霍禹，已不若從前敬禮，偏又經宣帝當面責問，謂霍家女入謁長信宮，注見前回。何故無禮？霍家奴馮子都等，何故不法？說得禹頭汗直淋，勉強免冠謝罪。乃退朝回來，告知霍顯以下等人，膽小的都嚇得發抖，膽大的越激動邪心。顯忐忑不安，夜間夢光與語道：「汝知兒被捕否？」光果有靈，當先活捉馮子都，這全是霍顯驚慌所致。霍禹也夢車聲馬聲，前來拿人。母子清晨起床，互述夢境，並皆擔憂。又見白晝多鼠，曳尾畫地，庭樹集鴞，惡聲驚人。宅門無故自壞，屋瓦無風自飛，種種怪異，不可究詰。
地節四年春月，宣帝求得外祖母王媼，及母舅無故與武，當即稱王媼為博平君，封無故為平昌侯，武為樂昌侯。許、史以外，又多了王門貴戚，頓使霍家相形見絀，日夜愁煩。霍山獨怨恨魏相，侈然語眾道：「丞相擅減宗廟祭品，如羔如兔蛙，並皆酌省。從前高後時，曾有定例，臣下擅議宗廟，罪應棄市。今丞相不遵舊制，何勿把他舉劾呢！」霍禹、霍雲，尚說此舉只有關魏相，未足保家。因復另設一計，欲使上官太后，邀飲博平君，召入丞相、平恩侯等，令范明友、鄧廣漢引兵突入，承製處斬，趁勢廢去宣帝，立霍禹為天子。計議已定，尚未舉行，又由宣帝頒詔，出霍云為玄菟太守，任宣為代郡太守。接連又發覺霍山過惡，系是擅寫秘書，應該坐罪，不如意事，紛至沓來。霍顯替山解免，願獻城西第宅，並馬千匹，為山贖罪，書入不報。那知張章又探得霍禹等逆謀，往告期門官名。董忠，忠轉告左曹楊惲，惲又轉達侍中金安上。安上系前車騎將軍金日磾從子，方得主寵，立即奏聞宣帝，且與侍中史高同時獻議，請禁霍氏家族出入宮廷。侍中金賞，為日磾次子，曾娶霍光女為妻，一聞此信，慌忙入奏，願與霍女離婚。
宣帝不能再容，當即派吏四齣，凡霍氏家族親戚，一體拿辦。范明友先得聞風，馳至霍山、霍雲家內，報知禍事。山與雲魂膽飛揚，正在沒法擺布，便有家奴搶入道：「太夫人第宅，已被吏役圍住了！」山知不能免，取毒先服，雲與明友次第服下，待至捕役到門，已經毒發斃命，惟搜得妻妾子弟，上械牽去。那霍顯母子，未得預聞，竟被拘至獄中，訊出真情，禹受腰斬，顯亦遭誅，所有霍氏諸女，及女婿、孫婿，悉數處死。甚至近戚疏親，輾轉連坐，誅滅不下千家。馮子都、王子方等，當然做了刀頭鬼，與霍氏一門，同赴冥途去了。馮子都陰魂，又好與霍顯取樂，只可惜要碰著霍光了。惟金賞已經去妻，倖免株連。霍後坐此被廢，徙居昭台宮。金安上等告逆有功，俱得加封，安上受封都成侯，楊惲受封平通侯，董忠受封高昌侯，張章受封博成侯，平地封侯，張章最為僥倖。侍中史高，也得受封樂陵侯。
先是霍氏奢侈，茂陵人徐福，已知霍氏必亡，曾詣闕上書，請宣帝裁抑霍氏，毋令厚亡。宣帝留中不發，書至三上，不過批答了「聞知」二字。及霍氏族滅，張章等俱膺厚賞，獨不及徐福。有人為徐福不平，因代為上書道：
臣聞客有過主人者，見其灶直突，旁有積薪。客謂主人，更為曲突，遠徙其薪，否則且有火患；主人默然不應。俄而家果失火，鄰里共救之，幸而得息。於是殺牛置酒，謝其鄰人，灼爛者在於上行，余各以功次坐，而不及言曲突者。人謂主人曰：「向使聽客之言，不費牛酒，終無火患。今論功而請賓，曲突徙薪無恩澤，焦頭爛額為上客耶？」主人乃悟而請之。今茂陵徐福數上書，言霍氏且有變，宜防絕之。向使福說得行，則國無裂土出爵之費，臣無逆亂誅滅之敗。往事既已，而福獨不蒙其功，惟陛下察之！願貴徙薪曲突之策，使居焦發灼爛之右。
宣帝覽書，心下尚未以為然，但令左右取帛十匹，頒賜徐福；後來總算召福為郎，便即了事。時人謂霍氏禍胎，起自驂乘，見八十一回。宣帝早已陰蓄猜疑，所以逆謀一發，便令族滅。但霍光輔政二十餘年，盡忠漢室。宣帝得立，雖由丙吉倡議，終究由霍光決定，方才迎入。前為寄命大臣，後為定策元勛，公義私情，兩端兼盡。只是悍妻驕子，不善訓飭，弒後一案，隱忍不發，這是霍光一生大錯。惟宣帝既已隱忌霍光，應該早令歸政，或待至霍光身後，不使霍氏子弟，蟠踞朝廷，但俾食大縣，得奉朝請，也足隱抑霍氏，使他無從謀逆。況有徐福三書，接連進諫，曲突徙薪，也屬未遲。為何始則濫賞，繼則濫刑，連坐千家，血流都市。忠如霍光，竟令絕祀，甚至一相狎相偎的霍後，廢錮冷宮，尚不能容，過了十有二年，復將她逐錮雲林館，迫令自殺。宣帝也處置失策，殘刻寡恩。後世如有忠臣，能不因此懈體否！孔光、揚雄未始不鑒此慮禍，遂至失操，是實宣帝一大誤處。
宣帝既誅滅霍家，乃下詔肆赦，出詣昭帝陵廟，行秋祭禮。行至途中，前驅旄頭騎士，佩劍忽無故出鞘，劍柄墜地，插入泥中，光閃閃的鋒頭，上向乘輿，頓致御馬驚躍，不敢前進。宣帝心知有異，忙召郎官梁邱賀，囑令卜《易》。賀為琅琊人氏，曾從大中大夫京房受教《易》學。房出為齊郡太守，宣帝求房門人，得賀為郎，留侍左右。賀正隨駕祠廟，一召即至，演蓍布卦，謂將有兵謀竊發，車駕不宜前行。宣帝乃派有司代祭，命駕折回。有司到了廟中，留心察驗，果然查獲刺客任章，乃是前大中大夫任宣子。宣坐霍氏黨與，已經伏誅。章嘗為公車丞，逃往渭城，意欲為父報仇，混入都中，乘著宣帝出祠，偽扮郎官，執戟立廟門外，意圖行刺。偏經有司查出，還有何幸？當然梟首市曹。宣帝虧得梁邱賀，得免不測，因擢賀為大中大夫、給事中；嗣是格外謹慎。
為了立後問題，幾躊躇了一兩年。當時後宮妃嬪，共有數人得寵，張婕妤最蒙愛幸，生子名欽；次為衛婕妤，生子名囂；又次為公孫婕妤，生子名宇；此外還有華婕妤，但生一女。宣帝本思立張婕妤為後，轉思婕妤有子，若懷私意，便與霍氏無二，如何得保全儲君；乃更擇一無子少妒的宮妃，使登後位。揀來揀去，還是長陵人王奉光的女兒，入宮有年，已拜婕妤，可令她作為繼後，母養太子。王奉光的祖宗，曾隨高祖入關，得邀侯爵，至奉光時家已中落，鬥雞走狗，落拓生涯，宣帝曾寄養外家，得與相識。奉光有女十餘歲，頗具三分姿色，只生就一個怪命，許字了兩三家，往往剋死未婚夫。到了宣帝嗣阼，奉光女尚未適人，宣帝追懷舊誼，發生異想，把她召入後宮，立命侍寢，賜過了幾番雨露，王女幸得承恩，宣帝卻也無恙。想是王女命中應配皇帝。後來霍後入宮，張婕妤又復繼進，或挾貴，或恃色，惹得宣帝一身無暇顧及王女，遂致王女冷落宮中，少得入御。不過宣帝卻還未忘，命王女為婕妤，得令享受祿秩。王女心已知足，安處深宮，一些兒沒有怨言，膝下也無子女。至此竟由宣帝選就，冊為繼後，就把太子奭交付了她，囑令撫育。張婕妤等都詫為異