大司馬大將軍霍光死於地節二年（前68年）三月庚午日。宣帝於霍光臨死前，將他的兒子霍禹任為右將軍，又把霍光兄長（霍去病）之孫霍山列為侯。
宣帝算是對國家元勛盡了禮數。而這是他期待已久的一天。從現在開始，他可以任意指揮朝廷了。
武帝將年幼的昭帝託交霍光和金日磾輔佐，其中的金日磾於昭帝即位的翌年就死去。因此，朝廷當然在霍光的獨攬之下。
宣帝具有在宮廷成長之人所沒有的智慧。
宮廷再怎麼以儒教禮樂虛飾，對實際政治實無任何裨益——這一點他很清楚。
他對政治之良窳，完全以庶民感覺捉摸。
——我必須推動對提升庶民生活直接有關的現實政治……
即位以來，他始終抱有這個想法。但遺憾的是，一切政治全在霍光的操縱之下。
由於霍光已死，宣帝才能實現自己的理想。
宣帝採取的是不慌不忙的態度，他知道必須耐著性子行事。他徐徐實施的是立足於法家思想、富現實性且以民治為重點的政治。
——皇帝是因我們才得以即位的，而且皇后是我們的族人。
持著這等驕傲心理的霍氏一族，依舊非常跋扈。他們好像是以輕視皇帝來顯示自己的權勢。
霍光兄長之孫霍雲任職中郎將，理該每日出仕宮廷。他卻時常只派僕人到宮廷說一聲「因病請假」就不上班，實際上是帶著眾多食客出外狩獵。
霍光有多名分別嫁給名門顯貴的女兒。霍光夫人常帶這些女兒到長信宮玩。長信宮是霍光之外孫女——即太皇太后——居住的宮殿。雖然對方是孫女兒，但這裡總是宮殿。宮殿自然有宮殿的規定，例如在訪問時間上的限制以及辦理訪問手續等。而霍光夫人完全無視於此。
她們這樣做擺明是以無視宮廷之規定來彰顯自己的權勢。
霍氏一族不斷新建或擴建自己的宅邸。此外，它們乘坐的馬車或轎子，莫不以金箔或繡花布裝飾得美輪美奐。
宣帝對霍氏一族如此跋扈的作風嗤之以鼻。
「要是霍光活著，一定會制止族人如此囂張吧？」
宣帝心想。
霍氏一族可以說是由於霍光死去，所以更加狂妄起來。
「我們的榮華富貴不是只靠大司馬大將軍一個人。大將軍去世後，我們依舊如此飛黃騰達，這就是證明！」
這似乎是他們的共同心理。
霍光去世的第二年，地節三年四月，宣帝立已故許皇后所生的兒子為皇太子。這個兒子名叫奭，就是後來成為元帝的人物。
霍光夫人對此暴跳如雷。
天子把自己正室夫人生的長子立為皇太子是理所當然的，斷無受到任何責難的理由。
宣帝若無其事地說出這個決定時，群臣中沒有一個人表示反對，因為這是合乎道理的事情。
霍光夫人為什麼憤怒得發狂呢？
許皇后去世後，霍光的女兒被立為現任皇后。雖然自己的女兒霍皇后目前尚未生子，但以後總會有生子的可能。依霍光夫人的想法，把霍皇后生的兒子立為皇太子，這才是「理所當然」！
霍光夫人的想法，宣帝當然知道。
——那個孩子是皇上尚在民間時所生的！怎麼可以立為皇太子呢！霍皇后日後生下皇子時，難道非被比下不可嗎？這樣的事情絕對不行！
宣帝想像得到霍光夫人如此歇斯底里鬼叫的樣子。
實際上，這個決定用意在於警告：以後不會讓霍氏一族為所欲為！
而霍光故後，族人卻只忙於擴張勢力，沒有一個人領悟到這項警告。
「你把皇太子毒殺掉吧！」
霍光夫人唆使女兒霍皇后。
「這等可怕的事情，我怎麼做得出呢！」
「難道你忘記是因為我叫淳于衍毒殺許皇后，所以你才成為皇后這件事嗎！」霍光夫人道。
宣帝封已故許皇后的父親——經常搞出糗事的許廣漢為平恩侯。
——他是皇太子的外祖父。
這項封侯以此為由，也是對霍氏一族的挑戰。
接著，宣帝把霍光的女婿們逐一左遷，儘可能地調到偏遠地區去擔任地方長官。
雖然霍光的兒子霍禹繼承父親「大司馬」之位，而宣帝卻不許他「大冠」。霍光之所以被准許「大冠」，乃因為他是國家元勛的緣故。
只允許霍禹「小冠」，這也是另一種的警告。
——你是托父蔭而成為大司馬的，根本不是國家元勛。你要認清這一點，在言行上有所節制。
原來的近衛軍團仍在霍氏一族的統率之下。宣帝剝奪其指揮權，改由史家及許家子弟率領。
雖然宣帝是孤兒，他卻找出祖母娘家的史氏一族，與已故許皇后的族人一併重用。目的在於削減霍氏一族的勢力。
霍山兼任尚書之職。吏民向朝廷呈奉訴狀時，一定要經過尚書之手。而宣帝更改了此項規定，令呈奉訴狀以及申請拜謁之事，一律不需經由尚書。他保留尚書職位，卻使之有名無實。
如同剝筍皮，他將霍氏一族的權力逐一剝奪。
這是宣帝對他們的挑戰，沒有耐性的霍氏一族一定會因此而行叛變。到時候，再把霍氏一族的勢力一舉推翻！
——你是因我們的支持才成為皇帝的！
持此想法的霍氏一族，自然輕視宣帝，但宣帝是嘗過霍氏一族從未體驗過的艱辛生活的人。
——這個小子！
霍家人因皇帝尚在弱冠之年而瞧不起他。實際上，嘗過諸多辛酸的宣帝，個性非常倔強。在他眼裡看來，過慣尊貴生活的霍家人根本不堪一擊。
宣帝等待著打出最後王牌的機會。
他已握有霍光夫人謀殺許皇后以及霍皇后謀殺皇太子未遂等事的證據。這是他準備於必要時打出的王牌。宣帝以悠然的態度等待這個日子的來臨。
實際上，內心恐慌的是霍氏一族。因為宣帝若隱若現地亮出了這張王牌。
——莫非謀殺許皇后之事被抓到把柄了！
不能了解確實情形，這對跋扈慣的霍氏一族來說，是非常難以忍受的事。
——這樣下去一定會每況愈下，與其到頭來被瓦解，不如現在豁出去造反，碰碰運氣吧！
霍氏一族遂有了狗急跳牆的想法。這時候他們當然沒有縝密計畫，何況宣帝派有間諜在霍氏一族內卧底，因此，他們的一舉一動，宣帝都了如指掌。
同族意識極強的他們，任何事都和與霍氏有血緣關係的太皇太后和皇后取得聯繫。這對宣帝來說，如同在他眼前搭起戲棚，演戲給他看。
霍氏一族的演出可謂漏洞百出。
「既然要干，咱們就來個轟轟烈烈的吧！」
他們常常如此謀議。
——所謂的「轟轟烈烈」，乃是指將以霍禹為皇帝而言。為了如此，當然要把宣帝廢掉。
——是咱家擁立的皇帝，我們當然有權利將之廢掉！
他們的邏輯只到這個程度，因此，計畫當然也非常粗糙。
當時，最貼近宣帝的人物是丞相巍相和前皇后之父親——平恩侯許廣漢。
——只消把丞相和平恩侯除掉就行。
只要有太皇太后的命令，斬除這兩個人是易如反掌的。之後將天子廢掉，改立霍禹，這樣，一切計畫算是圓滿達成。
廢劉氏之天子而改立霍氏之天子！
霍氏一族的計畫已到箭在弦上的階段了。
低估對方實力的計畫，一定會失敗。
霍氏一族連宣帝在他們周邊布有間諜之事都不知道。
他們的計畫是：
舉行宴會招待丞相和平恩侯。霍光之女婿范明友及鄧廣漢於席上以「奉太皇太后懿旨」為由，將二人斬殺。而後廢宣帝立霍禹……
這些情報早為宣帝所布置的間諜網獲得。
在霍光這麼一個銳不可當的力量庇護之下，向來諸事順遂的霍氏一族，根本無法與以「保護自己者除自己以外更無他人」為信條的宣帝為敵。
宣帝如同制伏嬰兒般地解決了跋扈已久的霍氏一族。
原來，宣帝把於民間認識的朋友張章派到一個叫張赦的人物身邊。張赦和李竟是摯友，而李竟的女兒是霍雲的妻子。
布置間諜網不是在霍家中樞，而是在其周邊——這是宣帝極為高妙的部署。
張赦是個小諸葛亮——這個風聲，宣帝尚在民間時就已聽說過。張赦的親密朋友中，有一個人與霍氏一族關係密切，因此，張赦很有可能受託為之策劃——宣帝做了這樣的判斷。
由於張章提出控告，張赦因而被逮捕。宣帝高明的一招是竟然下了如此命令：
即刻停止對張赦之偵訊。
宣帝當然沒有放過霍氏一族之意。他如此做，為的是要等待造反之事成為事實。