霍成君在這後又數次召太子到椒房殿賜食，但自從有了第一次不愉快的經歷後，劉奭在椒房殿愈發顯得木訥愚笨，王意借口太子身體不好，所以身邊隨侍的阿保和乳母竟然加了一倍有餘，十多人圍著一個孩子團團轉不說，最誇張的是每次劉奭吃東西都改成了由阿保負責餵食，而阿保們的習慣總是在餵食前將食物有意無意地先放進嘴裡嚼一下。
這樣的舉動雖然做得很低調，似乎並沒有其他用意，但落在霍成君這個有心之人眼中，當然能領會到這樣做的真正用意。她連試了幾次，發現太子的阿保防範得無懈可擊，就連劉奭喝口水都會有人搶著先嘗，她根本沒有機會往任何食物里投毒。
而就在霍成君在後宮想方設法要投毒謀害劉奭的同時，朝堂上也是風雲迭起，五月廿九，丞相韋賢以自己年老多病為由主動提出辭官回鄉，自漢高祖起至今一百四十年，歷代丞相均死於任上，從未出現辭官先例，至此，韋賢當屬第一人。
韋賢提出辭呈後，皇帝很快便准了他的請求，另賜黃金一百斤，用駟馬俺車將韋賢送回了老家。六月初七，擢升魏相為丞相，邴吉為御史大夫。
九月十九發生地震，十月皇帝藉此下詔要休止戰事，與民休息，所以解散了車騎將軍張安世、右將軍霍禹手中的戍邊衛隊。同時又下詔將至今沒有使用過的皇家禁苑水田魚池，全部開放給貧民使用；郡國在京都的官邸不許再花錢整修；各地流民如果回歸鄉里，由政府出田地，借貸種子，而且不算田賦，也不再征雜役。
皇室力求儉樸，然而霍氏卻依然驕奢跋扈成性，霍家擴建宅第，甚至違制建造乘輿車輦。據傳太夫人霍顯所乘的車輦內用錦繡作墊，外用黃金當壁，就連車輪也是用皮革錦絮包裹，車行如履平地，連一絲震動都沒有。這樣的車並不用牛馬牲畜駕馭，而是讓侍婢用五綵綢帶挽車，霍顯與府中的監奴馮殷通姦，時常坐在這樣的車輦上，在堪比皇宮的霍宅內遊戲。
霍家的奢靡以霍顯為首，霍禹、霍山也不落其後，兩人經常在平樂館跑馬玩樂，而霍雲更不像話，五日一次的朝請，那麼重要的朝會時刻，他卻與賓客去黃山苑狩獵，借口自己生病，只派了家中的一名蒼頭代替自己點卯，出席朝會。
魏相未做丞相前，霍家的奴僕一度和魏家的奴婢因為駕車爭道發生爭執，霍家的奴僕仗勢欺人，竟直接衝進御史府，甚至要踹破魏相家的大門，最後竟逼得魏相跪下叩頭謝罪，方才罵罵咧咧地離去。
魏相做了丞相後，日益受到倚重，霍家的勢力正在無形中一點點地被削弱。皇帝先將霍光的五女婿度遼將軍、未央衛尉、平陵侯范明友調任為光祿勛；二女婿諸吏、中郎將、羽林監任勝外放至安定郡當太守。
幾個月後，又把霍光姐姐的女婿給事中、光祿大夫張朔外放至蜀郡當太守，孫女婿中郎將王漢外放至武威郡當太守。
之後沒多久，再次調任霍光二女婿長樂衛尉鄧廣漢為少府，到八月十四，罷免張安世車騎將軍兵權，改任衛將軍，掌管兩宮衛尉、城門、北軍兵屬。
擢升霍禹為大司馬——然而這個大司馬卻有名無實，霍禹仍舊戴原來的小冠，沒有任何印綬，但卻被收回了原有的兵權，只留下一個他父親霍光的「大司馬」空銜。
隨後，皇帝甚至收回了范明友度遼將軍的印綬，只讓他當光祿勛；霍光的四女婿趙平本來兼散騎、騎都尉、光祿大夫，皇帝收了趙平騎都尉的印綬。但凡在以前胡騎、越騎、羽林騎以及兩宮衛生將中領兵的霍氏子弟，全部被調離，改由皇帝所親信的外戚許氏、史氏子弟代之。
隨著霍家勢力的逐步被剝離，許、史兩家的子弟卻在飛速地壯大，許廣漢的兩個弟弟——許舜封博望侯，許延壽封樂成侯。史恭三子——長子史高任侍中，封樂陵侯，史曾封將陵侯，史玄封平台侯。
不僅許、史兩家得勢，皇帝尋訪生母王家多年，終於在涿郡找到了自己的外祖母。劉病已將外祖母接入長安，一同抵京的還有劉病已的兩個舅舅王無故和王武。
皇帝當即封兩位舅舅為關內侯，賞賜鉅萬。
「我原是涿郡蠡吾平鄉人，十四歲嫁給了同鄉的王更得，婚後沒多久，王更得就死了，後來我又嫁到了涿郡廣望縣，夫君名叫王逎始。我一共生了二子一女，你的母親王翁嬃是我最疼愛的小女兒。那時家裡實在窮，翁嬃到八九歲上寄養在廣望節侯劉忠之子劉仲卿府上。劉仲卿對你外祖父說，讓我們把翁嬃給他，由他負責養活成人。於是翁嬃就留在劉仲卿家裡學歌舞，我給她做了春夏的禪衣送去，她也曾回來取過冬衣。就這樣過了四五年，有天翁嬃突然回家來告訴我，說邯鄲有個叫賈長兒的來買會歌舞的女子，劉仲卿打算把她給人。我一聽就急了，偷偷帶著女兒逃到了平鄉躲了起來，後來劉仲卿找到了我夫君逎始，四處派人找我們，我很害怕，只得帶著翁嬃回到廣望。但當初我並沒有收取一錢，我沒賣女兒，他豈能擅自將我女兒給人？劉仲卿當即向我保證不會發生這樣的事，可沒想到沒過幾天，我在家門口眼睜睜地看著翁嬃坐在賈長兒的車上被帶走了，翁嬃在車上哭喊求救，我和王逎始二人一路追趕，從柳宿追到了中山盧奴，本想一路尾隨到邯鄲，可結果身上的錢財用盡，再也無力追趕，就此我和女兒失去聯繫……」
王媼本名妄人，這個皮膚黝黑，長相精瘦的老婦人打從坐著黃牛車進入長安起，便成了長安上至官僚，下至百姓議論談笑的話題。面對自己素未謀面的天子外孫，王媼雖然緊張，但說話依舊條理分明。下派到廣望縣調查取證的官吏找到了廣望三老、劉仲卿的妻子，賈長兒的妻子共計四十五位人證。終於將王翁嬃一生坎坷的經歷給斷斷續續地接補上了。
賈長兒的妻子供認，二十多年前，曾有太子舍人侯明從長安到邯鄲來買歌舞姬，當時挑走了包括王翁嬃在內的五名女子，賈長兒讓歌舞師將她們五人送到長安，入了太子宮。
皇帝主動認了門卑微的窮親戚，這讓霍成君很是不能接受，她沒法放下身段把那個瘦得像絲瓜一樣的老婦人當成自己的外祖母一樣侍奉；王無故和王武兩個更是怎麼看都是個鄉下種田的泥腿子，即使穿上在華麗的衣裳，他們身上散發的仍只有俗不可耐的粗魯。
但是這樣的一家子，劉病已卻重中之重，到了第二年的二月，他又賜外祖母封號為博平君，將博平，蠡吾兩縣共計一萬一千戶劃作了她的湯沐邑；封舅舅無故為平昌侯，王武為樂昌侯，每人各食邑六千戶。
王家的神奇崛起不但令滿朝文武感到不可思議，更讓一向教宗跋扈、唯我獨尊的霍家氣得跳腳。
霍禹心中不服，索性賭氣稱病不上朝。霍禹一帶頭，霍山自也不甘落後，滿腹牢騷盡數發了出來：「現在魏相當權，皇帝信他，居然將大將軍在時的法令全部更改了。把公田賦予貧民，到處宣揚大將軍的過失，現在京城有許多儒生都是窮人子弟，遠道而來客居長安，整日衣食不飽，卻喜歡口出狂言，不避忌諱，大將軍曾對這些人忌恨如仇，可現在陛下卻喜歡和他們結交，還鼓勵他們上書答對政事，結果這幫儒生盡扯我們家的事。曾有人上書說大將軍在時，主弱臣強，專制擅權，如今其子孫當權，兄弟更加驕橫恣事，恐危及宗廟。還說什麼現在天災不斷，都是因為這個緣故……」
霍山的話惹來霍禹更加不滿的情緒，他冷哼一聲，眼中滿是桀驁不馴的傲氣。
霍山又說：「我當時把這類的奏書全壓了下來，可現在不行了，人人都學會了用密書揍事，我們根本沒法預先看到裡面的內容，陛下會派中書令直接將這些密封的奏書取走，朝政之事根本不用再通過尚書來決策——總之一句話，陛下越來越不相信我們了！」
霍顯雖然不懂政治謀略，但她心機重，心眼多，轉而問道：「魏相總是說我們家不好，難道他就沒犯過錯嗎？」
霍山搖頭，「魏相這人廉潔罡正，哪裡有錯可循？反倒是我們家兄弟、貋婿眾多，言行稍有不慎就會被抓住諸多把柄。」說到這裡，他忽然想起一事，皺著眉頭非常不滿，「最可恨的是民間謠言四起，說什麼許皇后是被霍氏下毒害死的，嘁，這怎麼可能呢？」
「咣啷！」霍顯手中的耳杯失手掉在地上，酒水灑了一地，也濺了自己一身。她慌張地用手擦拭，可越擦越覺得水汽直往裡鑽，浸透了整件衣裳，背上寒意森森，她忍不住打了個哆嗦。
「叔祖母？」連霍雲都看出了霍顯的神色不對，更何況其他人。
霍山心中疑惑更盛，一想到某些事的可能性，他驚得只覺得全身的血液都要凍成冰坨了。
最後就連霍禹也覺察出了異常，猶豫不定地喊了聲：「母親？」
霍顯愁眉苦臉地點了點頭，「其實傳言非虛……」
眾人大叫一聲，霍山驚得離席跳了起來。霍禹將手中的耳杯往地上一摔，怒氣沖沖地道：「這麼大的事你豈能瞞著我們？」
霍顯支支吾吾地把當年陰謀毒殺許平君之事全盤托出，霍禹、