將相結怨魏相當宰相後肩負了治國重任，不能不憂慮霍家的權勢和霸道。他早就聽說霍家子孫身居高位但狂傲奢侈、放縱不羈，已經引起了朝廷上下的強烈議論。這不僅不利於國家，也威脅著他的相位。於是上密奏說：「以前大將軍因為輔佐先帝和陛下，安定劉家江山有功，先帝和陛下已經給了他最大的權力和最高的榮譽。可是對他們的子孫不可這樣。我聽說魯國季友，晉國趙衰，齊國田完都有功於朝廷。魯王、晉王、齊王不僅對他們的功勞有回報，而且對他們的子孫也給了很大的權力。可是結果如何？季家在魯國世代專權，趙家瓜分晉國，田家奪取齊國政權。孔子在《春秋》中說，臣僚的世襲制度是國家禍亂的一個重要原因。如今，霍家既然有三位侯爵封號，就不要再給他們政府的職務。」
劉詢沒有聽取魏相的意見，一直認為他應該以高官厚祿報答大將軍的擁立之恩。
霍家的蠻橫霸道不幸被魏相言中，而且偏偏發生在他們將相兩家之間。
隆冬臘月下了一場厚厚的大雪，京城內外的道路冰封雪蓋。此時，有兩輛馬車分別從狹窄的官道兩頭迎面馳來。一輛是三馬駕著的拉水車，一輛是綠罩蓋頂的官用轎車。轎車夫遠遠就喊著：「喂……我們有急事請讓開路。」對面拉水車的車夫也喊著：「我們是霍家的車，請你們早點退回去。」轎車上的人又喊著：「我們是宰相府的，請讓開路！」拉水車毫不退讓，直衝過來。轎車急忙剎住，在雪地上划出一道雪痕，兩輛車險些撞在一起。從相府轎車上下來一個年輕官吏，宰相府車夫介紹說：「這位是相府的長史。」同時，從拉水車上也下來一個人，冷眉橫眼地打量著年輕官吏，輕蔑地問：「什麼？你是相府的長史？」接著哈哈大笑起來：「自楊敞宰相嚇死以後，皇上就再也沒有任命過一個宰相，既然沒有宰相，也就沒有相府，沒有相府，何來你這個相府長史。我看你們都是冒牌驢，如果知趣的話就早點讓開路，免得老爺我動手傷人。」相府長史說：「我們的確是相府的人，的確是去接相爺的。你是何人？」拉水車夫狐假虎威，拉著長腔說：「連大將軍府的王總管你都不認識，狗眼長到屁股上了。」轎車夫說：「你怎麼罵人？」王總管鼻子哼了一聲說：「罵人，再不讓開我還要打人呢！」轎車夫說：「你敢打相府的人？狗膽不小啊！」王總管問：「你一口一個相府、一口一個相爺，這相爺到底是誰？」長史說：「就是魏相。」「魏相？」王總管又哈哈笑起來：「我知道這個人，他姓魏叫相，可不是宰相，只不過是個御史。」相府長史息事寧人地說：「我們也不是拿相爺壓人，確實是急著去接相爺的，求大管家高抬貴手，讓我們先過去吧！」王總管「嘿嘿」地冷笑著說：「說得輕巧。別說你們是去接相爺的，就是去接皇帝老子我也不讓路。」說著把手一揮，霍家車夫揮鞭策馬要衝過去。相府的車夫也不示弱，策鞭催馬衝過來。在梢馬幾乎相撞時，車夫們又剎住了車，兩輛車僵持在那裡。
相府長史知道霍家的威勢，命令車夫讓開路。車夫也不願這樣僵持下去耽誤時間。可是，路面狹窄，又無處可退，再看看霍家車輛後邊不遠處有一塊寬闊的路面，用商量的口氣說：「你們後邊好退，還是讓我們過去吧。我們的事情的確很緊急。」王總管抱著肩歪著頭說：「我們拉的是皇后賜給誥命夫人的御用水，耽誤了誥命夫人吃水你們擔得起嗎？」相府車夫說：「耽誤了時間，宰相會怪罪我們的。」王總管說：「宰相怪罪不怪罪我管不著，我只知道耽誤了誥命夫人用水是要挨板子的。說，你們到底讓不讓路？」說著挽起袖子對隨從吼道：「把他們的車推過去。」相府車夫身子一橫，紮起打架的姿勢說：「你敢？」王總管說：「你看我敢不敢，上！」霍家拉水車上的三個家丁和車夫一擁而上，抓住相府的馬車向路旁推去。路基下面是一個冰封雪蓋的死水塘，相府的轎車被推翻，滾下了路基，砸破了冰層跌進了水塘里，駕車的兩匹馬嘶叫著在水塘里掙扎。相府車夫大怒，掄起長鞭向霍府的拉水車抽去。拉車的梢馬和轅馬一驚，拉著車向前跑去。「吁，吁……」霍家車夫喊著，越喊馬跑得越快，車輪撞在一塊大石上，拉水車栽倒在路邊，水桶被一塊尖石扎破，水從桶里噴流出來。霍家家丁哪受得了這個氣，一齊撲過來將長史和車夫按倒在地，拳打腳踢。長史和車夫被打得鼻口出血，倒在地上昏了過去。王總管還不罷休，揮著拳頭說：「打到御史府去！」
他們來到魏相府外才發現門楣上新刻著「魏宰相府」四個藍底金字，這才相信魏相真的當上了宰相。一個家丁鼓動說：「管他是魏宰相、王宰相、李宰相，我們霍家還怕他們不成。」其他家丁也附和著：「對，休管他是什麼宰相不宰相，打進去再說。」王總管在眾人的慫恿下把手一揮說：「上！」家丁們跑上台階，砸著相府的門。
相府里傳出院公的問話：「誰在府外張狂？」
「我們是霍家的人，快開門。」霍家家丁一齊喊著。院公開了門，王總管一把推倒院公，沖了進去。宰相夫人從客廳里走出來，站在台階上問：「你們是什麼人，有話慢慢說。」王總管問：「你是宰相夫人嗎？」宰相夫人說：「是，有話你們跟我說。」王總管說：「你們家長史把皇后娘娘賜予誥命夫人的水桶打爛了，誥命夫人在家裡急等著用水，你說讓我們回去怎麼交差。」宰相夫人不相信地搖著頭：「不會吧，我家長史一向溫良恭儉，別說是給誥命夫人拉運的御用水桶，就是平民百姓的水桶他也不敢動一指頭。」王總管看宰相夫人包庇自家的長史更加氣憤，指著宰相夫人的臉說：「告訴你，他們敢打破霍家的御用水桶，我們就敢把相府砸個稀巴爛。」回頭對家丁命令：「打，砸！」家丁們蜂擁而上，抓起相府客廳里的擺設亂砸亂摔。宰相夫人大喊起來：「來人呀，我家來強盜了。」相府的十幾個家奴從後院跑出來。王總管好漢不吃眼前虧，喊了聲：「撤！」家丁們跟著逃走了。宰相夫人用拐杖指著遠去的霍家家人大罵著：「好你個霍家的奴才，你們不得好死！」
這件事被魏相告到了廷尉那裡。廷尉也懼怕霍家，最後不了了之。魏相從此對霍家有了怨恨。
皇宮似的霍府官邸霍顯當上了誥命夫人以後，三天兩頭地往宮裡跑，遠遠就和守宮禁衛打招呼：「我是來看望我的女兒皇后娘娘的。」「皇后娘娘請我吃飯來了！」禁衛們無不點頭哈腰地巴結她：「太夫人您請進！」「誥命夫人慢走！」霍顯感到空前的尊貴和殊榮。可是，她並不滿足於自己百倍的身價，當看到皇宮的富麗堂皇和宮裡人的豪華奢侈時，再次激起她要重建霍府的慾望。這個慾望在十年前她第一次進宮去看上官皇后時就萌生了，但礙於霍光，不敢提出重建大將軍府的宏偉計畫。霍光一走，她就像被放出籠子的一隻母老虎瘋狂地蹦跳起來。
要建造大將軍府，霍顯覺得王子方是最合適的監工。她問馮子都：「你知道王子方的下落嗎？」馮子都說：「我碰到過他。」霍顯怪罪說：「為什麼不讓他和你一起回來？」馮子都說：「王子方說不想再回來了。」霍顯說：「你沒有告訴他大將軍已經不在了。你辦事也太不利索了。告訴他，就說我讓他回來。」
「我已經回來了。」
霍顯回過身，看見王子方站在她身後，高興得邊打邊埋怨：「你這兩年上哪兒了，怎麼一去不回，想死我了。」王子方笑著說：「其實我就住在京城。這幾年朝廷里發生的一切事我都知道。」霍顯問：「你都知道什麼？」王子方不笑了，臉色陰沉下來，嘆了一聲說：「這次我本不該回來，可是想到你對我的恩寵，哪怕是遇到滅頂之災，我也願意和你共生死同患難。」「什麼滅頂之災？」霍顯瞪了王子方一眼，生氣地說：「你怎麼一回來就說這些不吉利的話。」王子方說：「外邊對霍家傳言不少……」霍顯最不愛聽的就是那些傳言，揮了揮手說：「你不用說我也知道，有人就是嫉妒我們霍家的尊榮。不說這個了，你回來得好，正好幫我辦一件大事。」王子方對霍顯想什麼了如指掌，不等霍顯亮出底牌就說：「誥命夫人是不是要我監造霍大將軍府？」霍顯笑著說：「知我者王子方也。不過，我這次建造的大將軍府宅非同一般。」王子方開玩笑地問：「誥命夫人要造一座宮殿？」霍顯認真地說：「不敢說是宮殿，但從規模和氣派上要和宮殿一樣。而且什麼都要有，和未央宮、長樂宮一樣有花園、遊樂場，還要有像明渠、太液池那樣能坐船遊覽的湖泊，讓皇后回來省親像在宮裡一樣舒服。」王子方一聽畏縮了：「我可沒有建造過房子，就是一個豬圈我也不知道怎麼蓋。誥命夫人得另請高明！」霍顯想想也是，王子方雖然聰明，但不懂建築行業，隔行如隔山，大將軍府這樣浩大的工程如果在他手裡弄砸了無法向霍府的人交代。她突然想起，淳于衍說過她丈夫好像在東京干過幾年大工程。她讓馮子都馬上把淳于衍夫婦找來，還特意備了幾個小菜在御花園的涼亭上款待他們。
這是淳于衍第二次被釋放。廷尉認為淳于衍是謀害許皇后的兇手，可是皇帝不表