先說楊素。獨孤皇后去世後，最傷心的當然是隋文帝，但是要說張羅得最辛苦的，還得說是楊素。楊素為什麼辛苦？因為獨孤皇后的葬禮就是他經辦的。為了辦得風光隆重，楊素也算是殫精竭慮。
葬禮之後，隋文帝還特地下詔褒獎楊素：「楊素經營葬事，勤求吉地，論素此心，事極誠孝，豈與夫平戎定寇比其功業！可別封一子義康公，邑萬戶。」「並賜田三十頃，絹萬段，米萬石，金珠綾錦稱是。」楊素辦這個事情辦得費心費力，竭盡心力給獨孤皇后選風水寶地來安葬她。要論他這份誠心，那是無與倫比的，功勞比平戎定寇還大。因此我決定，封他的一個兒子做義康公，另外給他一萬戶的食邑。從此，一萬戶人家的賦稅，就不用繳到國庫了，而是直接進入楊素的家門。
辦一個葬禮，隋文帝居然認為比平戎定寇還要重要，而且給了那麼多的賞賜，既說明隋文帝愛屋及烏，當然也說明楊素的用心程度。
但是，這次葬禮恐怕也是楊素在隋文帝一朝得寵的巔峰了。因為就在此後不久，楊素在隋文帝心目中的地位就開始下降。原因是有人彈劾他了。誰呢？大理寺卿梁毗。
就在仁壽二年（602），梁毗上書隋文帝，說：「臣聞臣無有作威福。臣之作威福，其害乎而家，凶乎而國。竊見左僕射、越國公素，幸遇愈重，權勢日隆，搢紳之徒，屬其視聽。忤意者嚴霜夏零，阿旨者膏雨冬澍，榮枯由其唇吻，廢興候其指麾。所私皆非忠讜，所進咸是親戚，子弟布列，兼州連縣。天下無事，容息異圖，四海稍虞，必為禍始。夫奸臣擅命，有漸而來。王莽資之於積年，桓玄基之於易世，而卒殄漢祀，終傾晉祚。季孫專魯，田氏篡齊，皆載典誥，非臣臆說。陛下若以素為阿衡，臣恐其心未必伊尹也。伏願揆鑒古今，量為外置，俾洪基永固，率土幸甚。輕犯天顏，伏聽斧鑕。」我聽說，臣子是不允許作威作福的，如果一個國家允許臣子作威作福的話，那麼必定天下大亂。現在我們國家有沒有哪個大臣作威作福？當然有啊，這個作威作福的人就是越國公尚書左僕射楊素。他倚仗陛下的寵幸，權力已經大得沒邊了，所有的官員都要看他的臉色辦事。我們整個官僚系統，其實都受他的指揮。這樣下去，有一天他也會走上像王莽、桓玄那樣奸臣、權臣的道路。希望陛下能夠預先留心到這一點，鑒古知今，不要再給他這麼大的權力，我知道我這話不中聽，說出來也許您不喜歡，但是為了國家利益，我萬死不辭。
當時楊素可是炙手可熱的人物，首席宰相梁毗這樣說，不是找死嗎？果然，隋文帝大怒，馬上把他抓了起來，親自質問他，怎麼可以如此誹謗大臣。
沒想到，梁毗毫不畏懼，當面對隋文帝說：「素既擅權寵，作威作福，將領之處，殺戮無道。又太子及蜀王罪廢之日，百僚無不震悚，惟素揚眉奮肘，喜見容色，利國家有事以為身幸。」我確確實實認為楊素是一個作威作福之人。我有充分的證據。陛下，請您想一想，當年您廢掉太子楊勇和蜀王楊秀的時候，我們這些大臣，誰都覺得這是一件非常讓人震驚、讓人恐慌、讓人難過的事，可唯獨他越國公楊素，表現出一副揚眉吐氣、志得意滿的樣子。為什麼他會有這樣的心態？他這是盼著國家有事，好抬升他自己的地位！陛下，這難道是一個忠臣應有的行為嗎？
這席話一說出來，隋文帝真是傻在那裡了。確實，此前隋文帝一直覺得楊素是在忠實地執行著自己的命令，替自己除掉了兩個不肖子，所以才把楊素視為心腹重臣。如果按照梁毗的說法，楊素有個人野心蘊含在裡頭，那自己豈不是給楊素做了嫁衣裳？這讓隋文帝不寒而慄。
另外，梁毗所說的臣子作威作福，必然危害國家，這也是隋文帝衷心認同的觀點。把這兩個因素疊加在一起，隋文帝對楊素的印象也就發生了改變。按照《隋書·楊素傳》的說法，就是「上漸疏忌之」。漸漸地疏遠猜忌他了。
隋文帝下敕說：「僕射國之宰輔，不可躬親細務，但三五日一度向省，評論大事。」僕射是我們國家最重要的大臣，怎能去操心那些雞毛蒜皮的事？以後你不用每天去上班辦那些小事了，你三五天上一次班，管一管大事就可以了。
在古代，這是一條很古老的做法，叫作「外示優崇，實奪之權也」。國家哪有那麼多大事要辦？人的權威都是從日常工作中奠定起來的，現在隋文帝剝奪了楊素辦理日常事務的權力，那實際上，他真正能管的事就很有限了，這是從楊素手裡收權。
問題是，光收回楊素的權力還不夠。要想讓國家正常運作下去，還要扶植新的依靠對象。扶植誰呢？隋文帝越到晚年越猜忌，大臣都不敢信任了，兒子又不放心，綜合權衡之後，隋文帝選擇了自己的女婿柳述。因為柳述有三個優點。
第一，柳述出身河東柳氏，門望很高，本人又文質彬彬，比較有社會聲望。
第二，柳述年輕，沒有什麼功勞業績，所以一定唯自己馬首是瞻。
第三，也是最重要的原因，柳述的妻子蘭陵公主是隋文帝最心愛的女兒。
隋文帝夫婦一共生了五男五女，柳述娶的是隋文帝最小的女兒，小名就叫阿五，封號為蘭陵公主。本來最小的女兒就容易受到父母的寵愛，何況蘭陵公主也確實給父母爭氣。是上了《隋書·列女傳》的人物，號稱「美姿儀，性婉順，好讀書」，不僅長得漂亮，而且性情溫婉，愛好讀書，是一個知書達理、謹守婦道的人。這讓提倡道德的隋文帝非常有面子，所以寵冠諸女。
既然喜歡女兒，愛屋及烏，連帶著女婿也沾光，所以，柳述在女婿之中也最受寵。
現在，隋文帝要削弱楊素的勢力，就選中這位寶貝女婿取而代之了。讓他當吏部尚書，同時參掌機密，整天跟著自己，儼然就是溝通朝廷和宮廷的橋樑。
問題是，柳述上台，對楊素意味著什麼？意味著大大的不利。因為蘭陵公主和柳述兩個人都和楊素有私人恩怨。
對蘭陵公主而言，楊素曾經間接害死了她的第一任公公。蘭陵公主一生嫁過兩個丈夫，第一個丈夫叫王奉孝，是隋初大臣王誼的兒子。王誼和隋文帝是太學同學，隋文帝篡周，王誼也衷心擁護，所以，隋朝建立後，王誼被封為大司徒，還跟隋文帝結成了兒女親家。
可惜，結婚沒多久，王奉孝就去世了，蘭陵公主剛剛十三四歲就成了寡婦。王誼看了很可憐，就給隋文帝上書，請求讓蘭陵公主提前除掉喪服，改嫁算了。
這本來也是公公的一番好意，沒想到，卻被人彈劾了，說是不知禮數，敗壞名教。誰彈劾的呢？就是當時還擔任御史大夫的楊素。
隋文帝提倡禮教，楊素這麼一彈劾，隋文帝就狠狠地批評了王誼一頓，這讓王誼覺得沒面子透了。於是心灰意懶，整天在家發牢騷，還找人算命。這麼高的身份，又發牢騷，又算命，當然觸犯了皇帝的大忌，所以，開皇五年（585），隋文帝乾脆把他賜死於家。這也是隋朝初年誅殺功臣的大案。雖然史書沒有明確記載蘭陵公主有什麼反應，但是想來，她對於逼死公公的楊素應該也沒有什麼好印象。
那柳述跟楊素之間有什麼恩怨？楊素奚落過柳述的爸爸。
柳述的爸爸和楊素是一輩人，當官的經歷也差不多。但是，隋文帝篡周的時候，柳述的爸爸和叔叔都沒有明確表態支持，所以隋朝建立之初，有點不得志，到外地做官去了，而楊素因為立場明確，所以任職中央。
這本來也沒有什麼，但是，楊素為人輕狂，有一天隋文帝賜宴，楊素和柳家兄弟都位列其中，楊素就借著酒勁奚落柳述的爸爸和叔叔說：「二柳俱摧，孤楊獨聳。」你看，原來咱們差不多，現在你們這兩棵老柳樹可被我這棵鑽天楊給比下去了。
這當然是句俏皮話，問題是說得太輕浮了一點，柳述的爸爸一言不發，當然，酒席也就不歡而散。就這樣，楊素和柳家也算結了怨。
既然楊素和蘭陵公主以及柳述都有過節，現在，柳述得寵，當然不會讓楊素好過。據史書記載，柳述最喜歡做的事情就是當眾折辱楊素。
舉個例子。柳述是吏部尚書，楊素是尚書省左僕射，本來是上下級關係，柳述做出的批示都要經過楊素審核方能生效，如果楊素審核有問題，按照規定，可以要求柳述改。可是，柳述偏偏不買楊素的賬。每次楊素向柳述提出什麼修改意見，柳述都一律駁回，而且直截了當地對使者說：「語僕射，道尚書不肯。」去告訴楊僕射，就說我柳尚書不肯改。
這不是要把楊素氣死嗎？可是他也沒辦法，明擺著，柳述有人撐腰。就這樣，一邊收權，一邊分權，原本在開皇末年叱吒風雲的大功臣楊素在仁壽年間被冷落了不少。