問題是，光收回楊素的權力還不夠。想讓國家正常運作，還要扶植新的依靠對象。扶植誰呢？我們剛才講，隋文帝愈到晚年愈猜忌，大臣都不敢信任，兒子又不放心，所以，隋文帝選擇了自己的女婿——柳述。柳述有三個優點。
第一、柳述出身河東柳氏，門望很高，本人文質彬彬，比較有社會基礎。
第二、柳述年輕，沒什麼功勞業績，所以一定唯自己馬首是瞻。
第三、也是最重要的原因，柳述的妻子蘭陵公主是隋文帝最喜歡的女兒。
隋文帝夫婦一共生了五男五女，柳述娶的是隋文帝么女，小名就叫阿五，封號為蘭陵公主。本來，么女容易受到父母寵愛，何況蘭陵公主確實爭氣。蘭陵公主是上了《隋書·列女傳》的人物，號稱「美姿儀，性婉順，好讀書」，長得很漂亮，而且性情溫婉，愛好讀書，是個知書達禮、謹守婦道的人，這讓提倡道德的隋文帝非常有面子，所以寵冠諸女。
既然喜歡女兒，愛屋及烏，連帶著女婿也沾光，所以，柳述在女婿之中也最受寵。
現在，隋文帝削弱楊素的勢力，讓誰取而代之？就選中這位寶貝女婿，讓他當吏部尚書，同時參掌機密，整天跟著自己，儼然是溝通朝廷和宮廷的橋樑。
問題是，柳述上台，對楊素意謂著大大的不利，因為蘭陵公主和柳述兩人都和楊素有私人恩怨。蘭陵公主和楊素有什麼恩怨呢？楊素曾經間接害死蘭陵公主第一任公公。這是怎麼回事呢？
蘭陵公主一生嫁過兩個丈夫，第一個丈夫名為王奉孝，是隋初大臣王誼之子。王誼和隋文帝是太學同學，文帝篡周，王誼衷心擁護。隋朝建立後，王誼受封為大司徒，還和隋文帝結成兒女親家。
可惜，結婚沒多久，王奉孝去世，蘭陵公主才十三、四歲就成了寡婦。王誼看了很可憐，上書隋文帝，請求讓蘭陵公主提前除掉喪服改嫁。
這本來是公公一番好意，沒想到卻被人彈劾，說是不知禮數、敗壞名教。彈劾者就是當時擔任御史大夫的楊素。
楊素這麼一彈劾，隋文帝狠狠地批評王誼一頓，這讓王誼覺得很沒面子，於是心灰意懶，整天在家發牢騷，還找人算命。地位這麼高，發牢騷，又算命，這觸犯了皇帝的大忌。開皇五年（五八五年），隋文帝乾脆將他賜死於家，這也是隋朝初年誅殺功臣的大案。雖然史書未明確記載蘭陵公主有什麼反應，但是想來，她對於逼死公公的楊素應該沒有什麼好印象。
那柳述跟楊素之間有什麼恩怨？楊素奚落過柳述的父親。
柳述的父親和楊素是同輩人，當官的經歷也相仿。但是，隋文帝篡北周時，柳述的父親和叔叔都沒有明確表態支持，所以隋朝建立之初有點不得志，到外地做官，而楊素因為立場明確，所以任職中央。
這本來沒什麼，但是楊素為人輕狂。有天隋文帝賜宴，楊素和柳家兄弟都出席，楊素藉著酒勁奚落柳述的父親和叔叔說：「二柳俱摧，諷楊獨聳。」你看，原來咱們差不多，現在你們這兩棵老柳樹可被我這棵鑽天楊比下去了。
這當然是句俏皮話，問題是說得太輕浮了。柳述的父親一言不發，當然，酒席也就不歡而散。就這樣，楊素和柳家算是結了怨。
既然楊素和蘭陵公主以及柳述都有過節，現在柳述得寵，當然不會讓楊素好過。怎麼不讓楊素好過呢？據史書記載，柳述最喜歡做的事情就是當眾羞辱楊素。
舉個例子，柳述是吏部尚書，楊素是尚書省左僕射，本來是上下級關係，柳述做出的批示都要經過楊素審核方能生效。如果楊素審核時發現問題，按照道理可以要求柳述整改。可是，柳述偏偏不買楊素的帳。每次楊素向柳述提出修改意見，柳述一律駁回，而且直截了當地對使者說：「語僕射，道尚書不肯。」告訴楊僕射，說我柳尚書不肯改。
這不是存心激怒楊素嗎？可是他也沒辦法，柳述有人撐腰啊！就這樣，一邊收權，一邊分權，原本在開皇末年叱吒風雲的大功臣楊素在仁壽年間大受冷落。
開皇末年，楊廣、獨孤皇后和楊素可是三位一體的關係，楊廣能夠當上太子，全拜獨孤皇后和楊素裡應外合所賜。現在，獨孤皇后去世，楊素又受到猜忌，這兩重因素加起來，對太子楊廣的打擊極大。
楊廣雖然已經當了太子，畢竟時間不長，加上當年廢掉前太子楊勇本來理由就不充分，所以，楊廣當太子的根基並不深厚，非常需要獨孤皇后和楊素保駕護航。現在，這兩大支柱一死一傷，楊廣的勢力馬上大大下降。