政治上的權力比拚本來就是此消彼長，伴隨著楊廣這邊的實力下降，前太子楊勇的勢力逐漸抬頭了。
怎麼逐漸抬頭呢？從三方面檢視。
第一、楊勇不甘寂寞，整天哭著喊著要見隋文帝。隋文帝廢掉太子楊勇後，就讓新太子楊廣負責看管他。一開始楊勇還很安分，但是，久而久之，他終於覺得自己太冤枉了，於是整天請求楊廣讓他見父親一面。
這是與虎謀皮，楊廣當然不會答應。楊勇情急之下，居然爬到東宮的大樹上，對著皇宮大喊大叫。隋文帝還真聽見了，但是聽不清。正好當時楊素在旁邊。隋文帝就問楊素，楊勇在喊什麼？楊素趕緊說：這個廢太子最近瘋了，整天在樹上亂喊，誰也不知道喊什麼。隋文帝一聽，嘆了一口氣，也沒再追究。
這事雖然有驚無險地過去，可是，楊廣著實擔心了一下，心想：楊勇賊心不死，以後一定嚴加看管，再不能讓他上樹了。
第二、此時，貝州長史裴肅替楊勇和高熲喊冤。
此人上書稱：
高熲以天挺良才，元勛佐命，為眾所疾，以至廢棄；願陛下錄其大功，忘其小過。又二庶人得罪已久，寧無革心！願陛下弘君父之慈，顧天性之義，各封小國，觀其所為。若能遷善，漸更增益；如或不悛，貶削非晚。今者自新之路永絕，愧悔之心莫見，豈不哀哉！
意思是，高熲功大過小，不能永遠廢棄在家。另外，前太子楊勇和前蜀王楊秀已廢為庶人很久了，應該給他們改過自新的機會。
這樣的話如果在高熲剛倒台、兩位皇子剛被廢的時候說，那就死定了。可是，現在，隋文帝居然很感慨地說：「裴肅憂我家事，此亦至誠也。」還特地征他入朝談話。這可把楊廣嚇壞了，父皇是什麼意思？是不是心意又改了？楊勇和高熲他們會不會復辟？
第三、也是最大的問題，隋文帝當時的心腹、政治後起之秀柳述和楊勇關係極佳，但是和楊廣關係不好。
當年，蘭陵公主改嫁，當然是精挑細選。選來選去，產生了兩名候選人。一是柳述，另一個則是楊廣的小舅子，蕭妃的弟弟蕭瑒。兩人都出自名門大族，文帝也挑花了眼，不知道選誰好，便多方徵求意見。
徵求到楊廣這裡，楊廣當然希望妹妹嫁給自己的小舅子，所以極力說蕭瑒的好話。隋文帝當時被他說得挺動心，原本答應了。但是，後來又問術士韋鼎，就是當年說隋文帝當有天下的那位，韋鼎說了這麼一句話：「瑒當封侯，而無貴妻之相，述亦通顯，而守位不終。」這當然是向著柳述。
因為蕭瑒按面相不該有高貴的妻子，而柳述只是官位不能到頭而已。隋文帝一聽，馬上說：官位還不由我說了算嗎？我想讓他到頭就能到頭，便把女兒嫁給柳述。
這樣一來，無論是柳述對楊廣，還是楊廣對柳述，其實都沒什麼好印象。柳述對楊廣印象不佳，但是對楊勇倒是印象不錯，因為他最初擔任的官職就是太子楊勇的親衛，兩人交往頗為密切。現在，柳述在禁中辦事，整天跟著隋文帝，會不會為楊勇說話？楊廣當然心裡極不踏實。
就這樣，因為獨孤皇后之死，隋文帝原本堅定的政治路線變得不堅定起來，朝廷里出現了很多新的變數。這些變數有個共同的指向，就是朝廷似乎又要洗牌，太子之位重新變得不穩固起來。這讓太子楊廣心境極度不安，真是如臨深淵、如履薄冰。
在這種心境下，楊廣偷偷地對為獨孤皇后占卜葬地的大臣蕭吉說：
公前稱我當為太子，竟有其驗，終不忘也。今卜山陵，務令我早立。我立之後，當以富貴相報。
您當年預言我當太子，如今果然應驗了，我信任您，不會忘記您的大恩大德。現在，請您在占卜墓地將再替我想一想，怎樣才能找一處風水寶地，讓我早點接班。如果您能做到這一點，我當皇帝後，必定報答您。
意思是，說白了，就是請您找個地方，務必讓我父親早點死，這樣我心裡才能踏實下來。楊廣提出如此露骨的要求，蕭吉怎麼回覆？他說：「後四載，太子御天下。」放心吧！我為你媽媽選一個地方，保證讓你在四年後就當皇帝。
蕭吉是否真有這樣的本事？隋文帝到底以何種方式結束了一生？