有了這幾個錯處，楊暕在隋煬帝心目中的形象越來越差了。隋煬帝不僅不提讓他當太子的事，反而故意讓人去挖掘楊暕的過失。
一個皇帝如果想找人麻煩，那不是易如反掌嗎？馬上，一件事就被揪了出來。
當時制度規定，縣令無故不得出境。但是，有一個伊闕縣令叫皇甫詡，很受楊暕喜愛。楊暕就違反了禁令，偷偷帶他出境到汾陽宮，一起尋歡作樂。隋煬帝此時正找楊暕的碴兒，有一個御史叫韋德裕，就投其所好，把這件事揪了出來，彈劾楊暕違制。
面對韋德裕的彈劾，隋煬帝怎麼處理呢？他大張旗鼓，命令一千多個士兵包圍了齊王府邸，進行掘地三尺的搜索，務必搜出更多的罪狀來。就在這樣的窮追猛打之下，有一件醜事終於曝光了。
齊王楊暕的妃子韋氏很早就去世了。楊暕放著那麼多美女不喜歡，偏偏喜歡上了韋氏妃子的姐姐。既然如此，把韋家姐姐納入齊王府不就行了嗎？又不行。因為這個姐姐當時已經嫁給了一個姓元的人，是已婚婦女。喜歡韋家姐姐，又不能娶她，怎麼辦？楊暕就和韋家姐姐暗地私通，而且還生了一個女兒。
這也罷了，更要命的是，有一天，齊王楊暕居然請了一個看相的先生給他的妃子們相面，而且還把韋家姐姐安排到了妃子的隊伍里。看相的靠什麼賺錢？不就是察言觀色嗎？這位先生馬上就看出來，齊王對韋家姐姐情有獨鍾。既然如此，就投王爺所好吧。看相的先生把其他妃子都撇在一邊，單指著韋家姐姐說：「此產子者當為皇后。」他這麼說，齊王楊暕自然高興。韋家姐姐命里該當皇后，那就意味著他命里該當皇帝嘍。可是，當時的情況是隋煬帝遲遲不下詔令，讓自己當太子。這讓楊暕很著急。
皇帝為什麼不立自己當太子？楊暕不從自己身上找原因，反倒恨起大哥元德太子的三個兒子來。他覺得，大哥雖然死了，但是留下了三個兒子。這可是長房長孫啊，萬一隋煬帝改變主意，不立兒子，要立孫子怎麼辦？要確保自己接班，只能讓這三個侄子去死了。
怎樣才能讓三個活蹦亂跳的孩子死呢？楊暕用起了古代人的老辦法，當然也是最笨的辦法厭勝，企圖用詛咒的方法咒死三個侄子。而要施行厭勝，肯定會用到小木偶之類的東西。現在，隋煬帝對齊王府邸進行掘地三尺式的偵查，這些罪行當然無法掩蓋，都被揭露出來了。
揭露出來之後怎麼辦？隋煬帝大發雷霆，把那幾個幫齊王尋找聲色犬馬的官員斬首，讓韋家姐姐自殺，還有好多府僚都流放邊疆。隋煬帝不是讓偶像官員柳謇之當齊王府長史嗎？上任的時候，隋煬帝還對他講：「今以卿作輔於齊，副朕所望。若齊王德業修備，富貴自當鍾卿一門。若有不善，罪亦相及。」誰都覺得柳謇之肯定步步高升。沒想到，這句話的前半句並沒有應驗，應驗的倒是後半句，就在這次事件之後，柳謇之因為不能匡扶齊王，被除名為民了。
處理了這麼多相關人士，齊王本身怎麼處置？要不要像隋文帝對兒子那樣，或殺或關？隋煬帝倒沒有那麼做。隋文帝兒子多，他兒子太少了。這時候，三兒子楊杲還非常小，古代兒童的成活率又低，萬一把齊王除掉，楊杲又死了，隋煬帝就成了孤家寡人，連繼承人都沒有了。萬般無奈之下，隋煬帝恨恨地說了一句：「朕唯有暕一子，不然者，當肆諸市朝，以明國憲也！」我就這麼一個兒子，只好先饒了他。如果我有更多的兒子，肯定就把這個兒子拉出去斬首，以昭明國家的法度！
雖然不能即刻除掉齊王，但是，隋煬帝此後對他就非常疏遠了。給了他一個京兆尹的頭銜，但是什麼事都不讓他干，而且還專門派了一個虎賁郎將，跟在齊王身邊，監視他。只要楊暕有任何小錯，這個虎賁郎將馬上報告給隋煬帝，這就等於被監禁起來了。
即使這樣，隋煬帝還不放心，派給齊王的府僚都是些老弱病殘，唯恐齊王利用他們作亂。齊王得寵的時候，官員都爭先恐後地把兒子往齊王府送，等到齊王失寵，這些人也就跟著倒霉了。舉一個例子。
有個太史令叫庾質，就是當年給隋文帝打氣，說他有天命的那位太史令庾季才的兒子。庾質算是隋煬帝的心腹，而他的兒子則在齊王府上班。此刻，隋煬帝討厭齊王，無處撒氣，就揪住庾質，怒氣沖沖地質問他：「汝不能一心事我，乃使兒事齊王，何向背如此！」你把你兒子送到我兒子那裡，就是對我不忠！
庾質是怎麼回答的？他說：「臣事陛下，子事齊王，實是一心，不敢有二。」我侍奉您，我兒子侍奉您兒子，我們一家給您一家服務，沒有不忠啊！
照理說，這回答也算費盡心機了。可是，隋煬帝哪會聽這種花言巧語，直接把他貶到外地當縣令了事。
就這樣，因為元德太子楊昭早亡，齊王楊暕失寵，趙王楊杲太小，隋煬帝立太子的事情就耽擱下來了，一直到後來隋煬帝被殺，隋朝也沒有一個法定的太子。這對於一個王朝而言，也是非常奇怪的事情。
這樣看來，隋煬帝當皇帝之後，雖然修東都、建南都、開運河、修長城，四面開疆拓土，國力也迅速增強，看起來達到了極盛局面，但是，他有一些問題處理得相當失敗，比如濫用民力問題、用人問題以及接班人問題。這些問題其實都很嚴重，只是當時還被掩蓋在國力不斷擴張的表象之下。而一旦隋朝的國力擴張受阻，這些問題就會暴露出來，乃至釀成大禍。
那麼，隋朝會遇到這樣的麻煩嗎？