爹不高興了，娘不高興了，大臣也站到對立面，楊勇已經成了孤家寡人，他的手已經碰到了高壓線，廢立只是時間問題，等待的是最後一根稻草壓下來。
從心理上說，楊堅不想廢太子，畢竟楊勇是他平民時期所生，而且近二十年來一直作為儲君培養，培養了二十年再廢掉，那不是向全天下宣告你楊堅的眼睛長瞎了嗎？不到萬不得已，楊堅不願意親手廢掉自己辛苦培養的儲君，只可惜，獨孤皇后不這麼想，楊廣不這麼想，楊素同樣不這麼想。
住在仁壽宮（離大興一百多公里的行宮）的楊堅想了解一下楊勇的動態，就讓楊素回大興探聽，這次探聽讓楊勇雪上加霜的日子又加了一層霜。
楊素到了東宮門口，故意在外面磨蹭半天，裡面的楊勇穿戴整齊一直在耐心等待。等待著等待著，好幾杯熱茶都變成了涼茶，楊勇的耐心也隨著茶的涼去磨沒了，煩躁的表情溢於言表。
磨磨蹭蹭的楊素進來拜見時，楊勇已經煩躁到了極點，「這些人怎麼這麼不著四六，一點時間觀念都沒有呢？」
楊素不是沒有時間觀念，只是故意磨蹭激怒楊勇，進而造成楊勇憤怒的事實。果不其然，楊素回去報告楊堅：「太子面有怒色，似乎很不滿！」
什麼是小報告，這就是小報告，省略了前因，直接描述過程，最後誇大後果。「太子面有怒色」不假，但起因是楊素磨蹭耽誤時間，「太子很不滿」是對你楊素狗眼看人低不滿，而不是對皇帝不滿。不過這些已經解釋不清楚了，在楊堅看來，「太子面有怒色」就是對自己不滿，現在的結果已經不是「太子很生氣了」，已經轉化成「皇上很生氣」，後果嘛，等著看。
雖說在廢立太子的問題上，獨孤皇后是主張廢的，但拿主意的還是楊堅自己，他的安全感則是廢立的根本。楊堅最終有了廢立之意，最根本的還是沒有了安全感。一個皇帝沒有了安全感，那什麼事情都有可能發生了。
在專制社會裡，皇帝是最有安全感的，同時也是最沒有安全感的。作為皇帝你可以動用上百萬人護駕，上百萬人增加了你的安全感，但同時也增加了你的不安全感，因為上百萬人增加的只是表面的安全，不安全感卻始終在你的內心深處。
在不安全感的支配下，楊堅開始行動，首先在皇宮附近、東宮左右安插了很多眼線，密切監視太子的行動。接著太子宮中軍官以上的兵籍全部回歸十二禁軍府管理，這就意味著這些軍官以後不再歸太子直屬管理，而只是作為禁軍派駐，這等於解除了太子府的武裝。
這還不算完，即使作為禁軍派駐，楊堅還把精壯士兵全部抽走，留下來守衛太子府的全都是老弱病殘。將來有一天如果太子準備起事，就只能用這些老弱病殘了，到那時候，明白人知道「這是太子在造反」，不明白的還以為是「太子組織的夕陽紅運動會」呢。
解除了太子府的武裝，楊堅還是不想廢太子，急得楊廣的一方直撓牆。在快撓破一堵牆之後，他們又想了一招，「無間道」。
何謂「無間道」呢？就是策反太子宮的官員。只要太子宮的官員出來指證楊勇謀反，那麼你楊勇還能往哪裡逃呢？
古往今來的事實證明，適當的恐嚇加上適當的利誘，總有一小撮要錢不要臉的人脫穎而出，太子府里一個叫作姬威的人就這樣成了無間道，他的上書讓楊勇與楊堅的矛盾不再是父子矛盾，搖身一變成了你死我活的敵我矛盾。
上書內容很簡單，「太子謀反」。看到這幾個字，地球人都知道接下來要發生什麼了。