不過，高熲畢竟是國家大臣，多年的宰相，要想把他拿下去，總得有個能服人的理由。而對付大臣，再沒有比謀反更好的理由了。
開皇十九年（599），高熲奉命率軍追擊突厥，仗打到一半，高熲上奏，要求增兵。這本來是很正常的一件事，可是，面對君相不合的局面，竟有大臣揣摩隋文帝的意思，告高熲謀反。高熲要兵幹什麼？不是想往前打，他是想往回打，這是有謀反企圖？
大臣一告狀，隋文帝心裡也在緊張激烈地搏鬥，要不要就此治高熲的罪？他有點猶豫。沒想到，前方戰事轉折太快，還沒等隋文帝猶豫完，高熲已經率領大軍凱旋了，這謀反之罪也就不了了之了。
不過，有句話叫「不怕賊偷，就怕賊惦記」，隋文帝既然惦記上高熲了，自然不可能就此罷手。
很快，又一件謀反案出來了。只不過，這次謀反案的主角不是高熲，而是高熲當年推薦的一位將軍，名字叫王世積。此人被仇人告發，說他曾經請人看相，看相的說他貴為國君。還說他擔任涼州總管期間，曾經和手下議論涼州是用武之地，可以把這裡作為基地，圖謀大事。這不是狼子野心嗎？
這件謀反案其實也只是紅口白牙，拿不到什麼具體的證據。但是，王世積是高熲推薦的，隋文帝馬上敏感起來，要求司法部門認真審問，順藤摸瓜。
怎麼認真審問？那就打吧。打來打去，王世積招供了，他確實想謀反，而且跟高熲有牽連。有些宮廷里的情況，他就是聽高熲說的。這就把高熲給卷進來了。一聽王世積這麼招供，隋文帝大驚失色，一定要徹查此案，還宰相一個清白。
不用說，徹查的結果肯定對高熲不利。有關部門報告說，根據調查，王世積和高熲確實過從甚密，還給高熲送過名馬。這可是明白無誤的受賄，僅憑這一條，就可以治罪了。這時候，隋文帝才下令結案，判處王世積死刑，而高熲則從輕發落，就地免職，退休回家。就這樣，因為一件子虛烏有的案子，高熲二十年的宰相當到了頭。
事情到了這一步，是不是就該結束了？
隋文帝可不這麼想。高熲雖然回家了，但是，聲望還在，朝廷里恐怕還有很多人在觀望，甚至等著他復出。另外，高熲雖然被免了官，但並未被剝奪爵位，還是齊國公，這也是政治資本，仍然能對朝政有所影響。
怎麼把這兩個政治資本都解除乾淨呢？隋文帝是個極有心機的人，他又實施了第二步計畫——苦肉計。
高熲被免職沒幾天，隋文帝就到他的兒子秦王楊俊家裡去了，還特地召高熲侍宴。酒席之上，高熲悲不自勝，獨孤皇后也嗚咽流涕。隨從的大臣都覺得，這應該是皇帝念舊，要召回高熲了。沒想到，隋文帝話鋒一轉，對旁邊的大臣說：「我於高熲，勝於兒子，雖或不見，常似目前。自其解落，瞑然忘之，如本無高熲。人臣不可以身要君，自雲第一也。」過去，我對高熲比對兒子還親，就算不見面，也總想著他，可是現在，我已經徹底忘掉他了。徹底到什麼程度？就好像他這個人從來沒有存在過一樣。所以，諸位愛卿，當大臣的不能自恃功勞，要挾君主啊，一旦這樣，可就萬劫不復了。隋文帝為什麼這麼說？這是在向大臣明確表態，高熲要挾皇帝，我已經徹底拋棄他了。
有道是「楚王好細腰，宮中多餓死」。皇帝這麼一表態，下面的人馬上就知道該怎麼辦了。高熲是齊國公，他的下屬齊國令很快就發難了。他聲稱，高熲的兒子，也就是太子的女婿高表仁對高熲說：「司馬仲達初託疾不朝，遂有天下。公今遇此，焉知非福！」過去司馬仲達也曾經假裝生病，不去上朝，後來怎麼樣？他的孫子司馬炎不是改朝換代、建立晉朝了嗎？那麼今天父親您被皇帝貶官待在家裡，未始不是一件好事。
司馬仲達就是曹魏的權臣司馬懿。他在家裝病，騙過了曹操，最後篡奪了曹家的天下。所以，這個告密的齊國令是想說，高熲父子也在圖謀造反。
既然有人檢舉，隋文帝趕緊命令有關部門拘捕高熲，仔細審問。這一審問，罪行就更多了。有人接著舉報，曾經有和尚對高熲說：「明年國有大喪。」也就是說，明年皇帝要死。還有一個尼姑對高熲說：「十七、十八年，皇帝有大厄，十九年不可過。」開皇十七年（597）、十八年（598），皇帝會遭大災的，十九年（599），他是堅決過不下去的。
這些罪狀串到一起，就成了一個首尾相連的故事：高熲整天求神問卜，希望皇帝快點死，他好學司馬懿，篡位奪權，這不是謀反是什麼？
審案子審到這一步，隋文帝終於發話了。他說：「帝王豈可力求！孔子以大聖之才，猶不得天下。熲與子言，自比晉帝，此何心乎！」皇帝難道是可以求得的嗎？那是天降大任才能得到的。像孔子那樣的聖人，都沒能當皇帝，高熲算什麼東西？居然也想自比皇帝？怎麼處置？免去爵位，除名為民吧。
就這樣，經過步步為營的羅織，高熲的政治資本徹底喪失，再也不能對朝廷發揮任何影響力了。當年，高熲剛剛當上僕射的時候，他母親就告誡他：「汝富貴已極，但有一斫頭耳，爾其慎之！」你現在位極人臣，什麼都有了，恐怕只剩砍頭了！這是一個久經生活歷練的老母親深深的憂慮。高熲也是一個聽話的孩子，一直小心翼翼，低調做人，但是，最後還是被捲入宮廷鬥爭，不免被罷廢的命運，真可謂世事無常。
高熲之廢是隋朝開皇末年的一件大事，對朝政產生了重大影響。
第一，朝廷里少了一個有能力、有節操、有見識的頂樑柱。要知道，高熲是隋朝政治素質最高的宰相，按照當時人的說法：「楊素粗疏，蘇威怯懦，元胄、元旻正似鴨耳。可以付社稷者，唯獨高熲。」幾個宰相之中，楊素個性粗疏，蘇威為人怯懦，而元胄、元旻就像鴨子一樣，叫喚叫喚可以，其實沒腦子。真正能託付江山社稷的，只有高熲一人。
現在，高熲離任，隋朝能把握政治方向，能辦大事的人沒有了。
第二，也是最直接的影響，高熲一廢，皇太子再也沒有有力的庇護人了。此刻，楊勇就像砧板上的那塊肉，楊素也罷，楊廣、獨孤皇后、隋文帝也罷，都要向他舉起刀子了。
那麼，在這種情況下，隋朝的政局，會出現什麼樣的巨變？