不過，高熲畢竟是國家大臣、多年的宰相，要剔除他，總得有個能服人的理由。而對付大臣，沒有比謀反更好的理由了。
開皇十九年（五九九年），高熲奉命率軍追擊突厥，仗打到一半，高熲上奏，要求增兵。這本來是很正常的一件事，可是，有大臣揣摩隋文帝的意思，告高熲謀反，說高熲要兵不是想往前打，他是想往回打，有謀反企圖！
大臣一告狀，隋文帝心裡七上八下，要不要就此治高熲的罪？有點猶豫。沒想到，前方戰事轉折太快，還沒等隋文帝猶豫完，高熲已經率領大軍凱旋而歸，這一次謀反告狀也就不了了之。
不過，有句話說不怕賊偷，就怕賊惦記。隋文帝既然惦記上高熲，自然不可能就此罷手。
很快，又一件謀反案出現。只不過，這次謀反案的主角不是高熲，而是高熲當年推薦的一名將軍王世積。此人被仇人告發，說他曾經請人看相，看相的說他貴為國君。還說他擔任涼州總管期間，曾和手下議論過涼州是不是用武之地，可不可以做為根據地，圖謀大事。
這件謀反案其實也是紅口白牙，拿不到什麼具體的證據。但是，王世積是高熲推薦的，隋文帝馬上敏感起來了，要求司法部門認真審問，順藤摸瓜。
怎麼認真審問？那就打吧！打來打去，王世積招供了，他確實想謀反，而且和高熲有牽連。有些宮廷里的情況，他就是聽高熲說的。這把高熲拖下水了！一聽王世積這麼招供，隋文帝假裝大驚失色，下令徹查此案，還宰相一個清白。
徹查的結果如何？不用說，肯定對高熲不利。有關部門報告說，根據調查，王世積和高熲確實過從甚密，還送過高熲名馬。這是受賄，就憑這一條，即可治罪。這時候，隋文帝下令結案，判處王世積死刑。高熲則就地免職，讓他退休。就這樣，因為一件子虛烏有的案子，高熲二十年的宰相當到了頭。
事情到了這一步，是不是結束了？
隋文帝可不這麼想。高熲雖然回家了，但是聲望還在，朝廷里恐怕還有很多人在觀望，甚至等著他復出；另外，高熲雖然免了官，但是爵位仍在，還是齊國公，這也是政治資本，依然能對朝政發生影響。
怎麼把這兩個政治資本連根拔除呢？隋文帝是個極有心計的人，他實施第二步計畫。
這一次，他使了一條苦肉計。
高熲免職沒幾天，隋文帝就到兒子秦王楊俊家裡去，而且，特地召高熲侍宴。酒席上，高熲自然悲不自勝，獨孤皇后也嗚咽流涕。等到感情表達得差不多了，隋文帝對旁邊的大臣說：
我於高熲勝兒子，雖或不見，常似目前。自其解落，瞑然忘之，如本無高熲。人臣不可以身要君，自雲第一也。
意思是，過去，我對高熲比對兒子還親，就算不見面，也總想著他，可是現在，我已經徹底忘掉他了，就好像他這個人從來沒有存在過一樣。所以，諸位，為大臣者不能自恃功勞，要脅君主，一旦如此，可就萬劫不復了。這是在向大臣明確表態，我已經徹底拋棄高熲了。
有道是楚王好細腰，宮娥多餓死。皇帝這麼一表態，馬上下面的人就知道該怎麼辦了。高熲是齊國公，他的下屬齊國令很快就發難了。他告發高熲的兒子高表仁，也就是太子的女婿對高熲說：
司馬仲達初託疾不朝，遂有天下。公今遇此，焉知非福！
過去司馬仲達也曾託疾不上朝，後來改朝換代、建立晉朝了。今天父親您被皇帝貶官待在家裡，未嘗不是一件好事。司馬仲達是曹魏的權臣司馬懿。他在家裝病，騙過了曹爽，最後篡奪了曹家的天下。所以，這名告密的齊國令是說，高熲父子圖謀造反。
隋文帝一聽，趕緊命令有關部門拘捕高熲，審問他。這一審問，罪行更多了。比方說，有人舉報，曾經有和尚對高熲說：「明年國有大喪。」也就是說，明年皇帝會死。還有個尼姑也對高熲說：「十七、十八年，皇帝有大厄，十九年不可過。」開皇十七年（五九七年）、十八年，皇帝會遭大災；十九年，他絕過不了，到十九年一定會死。
這些罪狀串到一起，代表高熲整天求神問卜，希望皇帝快點死，他好做司馬懿，好篡位，這不是謀反是什麼？
審案子審到這一步，隋文帝終於發話了。他說：
帝王豈可力求！孔子以大聖之才，猶不得天下。熲與子言，自比晉帝，此何心乎！
隋文帝說，皇帝難道是求得的嗎？那是天降大任才能得到的，像孔子那樣的聖人，都沒能當皇帝，他高熲算什麼東西？居然想自比皇帝？那怎麼處理呢？免去爵位，除名為民。
至此，高熲的政治資本徹底喪失，再也不能對朝廷發揮任何影響力。當年，高熲剛當上僕射時，他母親就告誡他：「汝富貴已極，但有一斫頭耳，爾其慎之！」你現在位極人臣，什麼都有了，恐怕只剩砍頭了！高熲是個聽話的孩子，一直小心翼翼、低調做人，但是，最後還是捲入宮廷鬥爭，不免被罷廢的命運，真是世事無常。
高熲之廢是隋朝開皇末年一件大事，對朝政產生了重大影響。
第一、朝廷里少了一個有能力、有節操、有見識的頂樑柱。要知道，高熲是隋朝政治素質最高的宰相，按照當時人的說法，是：
楊素粗疏，蘇威怯懦，元胄、元旻正似鴨耳。可以付社稷者，唯獨高熲。
當時人評論幾個宰相，說楊素這人很粗疏，蘇威這人很怯懦，像元胄、元旻那些傢伙就像鴨子一樣，叫喚叫喚可以，沒腦子。現在，高熲離任，隋朝能把握政治方向、能辦大事的人沒有了。
第二、也是最直接的，高熲一廢，皇太子再也沒有有力的庇護人。現在，他是砧板上的肉，楊素也罷，楊廣、獨孤皇后、隋文帝也罷，都要向他舉起刀子了。
在這種情況下，隋朝的政局會出現什麼巨變呢？