簡單地說，高熲地位不保，是因為他得罪了獨孤皇后。
獨孤皇后跟高熲關係不是很密切嗎？高熲曾經是獨孤皇后的爸爸獨孤信的家臣，在獨孤信倒台後還不忘舊情，一直出入於獨孤皇后的家門，所以深得獨孤皇后的敬重。楊堅輔政之初，第一時間就去找高熲幫忙，應該也是出自獨孤皇后的推薦。獨孤皇后對隋朝的政治影響力相當強大，當時和隋文帝合稱「二聖」，高熲出自獨孤皇后的門下，對他的政治前途自然意義重大，事實上，高熲能夠執掌隋朝的朝政二十年，一方面固然是因為他自己的才幹了得，但在另一方面，獨孤皇后的大力支持也是重要因素。
問題是，有一句話叫作「成也蕭何，敗也蕭何」，獨孤皇后如此強悍，她欣賞高熲的時候，固然是難得的貴人，可一旦翻了臉，殺傷力也就不是一般的強悍。恰恰就在這個時候，獨孤皇后跟高熲翻臉了。原因是兩件事。
第一件事，獨孤皇后覺得高熲瞧不起她。這還得從一個桃色事件說起。
隋文帝雖說當了皇帝，但是還模範地執行一夫一妻制。可是有一句話說得好，一個人做一件好事並不難，難的是一生只做好事，不做壞事。隋文帝當了一輩子模範丈夫，臨到晚年，卻犯了一次錯誤。
有一天，隋文帝到仁壽宮度假，心情放鬆下來，對什麼事情都有興趣。就在這種情緒的鼓舞下，他注意到了一個宮女。這個宮女不僅長得漂亮，而且氣度不凡，看起來大有來歷。隋文帝把她叫過來一打聽，原來是尉遲迥的孫女。
當年，尉遲迥可是楊堅當皇帝最大的障礙。北周宣帝死後，楊堅矯詔輔政，馬上引發了三總管起兵，尉遲迥作為勢力最大的那一個，當時可讓楊堅沒少擔心。
後來，尉遲迥兵敗被殺，他的孫女也被沒入後宮，成了宮女。一聽宮女說完身世，楊堅不由得回想起了當年金戈鐵馬的崢嶸歲月，內心也百感交集。就在這種複雜的心境下，他臨幸了這個宮女。
俗話說不比不知道，一比嚇一跳。獨孤皇后再好，畢竟已經四十多歲了，人老珠黃，跟二十齣頭的尉遲氏相比立馬黯然失色。楊堅一下子就被美色沖昏頭腦了，也顧不得獨孤皇后的嫉妒了，對尉遲氏山盟海誓，保證退朝之後再來看她。
獨孤皇后是六宮之主，出了這樣的事情，她馬上就知道了。但她裝得跟沒事人一樣，照樣和隋文帝一起出門上朝，把隋文帝送到朝堂之後，自己又折回後宮，一頓亂棍打死了尉遲氏。
隋文帝惦記著早晨的約定，退朝之後，興沖沖地來找尉遲氏，這才發現早被皇后打成了爛羊頭。這個突如其來的變故讓隋文帝太傷心了，堂堂一個皇帝，連一個小宮女都保不住，這皇帝當得也太窩囊了！
怎麼辦？把獨孤皇后廢掉？隋文帝還真沒有那份勇氣，盛怒之下，他只好離家出走了。按照《資治通鑒》的記載，就是「單騎從苑中出，不由徑路，入山谷間二十餘里」。騎著一匹馬，從禁苑跑出去了，也不管有路沒路就往前闖，一直跑出去二十多里，跑到山裡去了。
一聽說皇帝跑了，朝廷這邊可慌了神，國家哪能沒有皇帝？趕緊去追吧！誰去呢？高熲和楊素這兩個宰相當然義不容辭。好不容易在山裡找到隋文帝，兩個人趕緊扣馬苦諫，讓皇帝回去。
隋文帝長嘆了一聲，說：「吾貴為天子，不得自由！」我雖然貴為天子，但是你們看看，皇后把我管成這個樣子，一點自由都沒有。
看到隋文帝這麼苦惱，高熲不免勸了幾句：「陛下豈以一婦人而輕天下！」皇后不過是個婦人，頭髮長，見識短，你豈能因為生她的氣就拋棄天下？
高熲這是什麼意思？這是給隋文帝找台階下呢，說皇后不值得您生氣，陛下大人大量，為國家考慮，還是回去吧。隋文帝也知道高熲的一番苦心，總在外面也不是辦法，所以，磨蹭到半夜，終於還是回去了。
回去之後，獨孤皇后也賠了不是，夫妻雙方把酒言歡，這個事情就過去了。可是到了後來，獨孤皇后細細打聽隋文帝回來的經過，聽說高熲居然管她叫「一婦人」，不禁動了無名之火。你是我們家的家臣出身，我這麼多年一直庇護你，你怎麼敢說我不過是一個婦人？從此對高熲產生了不滿。就這樣，因為一句無心之言，高熲把強勢的獨孤皇后得罪了。
這樣強勢的皇后，得罪一次已經夠受的了，沒想到，高熲還要得罪第二次。這次是因為高熲的妾生了兒子。
開皇十八年（598），高熲的妻子去世了。獨孤皇后雖然對高熲有所不滿，但是，畢竟是幾十年的交情了，這時候還是挺同情他的，就對隋文帝說：「高僕射老矣，而喪夫人，陛下何能不為之娶！」高僕射那麼大歲數了，夫人去世，身邊沒有一個照應的人，陛下再給他娶一房吧。勸隋文帝幫他再娶一個老伴，好照顧他。
這本來是一番美意，但是，高熲卻流著眼淚回絕了。他說：「臣今已老，退朝，唯齋居讀佛經而已。雖陛下垂哀之深，至於納室，非臣所願。」我老了，退朝回家就吃齋念佛，不想再娶了。伉儷情深，這是獨孤皇后最樂於見到的事情了，對高熲的印象不由得大為改觀。
問題是，沒過多久，情況變了。高熲的愛妾居然生了一個兒子。
這個消息一傳出來，可把獨孤皇后氣壞了。獨孤皇后平生信守一夫一妻制的原則，最恨大臣納妾，現在，高熲不僅有小妾，還跟小妾生兒子，這不是道德敗壞是什麼？道德敗壞也就罷了，還要在皇帝面前假裝清心寡欲，這不是兩面人嗎？有了這兩件事，高熲在獨孤皇后心目中的形象徹底改變了。再加上高熲還公然支持自己不喜歡的太子楊勇，獨孤皇后真是新仇舊恨一起湧上心頭，對高熲必欲除之而後快。
怎麼才能除掉高熲呢？
獨孤皇后的做法是在隋文帝面前挑撥、挑撥再挑撥。從不同角度出發，挑撥隋文帝和高熲之間的關係。
第一個角度，從高熲不忠誠入手。獨孤皇后借著高熲的愛妾生子這件事發話了。她對隋文帝說：「陛下尚複信高熲邪？始，陛下欲為熲娶，熲心存愛妾，面欺陛下。今其詐已見，安得信之！」您要給高熲娶妻，他是心裡想著愛妾，才不肯娶的，可是卻騙您說什麼吃齋念佛，無心再娶，這就是公然欺詐。您怎麼還會信任他？
那麼，獨孤皇后這番挑撥對隋文帝有沒有影響？當然有。隋文帝和任何皇帝一樣，最看重的就是大臣的忠誠，最不能容忍的就是心口不一。
高熲這個事倒是不大，但是一滴水可以折射太陽的光輝。當面欺君，背後又當如何呢？從此之後，隋文帝也開始疏遠高熲了。這樣一來，獨孤皇后的第一次挑撥也就成功了。
第二個角度，從高熲工作不儘力入手。開皇十八年（598），高句麗侵略遼西地區。當年，高句麗所在的朝鮮半島曾經劃入過漢朝的版圖，隋文帝此時戰無不勝，早想把它收入囊中。沒想到隋朝還沒動手，高句麗居然主動興兵犯邊，隋文帝當然不能容忍。馬上派漢王楊諒為元帥，高熲為元帥長史，率領大軍討伐高句麗。
問題是，高句麗雖然是一個小國，但因為地處偏遠的東北地區，又有水道阻隔，運糧運兵都有困難，所以，高熲並不同意這次出兵，也苦苦勸諫過隋文帝。
但是，隋文帝盛怒之下，拒不接受，所以他只好跟漢王楊諒一起去了前線。去了之後，果然因為河水泛濫，運輸困難，最後無功而返。
作為皇帝，應該怎樣看待這次失敗？正常的看法應該是承認決策失誤，反思此前高熲的意見。但是，獨孤皇后對隋文帝講：「熲初不欲行，陛下強遣之，妾固知其無功矣！」高熲本來就不想去，陛下非要派他去，我就知道他會無功而返的。
什麼意思呢？仗為什麼打輸了？還不是因為高熲根本就不想打！這就等於把戰敗的責任從隋文帝的身上轉嫁到高熲身上了。
這樣的解釋，隋文帝太愛聽了，不僅愛聽，也非常願意相信。當然，因此也就對高熲更加不滿了。這是第二次挑撥。
第三個角度，從高熲驕橫跋扈入手。前面講過，討伐高句麗，是由漢王楊諒挂帥。楊諒是隋文帝最小的兒子，少不更事，在前線難免發些不切實際的高論。而高熲是多年的老宰相，吃的鹽比楊諒吃的米還多，所以，也不怎麼願意理會小王爺那些不經之談。
高熲這麼做固然是一心為國，不肯為了敷衍一個小王子而耽誤了國家大事，但是，楊諒可不是這麼理解的，他覺得，高熲就是輕視他，這可太傷自尊了，所以，回來之後，楊諒就哭著對母親說：「兒倖免高熲所殺。」在前線我差點被高熲殺害。獨孤皇后一聽怒不可遏，立馬彙報給了隋文帝，說高熲對漢王不尊重。這可又觸動隋文帝的敏感神經了。
隋文帝雖然自己對兒子要求很嚴格，但是，在大臣面前，倒是極力維護王子的地位。
隋文帝為什麼要這樣做？很簡單，就是為了提升皇權，提升皇家的威嚴。但是現在，高熲居然拿漢王不當回事，這不是典型的居功自傲，