顯慶二年（公元657年）二月，武后的第三子、剛出生三個月的李顯被封為周王（武后次子李賢已於永徽六年封為潞王）；稍後，蕭淑妃的兒子雍王李素節被降為郇王。三月，潭州都督禇遂良再度被貶至更偏遠的桂州（今廣西桂林市）擔任都督；幾天後，中書侍郎、參知政事李義府升為中書令。
這一年春天，有心人不難發現，在這一系列人事變動的背後，都有皇后武媚的一隻纖纖玉手在撥弄乾坤。
同年八月，武后意識到時機成熟，開始對長孫一黨正式發難。
許敬宗、李義府這一對忠實鷹犬再次衝鋒在前。他們聯名上奏，稱侍中韓璦、中書令來濟與被貶在外的禇遂良暗中勾結，所以故意把禇遂良從潭州調到桂州；而桂州是軍事重地，可見韓、來二人是要以禇遂良為外援，「潛謀不軌」。
八月十一日，高宗下詔，將韓璦貶為振州（今海南三亞市）刺史，來濟貶為台州（今浙江臨海市）刺史；同時，再度將禇遂良貶為愛州（今越南清化市）刺史，將柳奭貶為象州（今廣西象州縣）刺史。
至此，長孫一黨被斥逐殆盡，只剩下一個光桿司令長孫無忌。
長孫無忌無比悲哀地發現，自己就像是一隻被剪除了羽翼的蒼鷹，再也不能翱翔於權力之巔了。
他比誰都清楚，貶謫流放的命運很快也會降臨到自己身上。
可是他無能為力。
從永徽六年的那場君臣博弈中敗下陣來之後，長孫無忌就意識到大勢已去了。無論他和他的親信們曾經建立了一個看上去多麼堅固的權力堡壘，可它終究是一座沙堡。
因為，倘若沒有君權的支持作為根基，外表再強大的相權，其實質也是脆弱的。除非這種相權具有取代君權的野心，而且確實也凌駕了君權。可長孫無忌顯然沒有這種野心和傾向，雖然自從高宗即位以來，他就一直表現得很強勢，可他充其量只是架空了君權而已，並沒有像歷史上很多權臣那樣完全凌駕於君權之上，或者動不動就擅行廢立。
從這個意義上說，長孫無忌的權力在很大程度上是李治自覺不自覺地讓渡出去的。雖說這和李治仁弱的性情有一定關係，但這種讓渡在任何政權過渡期間和新君年少的情況下，都屬於正常現象，並不能全然歸咎於李治的弱勢或長孫無忌的強勢。
既然長孫無忌的權力歸根結底是屬於李治的，那麼只要哪一天李治意識到這種權力的讓渡對自己構成了威脅，而自己也具有了收回權力的能力，各方面的助力和客觀條件又已成熟，他就隨時有可能把權力收歸己有。
因此，長孫無忌的悲劇可以說是註定的。
打一個不太恰當的比方，這就像一個自以為高明的馴獸師，把一隻幼獅放在籠子里飼養，雙方也建立了一定的感情。可等到獅子長大了，馴獸師卻對此渾然不覺，或者故意視而不見，依然把它當成沒有能力又需要保護的幼崽。這時候恰好又有一隻母獅子來到了籠子邊，不斷鼓勵籠中獅去勇敢地追求自由，這隻獅子就有可能憤然而起，和母獅子聯手撕破鐵籠，並最終咬死這個自以為高明的馴獸師。
所以，長孫無忌的真正錯誤並不在於從李治手裡拿走了太多權力，而是在於他沒有及時把這些權力歸還給李治。
他把暫時由他保管的東西，誤以為是他自己的了。
人生有兩條真諦，一條叫該出手時就出手，另一條叫該放手時就放手。
長孫無忌只明白前者，不明白後者，對權力過度迷戀，不懂得及時放手，最終當然要為此付出代價。
被一貶再貶的禇遂良來到迢迢萬里的愛州後，預感到這個邊瘴之地很可能是自己生命的終點。追憶往日榮華，禇遂良不禁悲從中來。
他遙望長安，黯然提筆寫下了一生中的最後一道奏疏：「從前，魏王泰與太子承乾爭奪儲位之際，臣不顧死亡，歸心陛下。當時，岑文本、劉洎力挺魏王，臣抗旨固爭，皆陛下所見。後來，臣與無忌等四人共定大策，及至先帝臨終，只有臣與無忌同受遺詔。陛下突遭巨變，不勝哀慟，臣以社稷為由寬慰陛下，陛下手抱臣頸。當時，臣與無忌處理政務，毫無缺失，僅用數日時間就安定了內外局勢。臣力量很小，而責任很重，動輒招致罪愆，就像一隻卑微的螻蟻，僅余殘生，乞請陛下哀憐！」
禇遂良在奏疏中處處提醒天子，不要忘了他和長孫無忌的功勞。然而，在高宗李治看來，如果說他和長孫在貞觀末年確有大功的話，這樣的功勞也早已被他們在永徽年間的居功自傲、大權獨攬徹底毀掉了。尤其是那次血染丹墀的死諫，禇遂良當面揭穿了天子隱私，讓李治彷彿在眾人面前裸奔了一回，這種羞辱讓李治無論何時都不會忘記。
不管禇遂良自認為在奏疏中如何真情流露、如何忠言耿耿，高宗李治都不可能為其所動。
結果可想而知，奏疏呈上如同泥牛入海，一點消息都沒有。
一年後，亦即顯慶三年（公元658年）冬天，禇遂良終於在無盡的失落和憂憤中閉上了眼睛，終年六十三歲。
隨著長孫一黨的垮台，高宗和武后的親信迅速躋身帝國的權力中樞。顯慶三年十一月，年近七旬的許敬宗終於如願以償，繼李義府之後晉陞為中書令；同日，還有一個叫辛茂將的大理卿也獲得晉陞，兼任侍中。
顯慶四年（公元659年）四月，武后終於圖窮匕見，授意許敬宗對長孫無忌發動了最後的，也是最致命的一次打擊。
許敬宗採取了不擇手段的方式，隨便找了一起案件，就把謀反的罪名一下子扣到了長孫無忌頭上。
當時，許敬宗和辛茂將剛好在會審一個案子，情節很簡單，就是一個叫李奉節的洛陽人指控太子洗馬韋季方、監察御史李巢交結朋黨。韋季方和李巢被捕後，許敬宗在審訊過程中可能動用了一些刑訊逼供的手段，韋季方不堪忍受，企圖自殺，結果自殺未遂。
本來這起案件和長孫無忌是八竿子打不著的，可許敬宗卻靈機一動，突然上奏說，韋季方之所以畏罪自殺，並不是因為交結朋黨的事，而是另有重大的隱情。
什麼隱情？
許敬宗稱：「季方欲與無忌構陷忠臣近戚，使權歸無忌，伺隙謀反，今事覺，故自殺。」（《資治通鑒》卷二百）意思是說，韋季方企圖勾結長孫無忌，陷害朝廷忠良和皇親國戚，使朝政大權重新回到長孫無忌手中，然後伺機發動政變；只因事情敗露，韋季方才畏罪自殺。
案情發展到這裡，當然已經遠遠超出了朋黨案的範疇，變成了性質嚴重的謀反案。
而涉嫌謀反的主犯就是當朝太尉、天子舅父長孫無忌。
很顯然，許敬宗對長孫無忌的控告並沒有任何真憑實據，基本上就是空口白牙的誣陷之詞。但是，有了永徽三年的房遺愛案，如今這起案件就絲毫不讓人覺得奇怪了。許敬宗的手法，與長孫無忌當年一手炮製的房遺愛案如出一轍。
也就是說，許敬宗是在照著葫蘆畫瓢，以其人之道還治其人之身！
聽到長孫無忌涉嫌謀反的消息時，高宗李治作出大驚失色的表情，說：「怎麼會有這種事？舅父遭到小人離間，小小的猜忌可能會有，何至於謀反呢？」
許敬宗答道：「臣推究案情始末，長孫無忌反狀已露，陛下卻猶然懷疑，這恐怕不是社稷之福。」
李治黯然落淚，說：「我家不幸，親戚間屢有異志，往年高陽公主與房遺愛謀反，今天元舅還是這樣，讓朕無顏面對天下之人。此事若屬實，該如何處置？」
許敬宗說：「房遺愛乳臭小兒，與一女子謀反，能有什麼作為！可長孫無忌就不同了，他追隨先帝謀取天下，天下服其智；擔任宰相三十年，天下畏其威。他一旦發動，陛下派誰抵擋？如今幸賴宗廟有靈、皇天嫉惡，從一件小事引出一個大奸，實乃天下之慶。臣現在擔心的是，長孫無忌知道韋季方自殺未遂，情急之下發動政變，攘臂一呼，同惡雲集，必為宗廟之憂。願陛下速作定奪！」
李治半晌無語，最後讓許敬宗再深入調查，以期掌握確鑿證據。
許敬宗不負天子所望，連夜突審韋季方，第二天一早就向李治作了稟報。他說：「韋季方昨夜已經對他的罪行供認不諱，承認和長孫無忌一同謀反。臣又問韋季方，無忌是國之至親，累朝受寵蒙恩，有何仇恨非反不可？韋季方供稱，韓璦私下曾經對長孫無忌說：『當初柳奭、禇遂良曾勸您一起擁立梁王為太子，如今太子被廢，皇上必然對您也起了猜忌之心，太常卿高履行（長孫舅父高士廉之子，顯慶元年十二月被貶為益州長史）的遭遇就是最好的證明。』長孫無忌聽韓璦這麼說，不免憂愁恐懼，於是極力謀求自安之計。後來他看見長孫祥（長孫無忌的族侄，由工部尚書任上出為荊州長史）又被貶謫，韓璦等人也接連獲罪，便日夜與韋季方一起密謀，準備反叛。」
說完這些，許敬宗最後作出了總結陳辭：「臣依照韋季方的口供深入調查，發現均與事實吻合，請陛下准予