公元656年正月初七，李治做出了一個出人意料的舉動：改元。
改元就是更改年號，李治下令，正月初七之前為永徽七年，正月初七之後為顯慶元年，從此永徽成為過去，顯慶已經來臨。
長孫無忌在聽到改元的詔令之後，心頭一顫，他知道這是皇帝改弦易轍的開始，他的好日子到頭了。長孫無忌為什麼會這麼想呢？
這還得從「永徽」這個年號說起。
「永徽」這個年號是在貞觀二十三年之後起用的，「永徽」的永是永遠的意思，「永徽」的徽是標誌、旗幟的意思，永徽組合到一起，其實就是繼承、延續、發揚，說白了，就是繼續貞觀年間的事業，堅持貞觀年間的道路。因此，在中國歷史上，永徽年間的統治也被視為「貞觀之治」的延續。
現在，年號改了，長孫無忌從中嗅出了不同的味道，看來，自己過時了。
從李治改元之後，長孫無忌便將自己的精力轉移到監修國史之上，他知道李治與武則天的雙劍合璧已經不可阻擋，他這個舅舅還是知趣點，遠遠地走開吧。
在貞觀一朝以及永徽年間紅了三十年的長孫無忌不會想到，他的刻意遠離並沒有幫他躲開禍端，相反，針對他的禍端正在慢慢醞釀。
武則天的追討開始了，她要清算那些曾經反對立後的人。
清算從褚遂良開始，然後由褚遂良波及其他人。
褚遂良在兩次激烈冒犯李治後就遭到了打擊，從中書令一下子被貶為潭州都督，中書令是正三品的京城高官，而潭州都督則是總部位於今天湖南長沙的地方官而已。
對褚遂良的打擊還遠遠沒有結束，不久他又被從潭州趕到了桂州，桂州在今天的廣西桂林市。
貶到桂州還不是結束，而是開始。
顯慶二年，褚遂良的桂州都督身份被許敬宗和李義甫解釋為另外一種意思：侍中韓瑗和中書令來濟聯合褚遂良意圖政變，褚遂良所在的桂州是軍事重地，可以用作韓瑗和來濟的外援。
欲加之罪，何患無辭。
本來是對反對立後的重臣進行打壓，現在卻以意圖謀反之名。
在「意圖謀反」的罪名下，侍中韓瑗被貶為振州州長，中書令來濟被貶為台州州長，終生不準到長安朝見。振州是今天的海南三亞，那個年代沒有今天的海景房，有的只是一地蠻荒；台州是今天的浙江臨海，那時同樣是欠發達地區。
不幸的人總是相似的，與韓瑗、來濟一樣，褚遂良和柳奭也被貶了。
褚遂良由桂州都督被貶為愛州都督，柳奭由榮州州長被貶為象州州長，兩人的被貶都是折騰死人不償命。褚遂良的愛州在今天越南的清化市，柳奭的象州在廣西象州縣，一個從廣西前往越南，一個從四川前往廣西，在交通基本靠走的年代，可以想像路途上的艱辛。
褚遂良輾轉從桂州到了愛州，從此長安已是千里之外。
委屈的褚遂良給皇帝李治寫了一封信，信中追憶了自己對李治的忠心：
昔日李泰和李承乾爭儲時，臣不顧危險，歸心陛下。當時岑文本和劉洎向先帝力薦李泰，又是臣挺身而出，竭力爭取，這些都是陛下親眼看到的。最後我和長孫無忌等四人一起擁立，先帝最終同意。
等到先帝駕崩時，臣和長孫無忌一起在病榻之前接受遺詔。陛下您當時突遭巨變，傷心不已，臣以「社稷為重」寬慰陛下，當時陛下手抱著我的脖子，痛哭不已。後來臣與長孫無忌一起處理國家大事，毫無紕漏，數日之內，內外平靜。
然而，臣畢竟力量太小，而責任太重，一舉一動，都容易犯錯。臣就像一隻螞蟻，剩下的生命是有限的，懇請陛下可憐！
褚遂良這封信寫得嘔心瀝血，既陳述了自己的忠心，又向皇帝俯首乞憐，尤其是信的結尾寫得聲淚俱下，我見猶憐。
褚遂良寫信的目的很簡單，就是想終老長安，然而就是這個小得不能再小的願望也沒能實現，接到信的李治居然視而不見，不作回應。
一年後，褚遂良在愛州病逝，享年六十三歲，那個被李世民稱為「小鳥依人」的託孤重臣就這樣在遠隔長安數千里的愛州離開人世。
在褚遂良生命的最後時刻，或許他是遺憾的，不過如果他地下有知，他應該感到欣慰，至少他可以帶著自己的腦袋平靜地入土為安。