開皇九年（589）平陳戰爭結束後，隋文帝的家庭開始出現一系列問題。太子楊勇被廢，蜀王被廢，秦王夭亡，一個好端端的家庭四分五裂。
事實上，在同一時期，不僅隋文帝的家庭出現了問題，他在治國理政方面也同樣出現了嚴重的失誤，隋朝初年那種君臣協力、奮發圖強的局面也因此不復存在。
第一個問題，隋文帝開始驕傲自滿，追求生活上的享受了，最突出的表現就是興修仁壽宮。在講太子被廢的時候，已經提到過仁壽宮了，那麼，這個行宮是怎麼修起來的？這還是在開皇十三年（593）。當時，國內戰爭已經基本結束，財政上又出現了幾百年未曾見過的倉庫皆滿的喜人場景，國家一副太平景象，隋文帝都有點找不到奮鬥的方向了。再加上他已經年過半百，辛苦了這麼多年，也想稍微享受一下了。
怎麼享受？正好，這一年年初，隋文帝到長安西面的岐州祭祀，覺得這裡山長水闊，很適合生活，就決定在這裡修一座行宮。這個想法非常不錯，問題是，找誰主持修建呢？當時楊素風頭正盛，隋文帝就把這個任務交給他了。
楊素適合不適合去完成這項任務呢？從能力來講，當然不容置疑，但是，楊素有一個弱點，那就是奢侈。在隋朝，如果你想找出一個最有錢的官員，那肯定就是楊素了。楊素富裕到什麼程度？按照史書的記載，他有「家僮數千，後庭姬妾曳綺羅者以千數。第宅華侈，制擬宮禁」。意思是說，他有好幾千家奴，在後庭穿著綾羅綢緞的高級姬妾，也有一千多人，他的房子修得富麗堂皇，比皇宮還好。
楊素怎麼會這麼有錢？因為他戰功赫赫。隋文帝是一個能辦大事的皇帝，雖然生性吝嗇，但是獎賞功臣從不含糊。而楊素在平江南、平突厥等重大戰爭中都立下了赫赫戰功，當然被賞賜很多，這樣一來，楊素慢慢成了富翁，生活也極盡奢侈。
讓這樣一個人來主持修建行宮，問題自然就出來了。楊素品位高，他按照自身的品位來設計仁壽宮，把仁壽宮設計得美輪美奐。按照史書的記載，就是「夷山堙谷以立宮殿，崇台累榭，宛轉相屬」。寧可削山填谷，務必要弄出一大塊人造平地，好修建大規模的宮殿建築群。工程量這麼大，當然得耗費大量的錢財，也就遠遠超過預算了。
光是奢侈也罷了，更要命的是，楊素還有另一個弱點——暴虐。楊素不是每次都在戰場上派敢死隊衝鋒嗎？只要打了敗仗，回來多少處死多少。
這樣嚴明的軍紀是楊素克敵制勝的法寶，在戰場上有它的合理性。問題是，現在他又拿這套做法來對付服勞役的老百姓了。這些老百姓在楊素的嚴厲監督之下晝夜趕工，稍稍體力不支，馬上就被視為無用之人。
怎麼處理這些無用之人？在山裡建行宮要填平山谷，創造更多的平地。楊素下令，就用這些民夫去填，直接把他們推下山谷，上邊再蓋上土石，打成地基得了！在這樣殘酷的勞役之下，兩年下來，累死的民夫就達到一萬多人。這不是對盛世莫大的諷刺嗎？
開皇十五年（595）三月，仁壽宮終於修好了。當時高熲還是首席宰相，隋文帝先派高熲去驗收。高熲可是和隋文帝一起開創節儉型政府的人物，跟楊素的價值觀很不一樣，他一看這個宮殿如此豪華，馬上心疼國庫，也心疼百姓了，回來之後如實彙報說：「頗傷綺麗，大損人丁。」建得倒是挺好，問題是好過頭了，損失了好多老百姓。
隋文帝是個節儉的好皇帝，一聽高熲這樣彙報，心裡咯噔一下，就有了先入為主的壞印象。
三月底，隋文帝終於抽出時間親自去視察了，這一視察，印象更壞了。他在沿途就聽到一些說法，說楊素為了趕工期，把好多民夫都累死了，有些人死後填了山谷，還有些乾脆就地焚燒了事，這也太不愛惜民力了！所以，一到仁壽宮，隋文帝就怒氣沖沖地說了一句：「楊素竭百姓之力，雕飾離宮，為吾結怨於天下。」楊素用盡百姓的財力來修建離宮，他這麼干，是在給我招恨啊。
這話傳到楊素耳朵里，可讓他惴惴不安了一陣子。本來是竭盡全力想討好皇帝，沒想到馬屁拍到馬腿上了。怎麼辦？
這時候，有個人把楊素的擔憂看在眼裡，悄悄給他出了個主意。誰呢？楊素的侄女婿，也是仁壽宮的監工——封德彝。封德彝對楊素說，皇帝聽皇后的，現在既然皇帝對您有成見，您不如先跟皇后溝通一下，只要皇后認可，皇帝肯定不會責備您，沒準兒還有賞賜呢。
楊素一聽主意不錯，趕緊悄悄找到獨孤皇后，對她說：「帝王法有離宮別館，今天下太平，造此一宮，何足損費！」按道理來講，帝王就應該是建離宮別館的，現在天下如此太平，我就幫皇帝修這麼一座離宮，這有什麼不可以的？花的那點錢算什麼？
這一句「天下太平」真的把獨孤皇后給打動了。是啊，我們以前克勤克儉，不就是為了能夠天下太平嗎？現在既然已經天下太平了，幹嗎還要一直當苦行僧呢？
第二天一早，隋文帝召見楊素。楊素雖然提前做了工作，心裡還是不太踏實，磨蹭了好半天才進去。進入宮中，一看隋文帝和獨孤皇后並排坐在那裡，面色和緩，他終於放下心來。果然，剛一說起此事，獨孤皇后就發話了。她說：「公知吾夫婦老，無以自娛，盛飾此宮，豈非忠孝！」你知道我們夫妻年紀大了，也沒別的愛好了，所以給我們修了一座好宮殿，讓我們也享受享受，是個忠孝之臣啊！
隋文帝聽了，也面帶喜色，連連點頭。就這樣，楊素靡費資財，草菅人命，不僅沒有受到懲罰，反倒賜錢百萬，賜絹三千段。
怎麼評價修仁壽宮這件事？這件事其實並不大，客觀地說，作為一朝皇帝，興修一兩座離宮別館也不算過分。問題是，從這件事上可以看出，隋文帝夫婦的追求改變了，在巨大的成就面前，他們已經不那麼願意自我約束，自我剋制了。而隋文帝的自我約束，自我剋制，其實正是隋朝在魏晉南北朝的亂世中脫穎而出的法寶。現在，在生活上，隋文帝已經露出了放縱的苗頭，那麼，在其他方面的任性和放縱也就為期不遠了。