在父皇面前失寵已經夠倒楣了，更糟糕的是，楊勇在母親這邊也失寵了。
在父親那邊是因為不夠艱苦樸素、不夠謙虛謹慎，在母親這邊則是因為生活作風不夠檢點，不能堅守一夫一妻制。
本來，楊勇還沒當上太子時，楊堅夫婦就給他娶了個姓元的姑娘。這位姑娘的爸爸名為元孝矩，是北魏皇族，也是北周名將，和楊勇門當戶對，應該是門好親事。
可能正是因為皇族出身，又是武將之女的緣故，元姑娘剛強嚴肅有餘，溫柔活潑不足。這樣的性格特點很對婆婆獨孤皇后的胃口，但可惜，完全不是楊勇喜歡的類型。楊勇曾經向叔叔抱怨說：「阿娘不給我一好婦，真可恨！」母親沒給我娶一房好媳婦，真可恨啊！所以，楊勇當了太子後，雖然立元氏為妃，但是，對她缺乏熱情。
楊勇不喜歡元妃，那他喜歡誰呢？他喜歡的人不少，但最得寵的是一位姓雲的姑娘。雲姑娘的爸爸名為雲定興，是個手藝人，在古代地位很低。但是，此人心眼特別靈活，替人設計馬鞍，這款馬鞍立刻成了京城裡的流行樣式，再替人設計帽子，這種帽子馬上也贏得滿大街人效仿。
可以想像，這樣的爸爸調教出來的女兒也是心思靈動。另外，既然是寒門小戶出身，便不會整天端架子，相反，一定特別溫柔體貼。
楊勇在元姑娘面前沒有感受過的生活樂趣，在雲姑娘這裡全找回來了，所以，沒事整天往雲定興家裡跑，和雲姑娘偷偷約會，還生了孩子。既然孩子都生了，雲姑娘當然不能再待在外面。楊勇把她接進宮裡，封為昭訓，相當於皇帝的妃子，接連和她生了三個兒子。這樣一來，元妃徹底失寵了。
楊勇的這種行徑按照古代一般標準來看並不出格，但是，可把一個人得罪透了。
誰呢？他母親，獨孤皇后。獨孤皇后為什麼不滿意？因為她奉行一個在今天看來極端合理、在當時看來極端出格的原則：一夫一妻制。
獨孤皇后出身北朝貴族，北朝貴族女性在歷史上是鼎鼎有名的嫉妒成性，而獨孤皇后在此方面態度尤其堅決。根據《隋書·后妃傳》記載，十四歲的獨孤伽羅在新婚之夜就讓丈夫楊堅發下誓言，終生只有她一個妻子。
獨孤伽羅為什麼這麼霸氣十足？除了對自身比較自信之外，更重要的是，獨孤夫人的爸爸獨孤信是楊堅爸爸楊忠的老上級，而獨孤夫人的姐姐當時已是北周皇后，所以，獨孤夫人算是下嫁，自然強勢一些。
可能有人會說，雖然如此，後來獨孤信很快就倒台了，楊堅犯不上怕她一輩子呀！沒錯，後來獨孤信死了，但是，獨孤夫人成長起來，成了楊堅的賢內助，讓楊堅對她又敬又愛。
舉個簡單的例子。北周末期，楊堅剛開始輔政，忐忑不安，還在猶豫當權臣或直接篡位當皇帝時，獨孤夫人派人傳話說：「大勢已然，騎獸之勢，必不得下，勉之！」現在形勢如此，你已經騎虎難下，所以不如往前再走一步。
這句話一下子堅定了楊堅的信心。這種審時度勢的能力和堅強果敢的性格，讓楊堅佩服得五體投地，情願和她終身廝守。即便後來當了皇帝，還是自動自覺地堅守當年的諾言。雖然也按照慣例在後宮設置一些妃嬪的職位，但是，這些職位全都是擺設，而且品位比一般朝代都低，只有獨孤皇后三千寵愛在一身。
獨孤皇后這樣做，筆者個人非常認可。問題是，她不僅要求隋文帝這樣做，也要求所有人都這樣做，這就有點脫離時代了。
舉個例子。當時有位大臣名為長孫覽，此人在和北齊的作戰中有功，北齊滅亡後，皇帝把齊後主嬪妃庫狄氏賞給他當小妾。沒想到，長孫覽對庫狹氏一見鍾情，冷落了原配夫人鄭氏。鄭夫人一生氣，一狀告到獨孤皇后那裡。獨孤皇后是大老婆權益保障協會主席，一聽鄭夫人控訴，二話沒說，勒令長孫覽和庫狄氏離婚，終生不許往來。
事實上，不光對長孫覽如此，獨孤皇后無論聽說哪位大臣納妾，都相當反感，如果誰家小妾懷孕更不得了了，她必定讓隋文帝把這名大臣降級，真是嫉惡如仇。
可是，太子楊勇居然敢無視母親訓誡，冷落母親選中的原配夫人，寵幸一個外面認識的下等人，當然讓她非常惱火。
就這樣，楊勇不僅得罪了父皇，還得罪了母后。
總結一下，楊勇的問題到底出在哪裡？拋開上述具體的事情不談，楊勇真正的問題出在他的性格。
什麼性格呢？《隋書》寫得非常清楚。就是「率意任情，無矯飾之行」。非常任性，隨心所欲，不喜歡偽裝。換句話說，明知道自己有些作法不符合皇帝、皇后的期待，但是，還是我行我素。這樣的性格和隋文帝夫婦簡直格格不入。隋文帝夫婦性格均嚴肅、刻板、苛刻。責己嚴，責人更嚴。在這樣一對夫婦面前，任性簡直與犯罪無異。
楊勇有這樣的性格，確實不太適合當隋文帝夫婦的太子，失寵當然也在所難免。