要講隋煬帝的用人風格，當然是看宰相隊伍最有代表性。隋煬帝都用什麼人當宰相？這在他的統治前期和中後期是相當不一樣的。
隋朝建立了三省制，三省長官就是宰相。隋煬帝初年，三省長官是如下幾位。
第一，尚書令楊素，他是擁立隋煬帝的大功臣，也是關隴貴族集團的代表。
第二，尚書右僕射蘇威，他是隋文帝時代的老大臣，也是關隴貴族。
第三，內史令楊約，他是楊素的弟弟，出身關隴貴族。
第四，內史令蕭琮，他是隋煬帝的大舅子，也是原來江陵蕭梁政權的皇帝。
第五，門下納言楊文思，他是楊素的從叔，出身關隴貴族。
第六，門下納言楊達，他是隋文帝初年四貴之一楊雄的弟弟。出身皇族，也是關隴貴族集團成員。他還有一個身份，是大周女皇武則天的曾外祖父。
這六個人構成了隋煬帝初年的宰相集團。這個宰相集團，有三個特點不容忽視。
第一，關隴貴族集團佔主體地位，除了蕭琮之外，其他五位全都是關隴集團的成員。
第二，楊素家族的勢力極其強大，六位宰相之中，楊素家族佔了三個。這當然是因為楊素在隋煬帝登基的過程中貢獻巨大，一人得道，雞犬升天。
第三，皇親國戚多。六位宰相中，有兩個是皇親國戚，一位是皇帝的宗親楊達，另一位則是皇后的哥哥蕭琮。這兩個人當宰相，恐怕是為了平衡楊素勢力，增強皇帝方面的力量。
這個宰相班子是否合理呢？當然不合理。
第一，代表面太窄了。隋朝的疆域由之前關中的北周、關東的北齊和江南的陳朝三部分組成，宰相集團也應該容納三方面的代表才合理。而這個宰相班子幾乎由關隴貴族集團一統天下，過於狹隘，當然不利於國家的發展。
第二，楊素家族勢力過於強大，有震主之嫌。楊素為隋煬帝登基立下汗馬功勞，楊氏一門也在新政權中佔據了主導地位。但是，這樣一來，難免會形成君弱臣強的局面，對皇權發展不利。
第三，皇親國戚勢力太大，也在一定程度上形成了對皇帝的壓迫。皇親國戚雖然比一般大臣跟皇帝親近，但是，也並不安全。因為他們的身份本來就已經非常尊貴，再有了政治權力，就會愈發不好控制。歷史上宗室作亂、外戚篡權的事情比比皆是，隋文帝楊堅當年就是以外戚的身份奪取的北周天下。殷鑒不遠，隋煬帝當然不會忘記。
綜合幾條弊端可以看出，這個政府班子很難讓人滿意。隋煬帝是個雄才大略的皇帝，從國家的角度講，他要建立一個東西南北平衡發展的大帝國，當然不滿意於一個只代表關隴地區利益的政府；從個人的角度講，他要當一個全面貫徹自己意志的強勢皇帝，當然不允許大臣無論是功臣還是親戚凌駕於自己之上。這樣看來，這個宰相班子肯定得改。
怎麼改呢？既然楊素家族勢力最大，那就先拿楊素開刀。大業二年（606），隋煬帝逼死楊素，楊約受到連累被免官，不久也死去了。而楊文思當時已經年近七十，年老體弱，本來就不怎麼真正管事。楊素死後沒多久，他也去世了，這樣一來，楊素家族的勢力被清除殆盡，六位宰相也就少了三個。
另外三個人也都沒待長久。
蘇威在大業三年（607）受到高熲的連累，免官回家了。
楊達深知隋煬帝猜忌，所以一直低調做人，在朝廷里很少說話，後來乾脆轉為武職，遠離了權力核心。
蕭琮本來當過西梁的皇帝，算是亡國之君，又是隋煬帝的大舅子，這兩個身份都很微妙，所以更是小心謹慎，上班不說話，下班就喝酒念佛，從不妄言妄行。按說，這樣一個人應該能保平安了吧？還是不行。蕭琮為人孤傲，一般人難入他的法眼，可他偏偏跟名將賀若弼要好。大業三年（607）賀若弼因為議論朝政被殺，蕭琮馬上受到了猜忌。正在這時，又傳出了一個童謠，沒頭沒腦，就唱「蕭蕭亦復起」，隋煬帝一聽難免猜測，這是不是說蕭梁又要復興？童謠這種事情，寧可信其有，不可信其無，乾脆把蕭琮免了官，讓他回家，不久他也病死家中。
就這樣，大業初年的六位宰相死的死，廢的廢，走的走，很快都離開了宰相崗位，關隴貴族集團也大受打擊。那麼，誰來頂替他們的職位呢？大業中後期，隋煬帝又組織起一個新的宰相班子，這個班子在當時有一個稱號，叫作「五貴」。