楊素在大業二年（606）七月二十三日死去了，享年六十二歲。怎麼死的？史書有不同的記載。
第一種記載說，楊素是被隋煬帝毒死的。《大業雜記》中記載：「初，太子之遘疾也，時與楊素同在侍宴，帝既深忌於素，並起二卮同至，傳酒者不悟是藥酒，錯進太子，既飲，三日而毒發，下血二斗余。宮人聞素平常，始知毒酒誤飲太子，祕不敢言。太子知之，嘆曰：『豈意代楊素死乎？命也！』數日而薨。後素亦竟以毒斃。」大意是說，有一天，楊素和隋煬帝的太子楊昭一起侍宴，隋煬帝就想趁機毒死楊素。於是他讓人調製了一杯毒酒，命宮女傳給楊素。可是，宮女並不知道這是毒酒，誤傳給了太子。結果，三天之後，太子中毒發病了，吐了兩斗血，楊素倒是什麼事都沒有。這時候，宮女才知道，自己把酒傳錯了。太子聽說這件事後，長嘆一聲說：沒想到我倒替楊素死了，真是命啊！隋煬帝一看，自己沒毒死楊素，倒先把太子毒死了，惱羞成怒，只好再接再厲，二次投毒，終究還是把楊素毒死了。而且，按照相關史料，楊素之死和太子之死，中間只差一天的時間。
第二種記載則是說，楊素是病死的。根據《隋書·楊素傳》的記載，大業二年（606）夏天，楊素生病了，而且，病勢比較危重。楊素是當時隋朝頭號大臣，對他的病況，隋煬帝表現得相當關心。為了讓他早日康復，隋煬帝天天派御醫來探望楊素，而且把御用藥品也拿出來，賜給楊素吃。總之，對楊素關懷備至。但是，每次御醫回宮，隋煬帝必定都要問他一句：楊素到底什麼時候能死啊？
隋煬帝那邊是天天探視，唯恐楊素不死，楊素對皇帝的用心也是心知肚明，他知道，皇帝這麼天天來打探，自己若是再拖延下去，恐怕就要不得好死，而且死無葬身之地了。怎麼辦呢？楊素把自己的心腹，也是當年一起為隋煬帝效力的弟弟楊約叫來了。對他說：「我豈須更活邪！」皇帝這麼巴望我死，我還活著幹什麼？從此乾脆就不再吃藥，而且故意折騰自己，導致病情加重。到七月二十三日，楊素終於一命嗚呼。
這兩種說法，一個說投毒，一個說病死，到底哪個更貼近事實？個人覺得，應該是第二種更為合理。
第一，《大業雜記》是一本筆記小說，而《隋書》屬於正史，一般來說，正史的史料可信度超過筆記小說。
第二，《大業雜記》的記載多有不合情理之處，而《隋書·楊素傳》倒是完全符合邏輯。試想，皇帝如果想要毒死首席大臣，那一定要經過周密策劃，精心準備，誰放葯，誰送酒，事成如何處置，事敗如何補救，都應該安排得清清楚楚。怎麼可能出現皇帝冒險投毒，送酒的宮女渾然不覺，居然誤送到太子手裡這樣的荒唐事？這是不合情理的。
相反，《隋書·楊素傳》的說法倒是入情入理。楊素受到皇帝猜忌，自然心理負擔沉重，鬱郁成疾。他既然生病，隋煬帝當然是滿懷期待，天天盼他死。楊素一看皇帝表現得這麼迫切，也覺得心灰意懶，乾脆不吃藥，加速了自己的死亡。這樣的心理，這樣的做法，都非常符合邏輯，也非常符合人情，可信度相當高。
第三，《大業雜記》之所以這樣記，其實是因為隋煬帝的太子恰好死在楊素前一天，按照一般人的想法，哪有這麼無巧不成書的事，再加上隋煬帝猜忌楊素這一客觀事實在先，於是就炮製出這麼一個故事來。
這樣綜合來看，楊素確實應該是病死的，但是，在病死的前前後後，都有隋煬帝製造的巨大精神壓力。這樣看來，說楊素是隋煬帝逼死的，也未嘗不可。
不管怎麼說，到大業二年（606）夏天，楊素終於死去，隋煬帝除去一個心腹大患，總算可以睡一個好覺了。要怎麼安葬這個還算懂事的老臣呢？隋煬帝下令：務必厚葬。隋煬帝追贈楊素為光祿大夫、太尉公、十郡太守，這是政治待遇。另外，給他轀車、班劍、鼓吹，這是提高葬禮規格。還有，賜給楊素家人粟麥五千石、布帛五千段，這是經濟待遇。這還不算，隋煬帝還下令，給楊素樹碑立傳，表彰他的卓越功勛。這樣的待遇，也算是生榮死哀了。
不過，就在這些表面文章都做完之後，隋煬帝順口說了一句話，一下子把他苦心經營的君明臣賢、君臣一體的面紗撕了個粉碎。隋煬帝說：「使素不死，夷其九族。」幸好楊素懂事，自己死了，如果再不死，我一定殺他九族。這樣殺氣騰騰的狠話，真是讓人聽了毛骨悚然。
這還沒完。就在楊素死後不久，有術士對隋煬帝說，楊素的墳上「白氣屬天」，這表明要有兵禍，是滅門之相。這不是暗示楊素家會有人造反嗎？隋煬帝心裡又不踏實了。怎麼處理呢？
沒過多久，楊素的弟弟楊約路過楊素墳墓，想起哥哥生病之後不敢吃藥、只求快死的辛酸往事，忍不住趴在墓道上號啕大哭。
有人把這件事上報給隋煬帝，隋煬帝馬上又疑慮暗生。楊約也是宰相，手裡權力不小，如果他覺得哥哥冤枉，要替楊素報仇，也是麻煩。為了保險起見，隋煬帝乾脆把楊約貶為淅陽太守，讓他離開朝廷了。
想當初，楊約也沒少為隋煬帝做貢獻。最早的時候，楊廣就是通過他來遊說楊素加盟，一起陷害前太子楊勇。後來，隋文帝去世之際，又是楊約幫隋煬帝勒死了廢太子楊勇，保證了隋煬帝順利接班。既是功臣，又是文臣，基本不構成威脅，本來應該沒什麼問題。但是，就因為他是楊素的弟弟，隋煬帝就要這樣嚴加防範，可見內心對楊素的猜忌有多深。