自貞觀元年以來，朝廷先是應對突厥二十萬大軍的入寇，緊接著便遇到數十年不遇的大災。到貞觀四年初，三年多時間裡大事層出不窮，幾乎一件接著一件。再加上自貞觀三年開始大規模對外用兵，內廷三省公務異常繁忙，而專責朝廷行政之權的尚書省更是頭緒繁多。隨著北面的軍事行動態勢逐漸明朗化，分管朝廷軍務倉廩馬政的蔡國公尚書右僕射杜如晦再也支撐不住，終於一病不起。杜如晦身子骨向來硬朗，一開始朝野上下均以為不過偶染小恙，不日將痊癒。然而太極宮尚藥局的宮醫奉皇帝敕命診了兩次脈之後，這位宰相疾將大漸的消息便在長安城內不脛而走。
貞觀四年二月十六日，大唐皇帝李世民在內廷禁衛的保護下親臨蔡國府，探視杜如晦的病情。
杜如晦的面色蒼白，顴骨上略帶幾分不正常的紅色，額頭上帶著涔涔汗水，見皇帝進來急忙掙扎著要爬起來見禮，卻被李世民揮手止住了。
從杜如晦告假到此刻不過短短二十多日光景，這位勤慎能斷精明幹練的宰相便已經病骨支離，幾乎瘦成了一把骨頭。李世民獃獃望著這個與自己朝夕相處日夜參贊了近十年的人，胸中一股酸澀的滋味緩緩向全身擴散，他不願病中的杜如晦看到自己掉淚，強打著笑容溫言道：「你躺著吧，朕沒別的事情，就是想來看看你！」
杜如晦急促地喘息了一陣，嘴角綻開一個苦澀的笑容：「臣不中用了……」
一句話又險些讓李世民掉下淚來，他皺起眉頭道：「這些不吉利的話，你還是少說些吧，朕已經疾敕荊州刺史岑文本，要他護送江南名醫趙馳星夜來京，宮醫們天天有朝廷的俸米養著，其實本事不濟，這個朕心裡有數。你的病還沒到那地步，慢慢將養，總有大好的那一天，尚書省的相位，你不要再辭了，省里的事務，好歹還有玄齡撐著，耽誤不了。待李靖從前敵回來，朕即發任命，由他出任尚書左丞，參與朝政，也能替你分擔些事情……」
「李藥師出將入相，確是朝廷宰輔的不二人選……」杜如晦聲氣微弱，心思卻極澄明，「陛下派遣唐儉去議和，又不給前方發敕停止用兵，聰明如二李，必能體會聖心把握戰機，李靖為人圓滑世故，卻絕非不敢擔責任的人。臣料二十天內，定襄前敵當有捷報傳來。只是他戰功顯赫，然則封爵卻始終不顯，這一層，還要主上成全……」
李世民忍著淚點頭道：「朕已經準備好了，北方戰事一了，李靖著即晉封代國公，李世勣晉封英國公，實封一千五百戶，特敕爵位世襲。在尚書左丞之外，另加開府儀同三司，班師還京之日，朕親率文武百官出長安五里郊迎，恩典榮耀，世爵實職，朕都要給足他。」
「陛下聖明！」杜如晦欣慰地笑著點了點頭，又道：「陛下治天下以公，不應以個人私情處置朝廷公器，臣病成這個樣子，早已不能視事。大唐社稷為重，臣命不足顧矣……陛下就允了臣之所請，讓李藥師直接接了尚書省右僕射的印信吧！否則臣縱然身死，心亦不得安……」
皇帝再也忍耐不住，淚水奪眶而出，撲簌簌落了下來。
杜如晦微笑著道：「陛下一世英雄，此刻何必又做如此兒女之態？當年臣辭去滏陽縣尉之差追隨陛下，陛下不以臣官職卑微而輕臣，先錄為王府參軍，轉遷天策司馬，知遇之恩曠古絕今。臣無武侯之才略，陛下卻實有昭烈帝之胸懷。臣今生能侍奉陛下左右，已是瞭然無憾……」
李世民嘆了口氣：「克明，你萬萬不可說這等話，天下人人皆知房謀杜斷，你與玄齡，是朕的左右臂膀。你若去了，臂膀一折，還有誰來輔佐世民成就一代明君治化一朝盛世？你得好好活著，聽到沒有？這是朕的敕旨……」
杜如晦悵然笑道：「為君者權柄再大，卻也不能起死回生。陛下不必如此悲戚。臣雖然不成了，然則玄齡玄成，皆是社稷之臣。玄齡乃是治事能臣，有他在，陛下便得免於諸多瑣碎朝政，他是個謹慎小心的人，那年事機急迫，不得已對陛下用激將之計，也是為了陛下好，陛下不要放在心上。玄成雖是隱太子舊人，然則胸有謀略腹有機杼，更兼其人不畏權貴忠誠耿介，卻又不似蕭相國那般迂腐空談，乃是難得的諍臣，有他在，朝風不邪。李靖和李世勣，都是絕代名將，治軍用兵，當世無出其右者，又都是謹慎小心深通韜晦之道的人，不用陛下去操心他們的結果。只要此二人在朝，外夷內亂，皆不足懼……」
杜如晦一口氣說了這許多話，至此已是疲憊不堪，一隻胳膊撐在榻上喘息不止。李世民撫著他的背溫言道：「朕知道，朕知道，這些事情你就不要多想了，好生將養身體，朕還等著你痊癒再入中樞輔佐朕呢！」
杜如晦連連搖手，執拗地道：「臣還有三件大事，趁著明白，要奏明陛下！這幾件事情不說清楚，臣死不瞑目……」
李世民連忙扶住他的身子，口中道：「好，好，你說，朕就在這裡聽著，莫說三件事，便是三十件事，我也都依得你……」
杜如晦穩了穩心神，道：「陛下去年黜落了裴寂，臣聽說最近有御史彈劾他不軌，陛下欲給予重處。臣知道，因劉公的事情，陛下心中對裴玄真一直存著芥蒂，然則陛下畢竟是萬乘之君，和臣子置氣就墮了身份了，且陛下也要想想太上皇的感受，晚年喪子，晚景凄涼，唯一能夠坐在一起聊聊天說說話的人又被趕出了京城，不好過！太上皇心中抑鬱，若是因此染恙，陛下於孝道便有虧了……」
李世民緩緩點了點頭：「朕聽你的，不處置裴寂了，待靜叔的案子大理重新審結，我就召他回來……」
杜如晦點了點頭：「臣多謝陛下了！第二件事便是分封之事，陛下欲行分封，臣心裡明白。周用封建之制，享祚八百餘年，秦創郡縣，卻二世而終；此論其實不確。西周分封諸侯，數百年間天子所轄地不過京城周圍百里之遙耳，如此『天下』，豈是陛下所想見？至平王東遷，前後春秋五霸戰國七雄，又有哪個將周天子放在眼裡？漢初吳楚之亂，幾乎顛覆天下，前車之鑒，後事之師，陛下不可不察……」
李世民點了點頭：「你放心，朕一定會記得你的話……」
杜如晦臉上露出欣慰之色，道：「第三件事，便是太子！」
李世民一怔：「太子？」
杜如晦點了點頭，緩緩道：「儲君為社稷之本，不可輕予廢立，幾年前玄武門的事情，陛下和臣等實是被逼無奈，才不得不兵行險著拚死一搏。陛下是創業之君，做事情自可不拘成法。然而後世子孫不及陛下者多矣，若是沒有一個規矩章程，臣恐陛下身後，大唐內亂之期不遠。立嫡立長，這是古例，陛下破了這個規矩，卻還得把這個規矩恢複起來，讓後世的子孫遵守。當今太子聰明仁孝，遠超諸王，臣本無必要多這麼一句嘴，只望陛下日後能夠拿定主意，不要輕撼國本……」
皇帝愕然半晌，方才詫異道：「太子諸王皆在幼沖之年，克明何必多慮？」
杜如晦無奈地搖了搖頭：「臣雖出身儒門，卻實是個粗率之人，或者精於理事，卻疏於治家。臣的家風與玄齡不可比。臣弟楚客，生性跳脫，又於在京諸王府上走動頗多。臣若在人世，當可壓制他免生事端，然則臣若是不在了，族中諸人見識淺薄，府中再也無人能制。若是陛下心意篤定，則此子德雖不彰，才或可有益於社稷；然則日後若中宮有變，臣擔心他不能謹守其身，捲入帝王家事，沒了結果。臣這最後一諫，既是為了國家社稷著想，卻也有保全自家親情血脈的私心在裡頭。臣與陛下相知多年，還望陛下能夠體諒！」
李世民苦笑了一聲：「克明何慮之遠？朕畢竟還正當壯年，太子年紀幼小，這些事少說也是十幾年以後的事情。玄武門之事，本來便是被逼無奈之舉，朕是過來之人，又怎會重蹈自家覆轍？克明盡可放心，你的兄弟，朕自會著意保全。這些話說得遠了，你只管安心將養身體，朕還指望著多少年後你為朕顧命託孤呢！」
杜如晦兩隻眼睛直勾勾盯視著皇帝，目光中透出無盡的惆悵：「臣福薄，恐怕看不到陛下威播四海賓服諸夷的那一天了……」
皇帝的寵眷並未能夠挽回這位貞觀重臣的生命，二月廿二日，就在李世民親臨杜府探視之後的第六天，蔡國公、尚書右僕射杜如晦薨逝。當日顯德殿中朝，杜如晦長子杜構不顧禮儀身披重孝闖朝報喪，當場遭到殿中侍御史孫伏伽的彈劾。大唐皇帝聞訊大悲失聲，當即罷朝，隨即尚書省宣敕輟朝三日，加封杜如晦萊國公，追贈司空，賞金三百兩以為喪儀。次日，皇帝不顧政事堂諸宰臣勸阻，御駕再出宮門，親往杜府祭悼，並於靈前下敕，曆數如晦功績，蔭其子左千牛構為尚舍奉御。
二月廿四日，太常上奏，擬定杜如晦身後謚號曰「明」，被大唐皇帝駁回，次日，皇帝手敕謚如晦曰「成」，同日召虞世南，面敕其勒文於碑，遍數君臣際遇之事。
同日，皇帝以尚書省事務煩巨，敕大理寺卿戴胄為尚書左丞，兼領刑部尚書，參與朝政。至此皇帝的心意朝野均明，杜如晦所遺尚書右僕射