八十大壽後的一個月，病情急劇加重了。
那是6月30日晚，胡喬木覺得右腿特別疼，不知什麼原因。
翌日下午，三0一醫院的骨科大夫上門，原本是為了向胡喬木家屬講授如何護理、防止骨折的一些主要事項，因為他們知道胡喬木的骨質已很疏。聽說腿疼，經大夫一檢查，斷定是骨折——這是癌症病理性骨折，雖說他？沒有摔交或受撞。隨即入院拍X光片，證實大夫的判斷完全正確。
從這一天起，胡喬木躺上了病床，再也沒有下過病床。他一步步接近人生的終點——從拄拐杖、坐輪椅到卧床。
由於骨折，加劇了癌擴散。
8月2日，他在病床上，給母校揚州中學親筆寫信：
揚州中學：
你們寫信給呂驥同志，請他為校歌作曲，呂驥同志因忙於他事，要我轉請當代著名作曲家傅庚辰同志作曲。傅建議我將原題詞稍加擴充，我已和他合作了一首，前已送上，後覺此歌仍不適於作校歌，故又補寫了一段作為第一段，仍請傅庚辰同志作曲，傅又另作了一曲，？唱給我聽了，我覺得此曲旋律優美，感情洋溢，表示滿意。現將新的校歌詞曲再寄上，請查收。收到後，望簡覆表示收到。傅現任解放軍藝術學院院長，來信望對他致謝。
胡喬木
8月2日
這裡提及的校歌，原是為了慶祝揚州中學九十周年校慶，胡喬木為母校題詞，題詞以詩行形式寫的，結果被揚州中學用作校歌歌詞。
8月14日，胡喬木轉往三0五醫院治療。中共上海市委秘書長王力平派人看望他，他想親筆覆信，勉強執筆，因筆跡太亂，只得作罷，托來人帶口信去上海。
9月初，癌擴散至肝、肺，胡喬木的呼吸變得困難了，講話也很吃力。
他已無法坐起來寫字。9月9日，他躺在病榻上，把信紙夾在一塊玻璃上，吃力地親筆給揚州中學寫信——這是他這枝「筆桿」平生的最後絕筆。
信的全文如下：
江蘇省揚州中學：
8月28日來信並給傅庚辰同志信，9月5日收到。我在病床上得悉你們全校師生一起投入學習新校歌的熱潮，自然也加倍感到興奮。你們對新校歌的評價雖然過高，但是全校師生如此熱情卻使我這個在校六年（1924-27江蘇八中，1927-1930江蘇揚中）的老校友與揚州中學結下了新緣分。我說在病床上寫信和寫作歌詞，這是實情，但我決不希望有任何人以任何名義來此慰問之類，對此我決不接見。此事務請堅決徹底做到。
胡喬木
9月9日
待傅庚辰同志來信收到後一併發出
此信由於「待傅庚辰同志來信收到後一併發出」，揚州中學收到時已是10月4日，胡喬木已不在人世。
由於呼吸日漸困難，護士給胡喬木戴上氧氣面罩。
9月12日，三0五醫院發出了胡喬木病危通知。他卻？未意識到自己的生命已危在旦夕，既未寫遺囑，也沒有作臨終囑咐之類。他念念不忘的是改定他的詩集。
胡喬木喜歡寫詩，既寫新詩，也寫舊體詩。1988年，由人民文學出版社出版了他的詩集《人比月光更美麗》。病中，他想修訂再版此書，增加了一首詩，增加了附錄，又口授後記，讓秘書記錄、整理。
9月21日，胡喬木囑，把詩集增訂稿送錢鍾書審定——他和錢鍾書有著深誼，詩集初版時便請錢鍾書題寫書名。
才一兩天，錢鍾書就看完增訂稿，退回胡喬木。9月24日，女兒木英把改定的後記、附錄念給胡喬木聽。胡喬木細細聽罷，這才說：「就這樣吧！」說罷，如同了結一樁心事。
病中，他每日早上聽新聞廣播，聽家人？報紙。每日必讀報，是他幾十年養成的習慣。
這時的他，運用氧氣面罩都感到氣悶，改用呼吸機幫助呼吸。
9月27日，他從新華社上海電訊中得知，25日是文壇耋宿巴金八十八歲生日，文藝界紛紛向巴老致賀。他也要向巴金致賀，雖說這已是「遲到」的賀電。他要新筆寫賀詞，無奈手已顫抖，無法握管。於是，他只能輕聲口授電文：
「連日卧病，不克到滬，親臨致賀。寫給巴金文學大盓八十八歲壽辰。胡喬木。」他的生命列車，已經悄然駛入終點站。當天深夜十二時，血壓劇降，接近零。
親人們急急趕到醫院，他已不省人事。大夫們儘力搶救，進行人工呼吸。翌日晨七時十六分，他的心臟停止了跳動。
他曾寫過《秋葉》，而他正是在葉落知秋的時節離開這個世界：
旋轉，低回，依依地眷顧，
秋葉落下來，夾著些絮語；
在鄉間人跡稀疏的去處，
隨雨雪消融，化成了沃土。
在他去世後不久，新華社於10月3日發出四千字電訊《胡喬木同志生平》。由於不再舉行追悼會，這電訊實際上相當於悼詞。電訊末段，對胡喬木的一生進行了評價：
胡喬木同志的一生是革命的一生，是追求真理、獻身於共產主義事業的光輝的一生。他一貫努力學習、研究和宣傳馬列主義、毛澤東思想。他博學深思，勤奮筆耕，經過長時期的刻苦磨練，終於成為才學超？的在黨內外享有盛名的學者和辭章家。對於黨的解放思想、實事求是的原則，他積極倡導，身體力行。他具有高度的黨性，堅持原則，顧全大局，一切服從黨的安排。他幾十年如一日，把畢生的精力毫無保留地奉獻給了黨的思想宣傳事業，奉獻給了黨的重要文獻的起草和編纂工作。他尊重知識、尊重科學、尊重人才。他治學嚴謹，一絲不苟，對工作兢兢業業、勤勤懇懇，竭盡全力完成黨所交給的每一項任務。他始終以共產黨員標準嚴格要求自己，謙虛謹慎，戒驕戒躁，廉潔奉公，生活儉樸，組織紀律性強，鄙視以權謀私的不正之風。1983年8月16日他倡議身後將遺體交給醫學界利用，以後又提出在他去世以後把角膜捐獻出來。他的革命精神和優良品德是全黨學習的榜樣。