永泰元年（765年），嚴武去世，杜甫在成都再無依靠。靠著攢下的一點兒錢，他終於正式開始了歸鄉的旅途。五年前，他進入成都，一窮二白，幾乎一無所有。現在他離開，連健康也失去了。在長安時染上的肺病一直沒好，糖尿病也越發嚴重，發起病來，焦渴難耐。風痹發作，右臂抬不起來。聾了左耳。
這一趟被貧窮與疾病糾纏的旅途並不順利，磕磕絆絆，走走停停。大曆元年（766年），杜甫一家來到夔（kuí）州（今四川奉節），他在此度過了兩年多的時光。有段時間，他居住在城外建在江邊凸出的岩壁上的西閣。硃紅色的欄杆圍繞著樓閣，他常常獨自站在欄杆隔成的露台上看岩層中露出的薄雲，水浪中翻湧的月亮。秋天的黃昏，他望著黑夜遮蔽晚霞，星子瀰漫天際。石上藤蘿，洲前蘆花，水邊搗衣聲陣陣而來，是當地人家在準備衣料做冬衣。他總是抬頭不由自主順著北斗的方向尋找長安的位置。
在夔州的秋夜裡，杜甫一口氣寫下八首《秋興》，全是回憶里的長安。「同學少年多不賤，五陵衣馬自輕肥」——曾經杜陵的同學少年得勢陞官，也不再理他了。「聞道長安似弈棋，百年世事不勝悲」——他離開長安之後，戰爭與叛亂，朝堂上翻雲覆雨的鬥爭，如下棋一樣瞬息萬變。「彩筆昔曾干氣象，白頭吟望苦低垂」——他也曾獻賦皇帝獲得讚賞，宰相們圍如牆堵，看他寫文章。這座城市裡留有他最意氣風發的好年歲，也有他總是功敗垂成的十年，但那都過去了。
現在，是他在長安寫下求官不得的悲憤愁苦時根本無法想像的憂慮——白了頭髮，戰火滿地，漂泊他鄉。而自然從不理會人心的悲苦，在一次次春回里複習青春與溫馨，理直氣壯地向他展示著「泥融飛燕子，沙暖睡鴛鴦」，「江碧鳥逾白，山青花欲燃」。燕子走了還會飛來，山花落了還會再開。但對於人，過去的年歲不會倒回。當他一次次記錄他死去與流落他鄉的藝術家朋友們人生的最終章時，他知道，他也正在一天天去往與他們相同的方向。杜甫依然記得自己對於未來曾經有過的那些高遠的期望，現在，他知道，那些都不會再發生在自己身上。
這年秋天，吐蕃入侵，佔領靈武，去往中原的道路再次封閉。
長安依然遠在千里之外。