百廢待興。杜甫把在天寶年間空置的才智全部投入對工作的熱情里。一連寫了好幾首詩記錄他短暫的中樞生活。在《春宿左省》里，他記錄一次沒有睡好的值夜。他躺在床上，聽見啾啾鳥鳴，看見花隱牆垣，想到同樣的星空照耀百廢待興的長安城裡一戶一戶的平民。越想越焦躁，無法入眠，一遍遍在心底盤算明早要向皇帝啟奏的話題。他等待著金鑰匙打開日華門，一次又一次地問，幾點了？
可惜，他過於看重諫官的職責卻忽視了朝堂上肅宗清洗玄宗舊人的主題。肅宗從四川迎回了父親玄宗，表面上父慈子孝，但肅宗心裡一直焦慮自己做皇帝的合法性，總害怕玄宗再廢掉他，於是看玄宗舊臣，便覺得人人圖謀不軌。最要緊，就是把房琯支走——房琯曾經勸玄宗分封兒子為各地諸侯，人人帶兵勤王，直接促成了永王李璘擁兵自重，與肅宗爭奪王位。而杜甫恰好一而再再而三地替房琯說話，很快，他就被冷落排擠，便又跑去喝酒，還是長安城裡他最喜歡的曲江。自言自語寫了好幾首詩：說別人不喜歡他——「縱飲久判人共棄，懶朝真與世相違」，也說自己窮——「朝回日日典春衣，每日江頭盡醉歸」。
長安的物價與戰前相比，有天壤之別。玄宗天寶末年，杜甫做從八品下的右衛率府兵曹參軍，是扔在高官雲集的宣陽坊、平康坊里都沒人睬一眼的小官。但按規定，他也有兩百五十畝職田，年收入有一百三十四斛穀物，每個月朝廷還發錢，大約有三萬五千六百。甚至，朝廷還配給他兩個僕人、幾匹馬，還能報銷一些其他日常開銷。甚至在天寶十四載（755年），為了讓在京的低級官員過得舒服一點兒，玄宗還剛給兩京九品以上官員加過兩成的工資。養活杜甫家十口人不成問題。天寶五載（746年），一斗米十三錢，但乾元元年（758年），一斗米要七千錢，一斗酒三百錢。物價飛漲，甚至想要一匹馬，也難於上青天——戰馬是軍需物資，已經收歸國家統一管理。
杜甫現在當官了，過得卻比從前最凄慘時還要拮据。天寶十三載（754年），他窮到要靠定額售賣的太倉米為生，但也還能剩下點錢買酒去找鄭虔勾兌勾兌痛飲一回。現在八品朝官左拾遺，買酒的錢，卻來自典當春衣。
這個貧窮尷尬說不上話的拾遺也很快沒得做了。乾元元年（758年）夏天，杜甫因為房琯的牽連被放逐為華州司功參軍。金光門在長安城西，華州（今陝西華縣）在南邊，出城的時候，杜甫特地繞道金光門與朋友道別。一年多前，在安祿山叛軍佔領的長安，他從金光門逃出長安奔向鳳翔，滿懷報效國家的熱情。他一次次拋下家庭，不顧性命，在戰亂里艱難地尋找朝廷和皇帝。現在，作為皇帝忠誠的臣子，他被放逐，領命離開。走出金光門的時候，杜甫駐馬，再次回望這座已經被摧毀的破敗城市。他花費一生最寶貴的十年，想要在城裡紮下根來，但終於沒能成功。
他不知道，這一次離開，就是他與這座城市的永別。