杜甫到華州的時候，是一年最熱的六月。安史之亂遠未結束。朝廷的府庫無積蓄，將士的軍功無錢賞賜，只能以官爵做賞。將軍出征，都配發空名告身 ，便於臨時填寫。於是官越給越多，越給越大，也越來越不值錢，寫著大將軍的告身，才能換一壺酒。華州是科考大州，各種各樣「走關係」的請託都朝著專管科考的司功參軍而來。
沒有絲毫休息的時間，杜甫到任之日便開始上班，暑氣蒸騰，汗透重衫。案前是堆積如山的公文，飯碗放在面前也來不及吃一口，便宜了嗡嗡亂飛的蒼蠅。撓著頭髮想大喊一聲，但源源不斷送來的文書並不體諒這糟老頭內心的崩潰。
司功參軍、管理學校、廟宇、考試、典禮……一份枯燥繁雜的工作，並不是他想像里為皇帝出謀劃策的「做官」，但他依然盡心儘力去做了。他為即將去長安參加吏部考試的學生們準備了五個策問的問題：怎樣在公開市場中買不到馬匹時提高驛站系統的效率？有沒有辦法修訂徵兵方式，能夠保證軍隊兵源的同時也保證農業生產的勞動力？有沒有提高糧食儲備扼制通貨膨脹的好辦法？……都是他受過的苦。他想著，儘管如此，他還享受著家族「生常免租稅，名不隸征伐」的特權，一般的百姓，只能更辛苦。他受過罪了，便想著要保護比他更弱小的那些不用重蹈覆轍。「老吾老以及人之老」，這是儒家「愛人」最樸素的出發點。
但似乎並不受歡迎。從前考試都是考詩歌文章，憑什麼在他手下就要準備經濟時務？最沒有資格來出考題的，大概就是他這樣一個考進士，考制科，投匭獻賦，所有的考試都參加過，卻從來沒考中的人吧。
夏天在忙亂卻沒有絲毫成就感的公務中過去，誠然他依舊懷有對朝廷百死不悔的忠誠，但一再被冷落、忽視、排擠，與煩瑣卻不重要的公務一道，都是一種累增的疲憊。下一年秋天，關中地區無法從戰亂中恢複過來，物價飛漲，糧食歉收。心灰意懶的杜甫再一次陷入飢餓。向來心向朝廷一往無前的杜甫萌生了退意。
正在此時，杜甫收到朋友熱情的信邀請他移居秦州（今甘肅天水）。他沒有仔細規劃，立刻辭了華州司功參軍的官，帶著一家老小翻過隴山來到秦州。這位朋友卻並未能履行諾言，杜甫一家在秦州陷入了孤立無援進退兩難的境地。
滿目悲生事，因人作遠遊。
杜甫還沒有來得及享受逃離枯燥公務的閑暇，一下子落入生存的泥潭。他還勉強振奮精神誇獎了秦州的風光：「落日邀雙鳥，晴天卷片雲。」打腫了臉充胖子一般在詩句里享受他的世外桃源。氣溫一天天冷下去，自然能夠提供的食物終於不再能支撐他對隱居的浪漫想像。更危險的是，秦州很快就成了戰場。秦州與吐蕃相連，安史之亂爆發後，吐蕃趁機佔領了許多邊地，入夜之後，常有報警的烽火閃爍在群山之間。
不得已，十月，杜甫再次帶著家人遠行。這次，是受同谷縣宰的邀請輾轉遷往同谷（今甘肅成縣）。預想中的幫助又一次落了空。他只能重操舊業又做起了山裡採藥市裡換米的艱苦營生。冬天到了，沒有吃的，只能穿著短褲拾橡栗、掘黃獨，勉強果腹。兒子與他一道去挖食物卻空手而歸，空蕩蕩的家裡只聽見兒女喊餓的呻吟。
臘月開始的時候，為生計所迫的杜甫再次開始攜家帶口的遷徙。從甘肅翻山越嶺，過龍門閣、劍門、鹿頭山，終於在除夕之前到了成都。初來乍到，在一年裡最熱鬧的時候，寄住在浣花溪邊草堂寺的一間廢舊空屋子裡。
從華州到成都，乾元二年（759年）在四次長途搬遷中度過。過了年他就虛四十九歲了。他的曾祖父杜依藝在他這個年紀已經做了鞏縣縣令，他的祖父杜審言在他的年紀，早已叫天下人知道了他的清狂才名。杜甫曾經說過，自己家族到近幾代衰敗，鐘鳴鼎食的氣象不復從前。但他的父親杜閑最起碼還是五品的紫袍高官，做兗州司馬，奉天令，養得起他衣食優裕、肥馬輕裘地遊盪於齊、楚、吳、越。而他，身無長物，在一年裡最該享受安寧豐裕的時候，帶著妻子和年幼的孩子們寄住在一間破廟裡。作為臣子，他無法施展抱負報效國家；作為父親，他也無法給孩子們好的教育；弟弟們在遠方，同樣忍飢挨餓，妹妹喪夫帶著孩子勉強生活，作為家裡的嫡長子，他甚至無力團聚這個支離破碎的家庭。
他開始努力經營日常生活。為了一個容身之處，他不得不覥著臉向朋友乞討。天寶年間，當他依然固執地在長安蹉跎時，跑去給當時的河西節度使哥舒翰做幕僚的那個朋友——高適，在安史之亂里飛黃騰達了！哥舒翰敗於潼關，高適奔向玄宗，又在肅宗與玄宗爭奪政權時奔向肅宗，幫著肅宗討伐玄宗派去江南的永王李璘，先做蜀州刺史又做彭州刺史，剛好在四川。杜甫常給他寫信，多半是求他救急。靠著高適送的一點兒米與鄰居的菜蔬過日子。
下一年，杜甫發奮向朋友們求告，終於用朋友們資助的茅草，在浣花溪西頭建起一座白茅草堂。村裡只有八九戶人家，水流在此變緩，圓菏浮小葉，細麥落輕花。他開闢了一塊菜園、一塊葯欄，還沿著屋外小徑種了花。他仔細地規划了花園的樣子：買了翠竹，還向朋友們寫信尋覓松樹、桃樹與綿竹。在五十歲這年，老杜甫終於有了一處容身之所。「老妻畫紙為棋局，稚子敲針作釣鉤」，賢惠的妻子，懂事的兒女能在簡陋的環境里自得其樂，對於杜甫，是一種欣慰，也是一種心酸。
他不能停止對時事的關心。別人受的苦，都像加在他身上，他自己受了苦，總要想到比他更慘的人。夏天大風捲起屋檐上的白茅，「床頭屋漏無干處，雨腳如麻未斷絕」，但是他想到的是「安得廣廈千萬間，大庇天下寒士俱歡顏」。
不能總受朋友接濟，杜甫終於還是去找了一份工作，不情不願地在異鄉安頓下來，做從前不愛做的幕府。當年在長安有些交情的嚴武因為軍功，做劍南節度使，請杜甫做他的幕僚，甚至在廣德二年（764年）為他向朝廷要了一個「檢校工部員外郎」的名頭。這個從六品上的官階是杜甫這生榮耀的頂點，但它到來在戰亂頻繁的時候，作為一個虛銜，表彰他做幕僚的成就，簡直讓人哭笑不得。
幕府的規矩並不比在華州做司功參軍輕鬆：晨入夜歸，不是生病事故，不許遲到早退。與剛入仕途的年輕人一起工作，他們並不知道這個頭髮花白、脾氣倔強的糟老頭過去的故事，只覺得他格格不入。杜甫忍受漫長的工時，忍受年輕人的排擠，失望氣憤，也只能在詩句里默默排遣：白頭趨幕府，深覺負平生。
他五十好幾了，原先被掩藏在家國責任感與自我成就的強烈願望之下，那些只習慣故鄉故土的根須，被蹉跎的年歲滋養，正與杜甫的白髮皺紋一道瘋長。他依然有「致君堯舜上」的決心，但他也是個老頭了。他不能抹去人人都有的那點庸俗的對落葉歸根的渴望。他越來越頻繁地想起兒時的往事。
杜甫出生在河南鞏縣。兒時的院子里有一棵高大的棗樹。八月棗子熟了，弟弟妹妹嘴饞，他這個哥哥便猴兒一樣，一天上樹千回，丟棗子給樹下笑著叫著張著手的弟妹。他有四個弟弟，除去跟著他一起到了四川的杜豐，其餘三人，在戰亂里不通音信。後來杜甫終於在成都與弟弟杜穎重聚，他們談論起散落各地的兄弟姐妹和姑姑，團聚的願望無比強烈，也無比困難。
他不止一次制定過回到長安的路線。戰亂仍在繼續，要想回到長安、洛陽一帶，關山阻絕。寶應元年（762年）四月，杜甫聽說官軍和回紇軍隊終於收復了河南河北的大部分地區——安史之亂似乎就算是結束了。老詩人「漫卷詩書喜欲狂」。在這首《聞官軍收河南河北》里，杜甫喜滋滋地寫下規划了無數遍的旅途：
「即從巴峽穿巫峽，便下襄陽向洛陽」——他將順涪水、嘉陵江到達重慶，而後沿著長江放舟東下到達江陵。由江陵登陸，北行至襄陽，再往北，是南陽，而後就是洛陽。從洛陽他可以去老家偃師，也可以回到長安。
每每有了一些希望，總換來更大的失望。這年七月，劍南兵馬使徐知道叛亂。轉過年去的廣德元年（763年），吐蕃舉全國之兵二十萬入侵，唐朝負責帶兵勤王的關內副元帥郭子儀手裡只有二十人。在安史之亂裡帶兵收復洛陽、長安的唐代宗再次倉皇逃出長安奔向陝州。吐蕃軍隊一路向東，甚至佔領了四川的一部分地區。杜甫不得不離開成都去梓州（今四川三台）、閬州（今四川閬中）躲避。
回家的計畫從此耽擱下來。