按照擁有戶口的數量，唐代把天下各州分為上、中、下州，參軍的品位也隨著州縣的重要性從七品下到從八品下不等。濟州（今山東濟寧附近）偏遠貧窮，人煙稀少，向來是貶官的熱門選擇。
二十齣頭的王維，熟悉的是金盤膾鯉魚、螺鈿嵌琵琶、畫閣朱樓燃亮夜的巨燭燈火。現在他面對的是深巷陋室，菜地、葯圃、農書。他的琵琶久懸，畫紙也不展了——沒有知音，還顯得怪神經的。也還寫詩，描述請他吃飯的大爺家裡的日常——「深巷斜暉靜，閑門高柳疏。荷鋤修葯圃，散帙曝農書」——讀者就是這些，不能用典太深。甚至他們能不能領悟他花許多功夫琢磨出來的，五言律詩中間兩聯最自得的對句，也是個問題。
但詩寫得也不多，因有一份不重要，錢很少，卻很繁雜的工作。他做司倉參軍，負責賬本和戶口。管青苗，儲備糧，負責地稅徵收、庖廚、倉庫、田園、市肆。甚至，倉庫里每天糧食馬料進出，農民借了種子還回來的米是否足額都是他的管轄範圍。
他才二十歲，已經開始想像在濟州終老的慘象。想回到長安，也怕是兩鬢斑白，很久很久的將來。一般的官員一年一考，四考任滿，可以離任等待提拔。但他是貶官，赦免才能離開。但等待一次大赦，也不知道等到哪一年。
但大赦其實來得不晚，開元十三年（725年），玄宗東封泰山，兩次大赦天下。王維也得到赦免，回到長安，等待吏部「判補」——吏部冬天銓選，考核他的政績，再次授官。下一年，吏部叫他去河南共城縣附近淇水邊，做一個錢少活重又無足輕重的小官。做了一段時間，百無聊賴的王維棄官而去，隱居在終南山。終南山林壑蔥鬱，是隱居的好地方。同時，終南山的隱士也有關注政治的傳統，朝堂上任何一點兒風吹草動都能夠成為他們飛黃騰達的機遇。岐王失勢了，王維必須找到提攜他的下一任貴人。
王維的運氣並不壞。朝堂上的政治新星是風度、文采俱佳的張九齡。這個留下「海上生明月，天涯共此時」這樣名句子的詩人，因為風雅的氣質，正受到皇帝最熱烈的寵愛。官員上朝需要攜帶笏（hù）板 ，記錄朝見君王時需要上奏的事項，也方便記下皇帝的旨意。別人上朝把笏板往腰帶里一塞便上馬而去，張九齡卻不。因為體弱有疾，他專有一仆捧著裝有笏板的囊袋跟在馬後，反而從容瀟洒。從此，用笏囊成了風靡長安的時尚，以至於玄宗每次見人之前都要問一句：此人風度比張九齡如何？
王維立刻獻詩張九齡。他知道，與岐王一樣，張九齡定然欣賞他的文學才能。果然，不久之後，他被起用做右拾遺，重新回到了長安。但他這次回來，朝中林立的山頭，對峙的派別，如翻覆的棋局，正瞬息萬變。