白居易還沒有經歷沉淪的時候，對「失敗」就不陌生。他做拾遺，作為皇帝的眼目，系玉為佩，曳綉為衣。但居高臨下，「朝見寵者辱，暮見安者危」，對命運翻覆看得更清楚。他跟好朋友元稹約好了，等到女兒嫁了，兒子成家了，就退休去過漁樵江渚、歲晚青山的生活。
等到自己真正經歷起伏，又忍不住計算起數十年宦遊的得失。唐代做官，三品之上穿紫袍，佩金魚袋，五品以上才能穿緋袍，配銀魚袋。六品之下著青袍，沒有魚袋。在長安蹉跎十多年，他屢屢望見緋袍銀魚袋，現在又功虧一簣。
年輕時用來拼搏前途的健康也已經抵押給時間，再也拿不回來。白髮多得數不過來，就任它去長。眼睛更壞了，夜裡讀書疼痛難忍，只能熄了燈，暗夜枯坐。
小城市日落而息。江邊清冷的碼頭上，他又聽見繁華長安的琵琶曲。潯陽北風裡楓葉荻花瑟瑟脆響，他又寫了一首流行的詩，娛樂別人，拯救不了自己。他依然陷落在沒有燈火的荒野，再繁複堂皇的曲調，也不過譏誚地一遍遍指出，他一個「天涯淪落人」罷了。
元和十年（815年），四十三歲的白居易困在廬山腳下的江州，白髮青衫，江州司馬，他這輩子大概就這樣完了。當年的同事，哪怕是不如他的，卻個個都發達了！他像是赤身裸體落在深井裡，衣冠整齊的昔日同僚在井上來來去去，不看他，難過；低下頭來看看他，更讓他感覺受到羞辱。與他同做拾遺的崔群已經做了宰相，寫信來問。他回信說：您問我近況怎樣，沒什麼好說的，混吃等死而已。您又問我身體怎樣，除去一隻眼睛不好，身體的其他地方也不好。你又問我每個月的錢夠不夠花，我雖然錢不多，計算著花，反正沒凍死。
白居易花錢在廬山上造了一棟別墅，三年江州司馬，他有一半時間住在廬山上。按規矩，守官離開治所，都要請假報備按期歸來，白居易屢屢超期，別人也不敢管他——白居易的詩名天下皆知，哪怕在貶謫的路上，也有學齡少年款款背誦《長恨歌》。
委屈、怨恨。說出來小家子氣，給別人添笑話。只好一再強調：我不在乎，我無所謂，我學佛參禪熱愛自然，好得很！