柳宗元回到長安的一個月並沒有做什麼了不得的大事。桃花落盡槿花開，聽說朝廷正商量著讓他和劉禹錫還是回尚書省去做員外郎，但一直沒有得到正式任命。於是柳宗元清理祖宅，祭祀父母與亡妻，收攏散落各處的家傳典籍，拜訪故舊，一個月毫無知覺地溜走。
三月十四日時，朝中的任命毫無徵兆地下來：柳宗元做柳州刺史（今廣西柳州），劉禹錫做播州刺史（今貴州遵義），其他幾個被詔回的「永貞革新」舊人也都通通任命遠州刺史——四千里外北歸人如今要向四千里外更遠而去。
這樣近乎戲耍的任命據說來源於劉禹錫的一首詩。在無所事事的一個月里，劉禹錫忙著與他年輕時在長安交下的故舊宴飲，遊樂。他們去了以前曾去過的玄都觀，是看花的好時節，劉禹錫終於沒有被十一年的貶謫弄死，反而活蹦亂跳地回來了，得意地寫道：「紫陌紅塵拂面來，無人不道看花回。玄都觀里桃千樹，儘是劉郎去後栽。」
傳說正當政的武元衡聽說這首詩，想到自己曾經在朝廷議論是否詔回「八司馬」時授意下屬反對。他認為劉禹錫是在嘲諷他們：武元衡就是「劉郎去後」當政的「新貴」。本來朝中對於詔回「八司馬」就議論紛紛，憲宗皇帝對於劉禹錫和柳宗元遠沒有後來的史書中記載的「愛才」：那就繼續貶出去，柳州與播州，遠遠待著，別回來了。
劉禹錫的母親八十多歲了，劉禹錫帶著她去播州，山長路遠；劉禹錫不帶著母親赴任，千里相隔。無論如何，這一去，都是生死兩別。在永州失去了母親的柳宗元聽到這個消息，立刻上表朝廷，請求讓自己去播州，讓劉禹錫去做柳州刺史。朝中可憐柳宗元和劉禹錫的御史中丞裴度也幫著勸皇帝：這是逼迫劉禹錫與母親生離死別，您推崇孝道，這會損傷您的名聲。皇帝憤憤說，劉禹錫知道自己母親年紀大了，就更該謹言慎行，不要給親人惹禍。他現在明知故犯，不重罰已經是對他好。
皇帝終究愛惜自己的名聲，劉禹錫改任連州刺史。柳州刺史柳宗元與連州刺史劉禹錫，這對難兄難弟，再次一道被踢出朝廷，一個去廣西柳州，一個去廣東連縣，在被貶謫的路上甚至還能再結伴走一段。