柳宗元被貶到永州時，年近七十的老母親與他同行。十二年前，父親去世，七年前，他新婚僅僅三年的妻子楊氏因為流產離開了他，母親是這個小家庭里陪伴他最久的家人。他年幼的時候，父親在江南做官，他沒有像一般的士大夫子弟那樣進國學或者州、縣學讀書，反而與母親及兩個姐姐住在長安西南灃川岸邊的農莊里，家裡沒有書，便由母親為他開蒙。母親教他古賦十四首，且背誦且講授，又教姐姐們詩禮圖史、女紅裁剪。
永貞革新的時候，柳宗元捧著朝廷的任命，對於將要登上的舞台，有憧憬有擔憂，想要做一番大事，也害怕一旦得罪，會被遠貶，被懲罰。母親只含蓄地對他說：「你就去做大事，不要管我。我雖然老了，如果有一天你要離開京城做官，我也會跟著你。」
直到他被貶邵州刺史，長安到湖南邵陽，路途千里，舟車不便，柳宗元滿懷愧疚，母親卻笑著說：「我的願望終於實現了。」到了永州，山川起伏，寸步勞倦，野外有毒蛇毒蟲，只能借住在濕冷陰暗的龍興寺。柳宗元不僅沒有能夠復興他的家族，甚至連一個普通京官一般奉養老母也不行，他抱以厚望的改革，最終把他變成了一個罪人。痛苦內疚的時候，母親又對他說：「你從前做的錯事，當作以後的警示，敬懼而已。你如果能夠做到這樣，我就沒有任何的遺憾。明者不悼往事，我從來沒有因為你的事情悲戚過！」
母親的從容助長了柳宗元本就稜角分明的倔強。永貞革新里施行的政策沒有一件是錯的。更滑稽的是，除去五坊小兒，抑制藩鎮等措施被憲宗繼承下來，繼續實施著。他便理所當然地不知悔改，甚至，在貶謫的委屈憂愁里生出了一種悲壯。反省，但不後悔。他在《戒懼箴》里寫下：「省而不疚，雖死優遊。」
直到「問對錯」也失去意義的時候。永州的房屋簡陋，無人侍奉，夏天炎暑熇蒸，濕熱不去，生病沒有地方看，藥石也求不到，禱告更沒有神靈的同情。不到半年，在元和元年（806年）的夏天，母親就去世了。靈柩需要運回京城棲鳳原祖墳安葬，但柳宗元這個名義上的永州司馬實際上卻是個囚徒，連母親去世也不能送靈車回京。他這個被困在南荒之地的獨子，所有的孝心只能是跟在靈車後面，看著它越走越遠。
他努力做官為了做讓母親驕傲的兒子。現在，馬醫農夫、乞丐用人甚至奴隸，只要有孩子，就會在清明時受到子孫的追養，但是京兆萬年縣棲鳳原上顯赫的河東柳氏，自以為高門大族的柳宗元，他父母的陵園不會有子孫祭掃。這像一根針，走路時扎在腳下，躺卧時扎在脖頸，痛時他就發憤向京中一切有可能幫助他的舊識求告，求一個回到長安，甚至轉去離長安近些州縣的機會。
並不是沒有機會。元和四年（809年），也在永不量移的「八司馬」之列的程異忽然被召回京城，因為在理財方面的本事被吏部尚書、鹽鐵轉運使 李巽（xùn）起用為鹽鐵轉運使揚子巡院留後 。
柳宗元家的親故頗有在朝堂上能說上話的，但他貶謫永州五年，從來沒有故舊大臣寫信來問——他是罪謗交積的罪人，人人都怕問一句就沾上倒霉的腥臭，壞了自己的大好前途。別人不寫信來問，他也不敢貿然寫信去求救。崔群是柳宗元一起長大的通家舊好，無信來問，柳宗元還要給他找理由：崔群現在做中書舍人，翰林學士，是皇帝身邊的人，多少雙眼睛盯著，不要給他難堪。柳宗元也不敢給他寫信，只能在《與李翰林建書》中小心翼翼提一句：「敦詩（崔群）在近地，簡人事，今不能致書，足下默以此書見之。」偶爾有信來問，他捧著信誠惶誠恐，疑若夢寐。
年輕時他要做領袖，彷彿人人都喜歡他。唐代有做「壁記」的傳統，新的建築蓋起來，都爭著要請文壇的最有名的一支筆來做壁記，敘說建築的源流與意義，抄謄在牆壁之上，作為可以流傳後世的光榮。邠寧進奏院 落成，請柳宗元寫了壁記。周至縣蓋了新食堂，邀請他在食堂牆壁上寫壁記介紹食堂興建的緣由。太學有三個新任的四門助教上任，辦公室里少一個壁記，也請柳宗元去寫。他是最受歡迎的天才，人人趨之若鶩。
在永州，窮厄困辱，世皆背去。他還保留著貞元年間應邀寫作的壁記，如同保留他年輕時左右逢源的證據。現在想來，當時真的人人喜歡他嗎？那些奉承誇讚里又有多少口蜜腹劍……他現在都明白了。在不能入眠的深夜裡，柳宗元在給舊友的《與裴塤書》中自我剖析：「我早年進取，早早得高官，惹人嫉恨。朋友們都要我替他們求官，哪怕我勉力為同輩朋友推薦，真正得官的也只有十分之一。求官不得的那些於是譸張排拫，編排造謠。不過，自己生性高傲，不能摧折，人人說我不堪，我便越不解釋，以為時間可以證明一切。現在我落難也已經這樣久了，但朝廷中關於柳宗元的造謠依然風風雨雨不能停止。」
為了求生，他還要繼續硬著頭皮給從前有交集的朝中貴近寄送文集。柳宗元做監察御史里行時武元衡是御史中丞，他的頂頭上司。代擬表章的事情柳宗元做過不少，武元衡後來升做西川節度使政績卓著，也很會表現識才憐舊的風度，他給柳宗元和劉禹錫都寫了慰問信。但敘舊可以，起複不行：永貞革新時武元衡因為不站在王叔文一邊從御史中丞被貶至太子右庶子 。柳宗元、劉禹錫如同雞肋，棄之可惜，但誰都不願意賭上自己的前途去再次起用他們兩個。
回到京城遙不可望。更給祖宗蒙羞的是，他快四十了，連個兒子都沒有，死都沒臉去死。