他也還討一類人喜歡：憤怒青年、失意秀才、貶謫朝官。柳宗元的族弟柳宗直考上進士卻沒有得官，時有傳說，都是因為有個罪人哥哥柳宗元連累了他。柳宗直乾脆就去永州找柳宗元，向他學文章，陪他到處玩，照顧一家人。類似的還有柳宗元的表弟盧遵，跟柳宗元同樣被貶謫而無所事事的吳武陵。
這一群被時代拋棄的人什麼都沒有，只有大把的時間，於是施施而行，漫漫而游，入深林，窮回溪，幽泉怪石，無遠不到。柳宗元負責規劃路線：從龍興寺走到法華寺，登上法華寺西亭可以望見湘江，湘江的支流冉溪，冉溪之外的西山。冉溪而南，西山往西的鈷鉧潭，鈷鉧潭西有小丘，小丘西又有小石潭。都遊玩一遍。
過了幾年，他搬去冉溪，沒多久，再次從西山開始另一個方向的巡遊。
西山中有可以觀景的朝陽岩。朝陽岩東南，冉溪水行至蕪江，有袁家渴。楚越方言中，水的支流叫「渴」。袁家渴西南步行百步，有一條長十許步、寬窄變化在數尺間的石渠；水流從大石下穿過，往更遠處菖蒲覆蓋，清鮮環周的石潭源源而去。石渠上有石橋，過橋西北下土山山南，又有一座橋，過橋後是一條比石渠寬闊三倍的石澗，澗底是寬闊不見邊際的整塊大石。水流沖刷著石床，流若織文，響若操琴。
這兩次長長郊遊的記錄在《始得西山宴遊記》《鈷鉧潭記》《鈷鉧潭西小丘記》《至小丘西小石潭記》《袁家渴記》《石渠記》《石澗記》和《小石城山記》。這些就是後來提到柳宗元必要提起的《永州八記》。
山水遊記，柳宗元眼前已見過許多範本：北朝酈道元整理地理文獻而成的散文體《水經注》，南朝詩人鮑照的駢體《登大雷岸與妹書》。但沒有人如柳宗元，他的文字踏著如水流般自由流動的步態，有擊石般玲瓏的音律。當時流行學駢體文寫公文，他偏不。他按著司馬遷的路數寫散文，但從小接受的駢驪對偶讓他的散文里有強烈的律動，朗朗上口。韓愈在朝，柳宗元被放逐，但不妨礙他們一道提倡的散文寫作成為當時的風尚——「古文運動」。
他數十年用力於文章的苦心，原是為了成為最出色的翰林學士，執掌制誥，成朝廷腹心，創造屬於他的時代。現在，只能隨便浪費在人跡罕至的荒山水。每一次的出遊總以興緻勃勃為始，寥落蕭瑟為終。每當他從發現美景的喜悅里沉澱下來，將要深入對人生的感慨，他總把它硬生生掐斷：都是恐懼，都是委屈，不要提。
有人從北方來，看他天天到處玩，笑嘻嘻地對他說：我本想來寬慰寬慰您，看您現在臉色坦蕩，看來是通達人，那我就祝賀你了！柳宗元既無法埋怨這輕佻的安慰，也無法直白地陳說自己的痛苦，只能淡淡回答：「嬉笑之怒，甚於裂眥；長歌之哀，過於慟哭。」
柳宗元在永州的前五年，到處寄住，從龍興寺住到法華寺西亭，都是暫住。五年之間，住處被山火燒毀四次，牆倒窗毀，書籍衣物蕩然無存，人光著腳跑出來，不敢燒火，不敢做飯，不敢點燈。只惴惴不安坐在屋頂，等著天災過去。懷揣著很快就能離開的希望，他總是憋著不願意蓋房子。到元和五年（810年），柳宗元終於買了小丘，買了泉，蓋房子，壘池塘，有了固定住所。他為溪水泉丘池堂亭島都起了名字——愚——因為他自己蠢。他為此寫了《愚溪詩序》：愚溪之上，買小丘為愚丘。自愚丘東北行六十步，得泉焉，又買居之，為愚泉。愚泉凡六穴，皆出山下平地，蓋上出也。合流屈曲而南，為愚溝。遂負土累石，塞其隘，為愚池。愚池之東為愚堂，其南為愚亭。池之中為愚島。
從此放棄回京城去的奢望，要把永州當作家。
陪他一起遊玩的人漸漸都離開。吳武陵調任，宗直在三十歲上早早故去。柳宗元為此自責萬分。他在祭文里反反覆復地說，柳宗直的英年早逝都是自己的罪。像柳宗直這樣眼神兒不好，不會察言觀色的人屈指可數。更多的人，腦子很好使——哪怕是柳家族裡的小輩也知道躲著他走。旅途哪怕經過永州，也假裝不知道柳宗元在此，目不斜視，飛快趕路。柳宗元年輕時就知道這個道理，在《宋清傳》里寫過「吾觀今之交乎人者，炎而附，寒而棄」。他早早接受了這種勢利。老實的小輩柳澥（xiè）來看他，離開時，柳宗元為他寫了一篇序，誇柳澥是敦厚樸實的人，勉勵他勤聖人之道，輔以孝悌，期望他在未來帶領柳氏一族的復興。那些對他不聞不問的族裡小輩，他平平淡淡講起他們去往各地赴任出差，經過永州也不來看他一眼的事，他甚至還要柳澥為他帶話，勉勵他們奮發，為自己不能替家族增光而道歉。
他們都有光明的未來。如同一顆釘子一樣被摁死在永州的，只有他柳宗元。
永州在南方，到了冬天，有時也落雪，日夜不歇。登上朝陽岩，可以見到白茫茫無邊延伸，越過五嶺覆蓋南越數州。柳宗元記下冬日的大雪，也記下他彷彿自由又永遠被禁錮的心情：
千山鳥飛絕，萬徑人蹤滅。
孤舟蓑笠翁，獨釣寒江雪。
——《江雪》