蘇軾父子於元豐三年（1080）二月初一日到達目的地，走在路上的時間，足足有半個月。
黃州在大江之湄，北附黃岡，地形高高下下，頗不平坦，公府居民，極其蕭條。不過既為貶謫之所，自然是「大不勝處」，所以也毫不詫異。
一路來時，看見黃州城外江滸群山上，連綿不斷的儘是竹林，俯望繞郭長江，風平浪靜，心裡便在盤算：這地方竹林那麼多，竹筍一定很香很嫩，長江里活活潑潑的魚鮮，不愁吃不到。吃的既然有了，其他都好辦。至於做官呢？既已身為「逐客」，但還擁有一個水部員外郎的虛銜，他想到梁朝的何遜，唐朝的張籍，這兩位前代詩人都曾做過此官，我又何嘗辱沒，作《初到黃州》詩，感覺非常滿足，只有開頭兩句，可以解釋為他平生只為「口食」奔忙，但也不妨解讀為一生皆因「口舌」遭殃。原詩：
自笑平生為口忙，老來事業轉荒唐。
長江繞郭知魚美，妤竹連山覺筍香。
逐客不妨員外置，詩人例作水曹郎。
只慚無補絲毫事，尚費官家壓酒囊。
蘇軾新來乍到，沒有落腳處，只得仍求寺院暫住——黃州的定惠院。定惠院坐落城中，不像禪智寺那樣破落荒涼，院中薄有花木修竹的栽植，住持和尚顒師也很看重這位住客，給予種種方便。因為住在廟裡，蘇氏父子即在寺內搭夥，跟著和尚們一同用齋。
被貶謫的罪官，到達貶所，有兩件正事要做：一是立即去向當地的長官「謁告」，有如現在的所謂「報到」，當時的黃州知州是東海人徐大受，字君猷，對他非常禮遇，一點沒有遭受奚落；第二件事是要進上謝表，蘇軾寫得小心翼翼，但能將他自己的立身本末，不亢不卑地說得一清二楚，毫不沮喪。如言：
伏念臣早緣科第，誤忝縉紳。親逢睿哲之興，遂有功名之意。亦嘗召對便殿，考其所學之言；試守三州，觀其所行之實。而臣用意過當，日趨於迷。賦命衰窮，天奪其魄，雖至仁屢赦而眾議不容。……豈謂尚玷散員，更叨善地。投畀麋鼯之野，保全樗櫟之生，臣雖至愚，豈不知幸。……
蘇軾見過徐太守後，黃州無一熟人，沒有地方要去，他在定惠院里，竟自實行陳州對蘇轍說的那句話：「畏蛇不下榻，睡足吾無求。」關起門來，大睡其覺。人逢喜事精神爽，悶倒頭來瞌睡多，大家都有過同樣的經驗，「昏昏覺還卧，輾轉無由足」 。縱然勉強起來，出門走走，頭腦還是昏沉沉的，醒不過來。
起初，他是白天睡覺，到了晚上，才一個人悄悄跑到寺外去散散步，有時也買杯淡而無味的村釀來潤潤喉嚨。他竭力不使自己喝醉，只怕醉後亂說話。看似平靜的生活，心裡隱藏著恐怖的創傷，還在那裡隱隱作痛。
「先生食飽無一事」，總不能整天整夜都睡在床上，就不免常到城中隨處閑逛，但他的出入，不過如《與王定國書》所說：
某寓一僧舍，隨僧蔬食，感恩念咎之外，灰心杜口，不曾看謁人。所云出入，蓋往村寺沐浴及尋溪傍谷，釣魚採藥以自娛耳。
沐浴是蘇軾日常生活中的癖好之一，此來黃州，常去城南安國寺洗澡，他在《安國寺浴》中別有感觸：「塵垢能幾何，翛然脫羈梏。披衣坐小閣，散發臨修竹。心困萬緣空，身安一床足。豈惟忘凈穢，兼以洗榮辱。默歸毋多談，此理觀要熟。」甚至像這樣淡泊的感慨也不敢「多談」，蘇軾當時的精神生活，還一直在被禁制的狀況中，是可以想像得到的。
除此以外，他只得毫無目的地到處閑逛，不問是私家花園或是寺廟，他都「拄杖敲門」，要求進去看看。其中有兩座私家園林，他最欣賞：一是尚氏園，園中竹林花木，修治得最好，藂枳花尤其出色，蘇軾曾親為此花圖寫；一為柯姓林園，倚山辟園，山上有一片老枳樹林，開白花，香味清淡，顏色絕俗，常常使他徘徊樹下，為之忘情。
更有一天，他漫步走到定惠院東的土山邊，在某家雜花滿開的籬落間，忽然發現花叢中竟有一株海棠，在春風中嫣然含笑，使他非常詫異。蘇軾當年，海棠是西蜀濯錦江獨有的名卉，成都燕王宮碧雞坊的海棠尤為繁盛，范石湖詞所謂「碧雞坊里花如屋，只為海棠，也合來西蜀」，別地向無此花，像黃州這樣偏僻的地方，土人又不知此花的名貴，怎麼會有呢？這樣想看，不知不覺就從海棠花的溷落黃州，移情到自己的身世上來了。他好像做夢一樣，以為一定是天上的鴻鵠把海棠花的種子從西蜀銜到了黃州，遂使這空谷佳人，落入江城瘴地里，自苦幽獨了。不輕易傷感的蘇軾，「忽逢絕艷照衰朽，嘆息無言揩病目」。海棠的艷影，一一化作自己的身形，對此不免流露了天涯流落的悲哀。據說，日後蘇軾常常書寫這首「海棠」詩來送人，先後不下數十本之多，可見這首詩中蘊藏著他深邃的感情。
從陳州回去後的蘇轍，立即依照兄弟商定的辦法，趕忙結束南都的工作，辦完交代，然後攜同兩房眷口，自南都登舟，泛汴泗，出淮揚，過金陵，溯皖江，然後泊舟九江，叫自家眷口就在九江等待，他則親自護送嫂氏、侄子以及哥哥家其他眷屬人等，仍循水路前往黃州。
蘇軾計算著他們的行程，也忙著準備接眷。雖說家眷來了，可以不再寄寓廟宇，但他卻擔心偌大一份家口的生活負擔，所以心裡實在也很怕他們到來，與章惇書中，坦白說道：
黃州魚稻薪炭頗賤，甚與窮者相宜。然軾平生未嘗作活計，俸入所得，隨手輒盡。而子由有七女，債負山積，賤累皆在渠處，未知何日到此。現寓僧舍，布衣蔬食，隨僧一餐，差為簡便，以此畏其到也。
窮達得喪，粗了其理，但廩祿相絕，恐年載間，遂有饑寒之憂，不能不少念。……
轉眼已是榴花照眼的季節，消息傳來，蘇轍率領的一家人都已到了磁湖（今湖北大冶），但為巨風大浪所阻，只得停船稍待。蘇軾追懷陳州之別，幾已半年，兄弟倆又將在黃州重見，一切恍恍惚惚，如在夢中，作詩代簡，倩人往迎：
驚塵急雪滿貂裘，淚灑東風別宛丘。
又向邯鄲枕中見，卻來雲夢澤南州。
暌離動作三年計，牽挽當為十日留。
早晚青山映黃髮，相看萬事一時休。
蘇轍答詩說：「黃州不到六十里，白浪俄生百萬重。自笑一生渾類此，可憐萬事不由儂。」一番被命運播弄的感慨。兩天後，聽說風浪過去了，蘇軾即於五月二十七日黎明，坐船到離黃州二十里地的市集巴河口去接他們。
坐在船上，細細欣賞晨光曦微中的江水，浩淼的水面上籠罩著蒙蒙煙霧，顯出一片寧靜，小舟輕盈前進，猶如劃破千頃碧綠色的玻璃。置身在這樣自由美好的天地里，禁不住想起去年在御史台獄囚房裡的生活，「去年御史府，舉動觸四壁。幽幽百尺井，仰天無一席」。他就在這井底，戰戰兢兢過了一百多天——「餘生復何幸，樂事有今日」。他可以和家人團聚了，他幾乎願意在這江城終老了。
他曾有一個不切實際的空想，假使蘇轍也願意住到黃州來，他將設法籌點錢，把柯氏園買下來兄弟共居，這個構想雖然美好，但不是現在的能力所做得到的。家眷來了，他不得不弄個住處，遂於二十九日搬進臨皋亭去住。
臨皋亭在回車院中。回車院是公家建築，為三司按臨黃州時所居的官邸，本來不是一個被譴謫的罪官可以住得的。據蘇軾於遷住臨皋亭後與鄂守朱壽昌書：
已遷居江上臨皋亭，酌江水飲之，皆公恩庇之餘波。
似是壽昌向有關方面代他關說，才弄到手的。但這房屋並不寬大，他又家口眾多，住得非常擁擠。如同年夏，陳慥要到黃州來看他，他就曾為招待客人住宿，大傷腦筋，寫信告陳說：「臨皋雖有一室可憩從者，但西日可畏。承天（寺）極相近，或門前一大舸亦可居，到後相度。」要借僧舍，甚至是門前停泊的舊船來接待賓客，蘇家房屋的迫促，實已到了捉襟見肘的地步。
臨皋亭住屋雖然狹小，但是門外的風景卻非常美。亭在江邊水驛上，亭下八十餘步便是大江，滔滔江水，自上游亂流西下，浪擊江岸，濤聲晝夜不絕。對岸就是樊口，景色幽美如畫，蘇軾閑常策杖江邊，獨自一人眺望天空渺渺的流雲和江上起伏的浪濤，不能不使他感到天地何等寥廓，而人卻這樣的渺小與無助。
蘇軾《與范子豐書》說：
臨皋亭下，八十餘步，便是大江，其半是峨嵋雪水，吾飲食沐浴皆取焉，何必歸鄉哉。江山風月，本無常主，閑者便是主人。問子豐新第園池，與此孰勝？所以不如君者，上無兩稅及助役錢耳。
粗看他對於這種閑散的隱居生活，似已非常滿足，其實那只是生活之藝術精神的一面。作為一個儒學者，淑世是其生命的本分，「雖雲走仁義，未免違寒餓」，他可以毫不怨悔。但是「丈夫重出處，不退要當前」，滿懷用世的熱情又怎能輕易放下？所以當他的好友李常寄詩來慰問他的不幸時，他卻大不以為然，復書直道儒者的責任時，又另是