蘇東坡此後一年零八個月的命運足以表示官身不由己。讀書人能用別的方法謀生，最好不要做官，他的遭遇便是充分的理由。蘇東坡當前的道路，真是崎嶇坎坷瞬息萬變，一直到他人生的末日，不是出乎他的本意，卻與皇后大有關係。皇帝有意使他掌史館，卻被左右所阻。皇帝最後親書一道旨意，把蘇東坡的謫居地由黃州調到汝州（今臨汝），汝州離京師較近，生活亦較為舒適。他聽到這個消息，是在神宗元豐七年（一○八四）三月初。
他當然躲避這個任命，按他自己的話，這猶如「小兒遷延避學」。人做官不外乎為名為利，或為權勢，或為報效國家。我們知道蘇東坡非以做官為發財致富之道，至於權勢，他根本不願控制別人。有些人身上有一種天性，他本已有錢有名，但想鑽入政治圈兒去，只為了去支配別人。初嘗權利的滋味，還頗覺味美，但除少數例外不提，二度競選美國總統的人，不是不知「何以利吾身」，大概就是身不由己。他去再度競選，因為他所屬的政黨要他去競選。若說報效國家，於理欠通，因為反對派里不是也有人如此呼喊嗎？至於為名，蘇東坡知道，即便是身為宰相，也不能在他不朽的文名上有絲毫增減。他又何求於政治？他又能有何成就？
但是另外有三個朋友，一直陪他到九江。一個是老朋友陳慥。另外一個是和尚參寥，他和蘇東坡是在徐州認識的，後來在黃州突然出現，和他住了大概一年。在中國古代，沒有人像出家人遊蹤之廣的，不但因他們完全空閑行動自由，也因為他們走到何處都有他們的旅館住，那就是有他們的寺院。參寥決定到九江廬山去住。
可是，甚至在他這樣困難情況之下，調職之後，他的政敵還不肯把他放鬆。當時一個作家記了下面一個故事：蘇東坡給皇帝上了謝表，皇帝向四周一看，告訴群臣道：「蘇軼真是天才。」
蘇東坡在六月，到山東沿海去就新職。由青島附近，開始乘船，繞山東半島而行。十月十五到達登州後五天，他又應召晉京。全家開始行動起來，將近元豐八年十二月半，到達京都。
一大群人送他啟程。那群人里有士紳，有窮人，有各色人等。我們知道名字的那些鄰居朋友，一直把他送到船上的，計有十九人。路兩旁也有他的朋友、陌生人、農人，也有感激他的窮父母，懷裡抱著孩子，那孩子的命就是這位行將離去的文人搭救的，十九個送他的人一直送到慈湖，在蘇東坡最後離去之前，大家又一齊消磨了幾天。
皇帝感到意外，問道：「怎見得？」
「我有一棟房子，一百多年來一直是我們的財產。我有個敗家兒子，把那房子賣給了別人。今天我不得不從那棟老房子里搬出來，我在那老房子里已經住了一輩子——這就是我為什麼哭的緣故。」
皇帝泰然道：「我很了解他，他心裡是好意。」
最後，幾個最親密的朋友之中，有一個滕元發，勸他安居在常州的太湖左岸宜興，滕元發那時正任太湖南岸的湖州太守。蘇東坡和滕元發二人暗中訂了一項計畫，在宜興買了一塊田地，然後奏請皇上允許他在宜興安居，因為那塊田地是他唯一的生活之所出。滕元發的一個親戚能找到一塊地，在宜興城二十里外，深在山中。那塊地很不小，一年可產米八百擔，會使蘇家生活得滿舒服。蘇東坡當時只剩下幾百緡錢，此外只有父親以前在京都買的一棟房子，但是早已托范鎮以八百緡錢賣出去。
蘇東坡準備搬家，也費了幾十天工夫。他決定先到高安看弟弟子由，留下孝順的長子邁帶領家眷，在他從子由處回來時，大家在九江碰頭。
蘇東坡說：「不錯，不在其位，不謀其政。不過皇上待你以非常之禮，你也應當以非常之禮事君才是。」
蘇東坡說：「漢唐亡於黨禍與戰事，我朝過去極力避免此等危機。但是現在卻在西北兵連禍結，很多書生都被送往東南。你為何不阻止？」
東坡說：「今之君子，爭減半年『磨勘』，便不惜殺人。」
在三月初三，他還胸懷坦蕩，與朋友暢遊甚樂，在定惠院後面商家花園逍遙終日，酒宴之後，他還在一個小樓上酣睡一覺。醒後，漫步踱出東門，在東門看見商店一個大木盆，買下來，預備存水澆瓜。然後沿著一條小溪，進入何氏花園。何家正在房旁添蓋廂房，請他稍留，在竹林中喝幾盅。一個朋友端出一盤糕，東坡巧予命名為「何甚酥」。大家都喝酒，只有參寥和尚只喝棗湯。蘇東坡忽然急想回家。他看見何氏園有橘子樹，他要了幾棵樹苗，要回去種在雪堂的西畔。
王安石立刻臉上變色道：「你要提起往事？」
東坡去看弟弟子由時，三個侄子迎接他，他們是走出八里地前去迎接的。兄弟們已經四年沒見，子由肥胖了些。他看來並不太健康，因為他夜裡費好多時間練瑜珈術。監酒官的辦公室就在一所小破房子里，既露風露雨又搖搖欲墜，俯首便是江邊。據子由說：「舊以三吏共事，余至，其二人者適皆罷去，事委於一。晝則坐市區震鹽沽酒，稅豚魚，與市人爭尋尺以自效。夜歸筋力疲廢，輒昏然就睡，不知夜之既旦。旦則復出營職。」
小人因此才閉口無言。
在南京時，蘇東坡去看王安石，王安石已經是疲憊頹唐的老人。蘇東坡和他討論詩與佛學多日，因為二人都是大詩人並深信佛學，自然有好多話說。有一個故事流傳，說蘇東坡一次按固定的韻腳和題目和王安石作詩，勝過了王安石，王安石便中途作罷。二人談話時，蘇東坡直言責備王安石不該引發戰事，不應該迫害讀書人。
蘇東坡說：「我有話要跟你說。」
二人漫談下去，王安石有點兒前言不搭後語。他說：「『行一不義，殺一不辜，得天下弗焉。』人非如此不可。」
現在官方紛紛為他設宴餞行，很多朋友請他題字留念，這個，他當然提筆沾墨一揮而就。很快就應酬完畢。就在這時，歌妓李琪也收到他贈的一首詩，使她得以名垂後世。在鄰人和朋友為他送行的宴席上，他寫了下列的一首詞：
蘇東坡在那兒住了六七天，然後順流而下到九江，好與家屬相會。和家屬一同順長江下行，七月到南京。在南京，朝雲生的兒子才十個月大，患病而死。這對父母是個極大的打擊，尤其是對年輕的母親。蘇東坡在一首記孩子死的詩里，他說孩子的母親終日在床上躺著，精神恍惚，東坡雖然能擦乾自己的眼淚，聽見朝雲哭，實在難過。東坡有「我淚猶可拭，母哭不可聞」詩句。朝雲沒有再生第二個孩子。
蘇東坡現在總算辦了一件事，到底是極其愚蠢，還是寬宏厚道，看法也就因人而異了。他給滕元發寫信，說他要在荊溪上找一棟房子，他真找到了。他和友人邵民瞻去找，結果找到一棟很好的老宅子，也付了五百緡錢。這就用光了他所有的錢，但是蘇東坡很高興，心裡盤算回去把家眷接來住進去。一天晚上，他在月光之下和邵民瞻在村中漫步，經過一家時，聽見裡面有女人哭泣聲。他倆人叩門走進去。一老婦正在屋角里哭。一問緣故，老婦人說：
王安石伸出二指向東坡說：「這兩件事是由惠卿發動，我今已退休，無權干涉。」
王安石笑而不語。
第三個朋友是道士喬今，他現在大約有一百三十歲，據傳說，後來他又從墳里復活。到了九江，蘇東坡離開了他本要走的路途，又走了陸路一百多里，為了把這位老道士交給他在興國的一個朋友照顧。喬個喜愛鳥獸，永遠帶著他養的鳥獸一同旅行。據子由說，最後此一老人是被騾子踢傷而死的。又過了幾年之後，一個和尚告訴子由，說最近在某處遇見另一個和尚，那個和尚說他自己是喬今，並且說在黃州結識了蘇東坡。子由打聽那個和尚的樣子，說此話的和尚所描寫的和那個老道士完全一樣。在聽這個故事的那些人之間，有一個是興國太守的兒子，他回家把此事告訴了他父親。為了要證實喬今的死而復生，那位太守下令重開喬今的墳，只發現了一根手杖和兩塊腔骨。屍體不見了。
「在這謝表上，他說他和他弟弟考過殿試，卻用『驚魂甫定，夢遊縲紲之中』。他不是說他們以坦白批評朝政的策論考中，但是現在卻以批評朝政而受懲處嗎？他是不甘心認錯，還是委過與人呢？」
兩三天之後，消息到來，要把他改調他處。雖然名義上他還是在貶謫中，可是能自由住在一個美麗而富有的城市了。有數天的工夫他猶疑不決，是否應當奏請繼續住在黃州。後來又一想，這道新任命是皇帝的一分好意，他終於決定遵奉聖命，放棄東坡的農舍。他數年的辛勤，棄於一旦，也許他還要在別的地方，重新創建一個農舍，一切要從頭做起呢。
他在旅途上，發生了兩件有趣事，也可說令人難過的事。在泅州他渡河去遊了南山之後，寫詩一首。河上有一座長橋，因泅州為軍事要隘，天黑以後此橋上不許行人通過，違犯者重罰。實際上，泅州太守是不理會這條規矩的，他在天黑後和蘇東坡同過此橋。為了慶祝此次游山之樂，蘇東坡很天真的寫出