哲宗紹聖元年（一○九四）四月，章惇為相，他首先向蘇東坡開刀。蘇東坡是貶謫到廣東高山大庾嶺以南的第一個人。他被罷黜，剝奪了官階，調充英州太守。他並非不知道會有這類情形，不過不知道第二次迫害會嚴重到什麼程度。皇太后去世後，在往定州就職前，他正式辭行時，皇帝未允謁見，他就覺得危險即將到來了。他曾先後教過那個年輕皇帝八年之久，對他很了解。一年以前，他曾在一道表章里向小皇帝說得很露骨，倘若他不納臣子的忠言，蘇東坡寧願做「醫卜執技之流，簿書奔走之吏」，也不願在朝中擔任侍讀之職。
可是來日如何，他並不真知道。左降英州太守並沒有什麼特別苦吃。章惇也算他的故交之一。在年輕時他和章惇往陝西山中遊歷，蘇東坡曾戲稱章惇將來會殺人不眨眼，不過二人還始終算是朋友。他自己的遭罷黜失官，他倒不以為奇。向朝廷彈劾他的數十條罪名，也是舊有的，而且已經彈劾多次。不外乎是「毀謗先王」，這個罪名是攻擊元佑舊臣的陳詞濫調。而罪證是在皇太后攝政期間，他代擬聖旨罷黜王安石一派小人。他代擬一般的聖旨倒無何重要，因為他是奉太后之命行事的。罷黜蘇東坡的聖旨如下：
蘇東坡現在要跋涉一千五百里，自中國的北部到中國的南部。他覺得他一生只是一站一站的往前走，而現在只是在他人生旅途中的另一步，這旅程是他狐狐落地時已由神靈決定，不過到現在他才充分明白罷了。在他五十七歲時，他已經飽曆命運的榮枯盛衰，現在命運的轉變，在他也不以為奇了。命中注定他最後要完全與政治斷絕關係，要符合他的宿願，使他去度求之已久的常人生活。他現在向前行進，無憂無懼，心中一片安溫寧靜。在過去的日子裡，不管遇到何等問題，何等情形，他都以真誠勇敢之態度相向；他願把一切付諸天命。
蘇東坡以第一個犧牲者的身份，橫越中國南部巍峨雄偉的山脈，受難之中卻有一分卓然不群的優越感，他與家人啟程南下。他弟弟子由已然在汝州上任，離國都很近，蘇東坡先去看他，在金錢上弄得些接濟。蘇東坡對理財一事，並不見長。雖然在皇太后攝政九年期間，他走過一段好運，但時常各地調動，俸祿隨即花光。另一方面，他弟弟子由宦途較為平穩，直升至宰相之位。蘇東坡前去時，子由只能給他七千緡，供他家人在宜興安居之用。他從子由處回來，發現又官降一等，但到南雄的派令並未改變。他給皇帝上了一道使人讀之惻然的表章，請求允許乘船南下，做為對老師的一點兒恩寵。他怕陸行一千五百里，會身染重病而死於道側。所請得蒙恩准，他送全家，包括三個兒媳婦到宜興的蘇家。大家淚眼相望，蘇東坡決定只帶朝雲和兩個小兒子同行。
他們到了南京對岸的儀真，已經是六月天氣，迫害元佑儒臣的行動正在雷厲風行，名公巨卿之遭流放者，已有三十餘人。蘇東坡現在是第三次降官。他已經不夠太守的資格，而是改派到廣州漁東七十里的惠州充任建昌軍司馬。情況已完全不同，他決定讓次子回宜興農莊去，自己只攜二十二歲的兒子蘇過、朝雲、另外兩個老女僕前往。他的門人張耒，這時是靖州太守，派遣了兩個老兵一路伺候他。
但是沿途穿過美麗的鄉野，經過高山深谷，看動人心神的急流高山，蘇東坡都充分觀賞。他坐的是一隻官船，在九江以南邵陽湖停泊時，出乎他意料，第四道命令又來到，又把他貶低官階。運輸官聽到這條命令，派一隊兵來要將船收回。兵來到時正是半夜。蘇東坡與軍官商妥，許他在船上住到次日中午。這時離通往南昌的湖上碼頭還有十二里。他若運氣好，明天午前能到南昌，就安全無事；若遇逆風，他和全家以及行李就只好被拋下船來。他到龍王廟去禱告，因為龍王是主管水上安全的。他向龍王陳明他如今身陷困難，他說明天早晨若到不了目的地，便須露宿野外了。他剛一禱告完畢，一陣強風吹來，船帆漲滿，船向前行走極快，還不到吃早飯時間，船就到達了。後來，在他回程時，他寫了一篇祭文，向龍王道謝。
在九月，他跨越有名的大庾嶺，大庾嶺在中國古代為赴廣州的旅客必經之地。這道關隘是一條遙遠危險的旅途，通過之後，便到了另一個境界，多少旅客往往是有去無回的。一條鋪石頭的路，在關隘兩側各有三四百碼長，道旁有濃蔭茂密的樹，為旅客遮蔽太陽，供旅客歇息。行人到此，不由喟然興嘆，多在岩石上題詩寄慨。立在此處山峰上，頭上雲天，不過颶尺，蘇東坡覺得自己猶如夢遊，不復知自己肉體之軀在何處所了。從那樣高處，他能看到人的渺小，行為的卑鄙，山上的清風把他胸中的塵思俗念，一掃而空。橫過了關隘之後，他遊歷今日的南雄和南華寺，中國佛教禪宗的聖地。
在南雄和廣州之間，他碰見道士老友吳復古。從此之後，在蘇東坡流放期間，他一直與吳復古交往很密切。吳復古是一怪人。在過去那些年，在蘇東坡的生活里，他曾在不同的處所突然出現。蘇東坡第一次遇見他，是在濟南，後來又在京城碰見他。此人從事何種活動呢？難道他沒有職業？他何以為生？他與蘇東坡要好，難道是有所求取？特別是等到蘇東坡在朝得勢之時嗎？可是他向蘇東坡從無所求，也不曾求蘇東坡為他轉求他人。過去不知他流落何方，而現在又忽而相遇，不在別的地方，偏偏在此，蘇東坡又遇到他。吳復古是真正的道士，身體精神，輕鬆自在，一心無憂無慮，這是道家極其重視的，由於身體強，慾望少，他們大多能過一種為人所艷羨的自由自在的生活。要獲得此種自由自在的生活，必須擺脫名利，吃粗茶淡飯，穿衣住處不講究，步行千里，睡在曠野，不視為苦事。吳復古對此世界一無所求。他時隱時現，等於隨時提醒蘇東坡，倘若他不為政治所糾纏，他就過那種飄蕩不羈的日子。
哲宗紹聖元年（一○九四）十月二日，是歐洲第一次十字軍東征的前兩年，蘇東坡到了惠州。好多事對他都顯得新奇，可是又似乎熟悉。廣東是亞熱帶，他看見橘林、甘蔗、荔枝樹、香蕉園，還有檳榔樹。決不是個不適於生活的地方。有兩條河自北流入，在城東會合。前半個月，蘇東坡在地方太守禮遇之下，住在政府官舍中。他立在兩河會合處的合江樓上，看見寬廣的溪流在下面城邊流過，對岸間善縣的縣城，就建築在陡斜的山坡上。沿河是岩石和巨大的石卵，閑散的人正在那兒釣魚。城的正北就是羅浮山和象頭山，他知道以後他會去攬奇探勝的。
這裡就是中國的南方，和他以前所想像的不一樣，處處是濃綠的草木和亞熱帶的水果，的確是「嶺南萬戶皆春色」。當地百姓看見蘇東坡這位詩人，都覺得驚訝，不知他為何故被貶謫到他們這個地區來。蘇東坡想到蘇武，蘇武被匈奴單于流放到漠北，從沒料到在暮年還能回到中國；他又想到管寧流放到遼東，竟願居住在那裡終身不去。惠州很美，當地居民也對他很好。等後來他遷到對岸的嘉佑寺之後，他說不久「雞犬識東坡」了。
在對岸松風閣里他寫了一封短箋，把他對人生的態度表現得最好。搬到嘉站寺之後，他常在山頂的松風閣里留連不去。一天，他正回家時，看見松風閣高高超出樹頂之上，他的兩條老年的腿感覺到疲倦。他忽然想：「此間有什麼歇不得處？由是心若掛鉤之魚，忽得解脫。人若悟此，當恁么時也不妨歇歇。」
如今他又恢複到「依然故我」了。在廣州之時，他買了些上好的檀香，現在喜歡閉門靜坐，細聞此香味，思想往日過錯。有時窗外涼風徐來，他下午酣睡，等屋頂一個烏鴉把他喚醒，忽然覺得自己已然無官一身輕。看見寬闊的河面反光，映入書齋，他心想，這與明月在天一樣好。他不懂為什麼有人以為天空有雲、有月光會更美。他以為天空無雲，正如一塵不染的良心。
他給朋友寫信說：來此半年，已服水土，一心無掛慮，因為已經樂天知命。黃州老朋友陳慥寫信說想來探望，由漢口到惠州有一千里之遙。蘇東坡給他回信說：
他外在的生活絕不寂寞。可以意料得到，所有鄰近地區的官員都利用此一難得的機會來與這位傑出的詩人相結交。惠州東、西、北三面，計有五縣的太守，不斷給他送酒送食物。惠州太守詹范和博羅縣令林杯變成了他最親密的朋友。其他至交如杭州僧人蔘寥、常州的錢世雄，不斷派人帶禮品藥物、書信來探望。蘇州有一個姓卓的佛教徒，步行七百里給太湖地區蘇家與那裡的朋友來送信。蘇東坡在宜興的兩個兒子老不曾聽到父親消息，十分焦慮，姓卓的聽到，他說：「這個容易！惠州也不是在天上，是不是？若是走著去，總可以找得到。」姓卓的便步行出發，走上這條漫長的道路，橫越大庾嶺，走得滿臉紫赫色，兩腳厚繭皮，他走到了。
用這種方法，蘇東坡不斷與家庭保持聯絡。道教奇人吳復古和他同住數月，隨後兩年，在惠州和子由官職所在的高安，時常往返。另一個蘇東坡的同鄉道士陸惟謙，不辭兩千里之遙，特意來看他。蘇東坡發現了一種極不尋常的酒——「桂酒」，他說桂酒不啻是仙露。他給陸維謙寫信開玩