海南島那時是在宋朝統治之下，但是居民則大多是黎人，在北部沿岸有少數漢人。蘇東坡就被貶謫到北部沿岸一帶去，這中國文化藩籬之外的地方。元佑大臣數百個受苦難折磨的，只有他一個人貶謫到此處。朝廷當政派為防止元佑諸臣再捲土重來，在那一年及以後數年，決定懲處或貶謫所有與前朝有關聯的臣子。蘇東坡貶謫到海南島不久，司馬光後代子孫的官爵一律被削除，好多大官都予調職，其中包括蘇子由和范純仁，調往的地方不是南方就是西南。甚至老臣文彥博，已經九十一歲高齡，也沒饒過，不過只是削除了幾個爵位。打擊蘇東坡最甚的就是凡受貶謫的臣子，其親戚家族不得在其附近縣境任官職。因為蘇邁原在南雄附近為官，現在也丟了官職。
現在蘇東坡所有的，幾乎只有那一棟房子了。按照他名義上的官階計算，朝廷三年來欠他兩百貫當地的錢幣，按京都幣值計算，是一百五十貫。所欠的官俸既未發下，蘇東坡寫信給好友廣州太守，求他幫忙請稅吏付給他。這個朋友王吉曾經聽蘇東坡的話興建過醫院，周濟過貧民，可是不久即以「妄賑饑民」的罪名遭上方罷斥了，前面已然提過。蘇東坡的欠薪發下與否，已不能稽考。
他現年六十歲，這是按西方計算。到底以後他還流放在外多久，頗難預卜，生還內地之望，甚為渺茫。兩個兒子一直陪伴到廣州。蘇造在河邊向他告別，蘇過則將家室留在惠州，陪伴他同到海南。為了到達任所，蘇東坡必須湖西江而上，船行數百里到梧州（在現代的廣西），然後南轉，從雷州半島渡海。他一到雷州，聽說他弟弟子由在往雷州半島貶謫之處，剛剛經過此地。據揣測說，蘇氏兄弟被貶謫到這個地方，是因為他倆的名字與地名相似（子瞻到儋州，子由到雷州），章惇覺得頗有趣味。子由也帶了妻子、第三個兒子，和三兒媳婦，他們幾年前一直和他在高安住過的。
蘇東坡到了梧州附近的藤州，與弟弟子由相遇，而今境況凄涼。當地是個窮縣分，兄弟二人到一個小館子去吃午飯。子由吃慣了講究的飯食，對那粗糙麥麵餅實在難以入口。蘇東坡把自己的餅幾口吃光，笑著向弟弟說：「這種美味，你還要細嚼慢咽嗎？」他們站起身來走出小鋪子去，帶著家人慢慢向前走，儘可能慢走，因為他知道一到雷州，就要立刻渡海了。
雷州太守一向仰慕蘇氏兄弟。他予二人盛大歡迎接待，送酒食，結果第二年因此遭受彈劾，調離任所。子由在雷州的住處，後來改為一座廟，是他兄弟二人死後，用以紀念他們的。
蘇東坡必須出發了，子由送他到海邊。離別的前夕，兄弟二人及家人在船上過了一夜。蘇東坡的痔瘡又發，甚為痛苦，於由勸他戒酒。二人用一部分時間一同作詩，蘇東坡試探出子由最小的兒子的詩才。這次離別是生離死別，真是令人黯然銷魂，一直愁坐整夜。離別之前，蘇東坡給王古寫了下面的文句：「某垂老投荒，無復生還之望。春與長子邁訣，已處置後事矣。今到海南，首當做棺，次便做墓。仍留手疏與諸子，死即葬于海外，生不契棺，死不扶瞑，此亦東坡之家風也。」
那天，他向先賢調祈禱。有一個廟，供奉征南二將軍的神像。凡是在此風濤險惡之處，過海的旅客，都求神諭，決定吉日良辰開船。過去發現神諭無不應驗。蘇東坡也遵照習俗行事。
在紹聖四年（一○九七）六月十一日，蘇氏兄弟分手，蘇東坡和幼子和雷州太守派的沿途侍奉他的幾個兵上了船。航程很短，在此晴朗的天氣，蘇東坡可以看見島上山巒的輪廓矗立於天際。他心中思潮起伏。大海對他不像對西方詩人那麼富有魔力。實際上，他已經是「眩懷喪魄」了。但是一路平安無事。登岸之後，蘇東坡父子向西北岸的儋州目的地前進，七月二日到達。
他到達不久，一位很好的縣官張中就到了。張中不但對蘇東坡這位詩人佩服得五體投地，而且他本人又是個圍棋高手。他和蘇過後來成了莫逆之交。二人常常終日下棋，蘇東坡在旁觀戰。由於張中的熱誠招待，蘇東坡就住在張中公館旁邊的一所官舍里。不過也是一所小舊房子，秋雨一來，房頂就漏，所以夜裡蘇東坡得把床東移西移。因為是官家的房子，張中用公款修繕一番，後來因此為他招了麻煩。
由中國人看來，海南島根本不適於人居住。在夏天極其潮濕，氣悶，冬天霧氣很重。秋雨連綿，一切東西無不發霉。一次蘇東坡看見好多白蟻死在他的床柱上。這種有害於人的氣候，頗使人想到長生之道。蘇東坡寫過下面一段文字：
在海岸上的市鎮之後，島內居住的黎族，與內地的移民相處並不融洽。他們住在熱帶的山上，後來在日軍偷襲珍珠港之前，他們為日本效力，訓練叢林戰術。本地人不能讀書寫字，但規矩老實，常受狡詐的漢人欺騙。他們懶於耕種，以打獵為生。像在四川或福建的一部分地方一樣、他們也是婦女操作，男人在家照顧孩子。黎民的婦人在叢林中砍柴，背到市鎮去賣。所有的金屬用具如斧子、刀、五穀、布、鹽、鹹菜，都自內地輸入。他們用烏龜殼和沉水香來交換，沉水香是中國應用甚廣的有名熏香。甚至米也自內地輸入，因為當地人只吃芋頭喝白水當做飯食。在冬天自大陸運米船不到時，蘇東坡也得以此維持生活。
當地居民非常迷信，患病時由術士看病，沒有醫生。土人治病的唯一辦法是在廟中禱告，殺牛以祭神。結果，每年由大陸運進不少的牛專為祭神之用。蘇東坡是佛教徒，設法改變此一風俗，但風俗改變，談何容易，他曾寫過下列文字：
內地人始終不能征服那些叢林中的居民。官兵一到，他們只要退入叢林中，官兵根本不想到山中居住，自然不肯深入。黎民有時因與漢人有爭吵糾紛，也偶會進襲市鎮。有時被商人所欺，在衙門得不到公道審判，他們唯一的辦法，就是把此人捉住不放，然後將金錢索回。蘇過後來寫了兩千字一篇長文，論此種情形，並表示對此叢林蠻族無法征服，只有公平相待，公正管理。他認為此等土著是老實規矩的百姓，因為官府不替他們主持公道，他們才被迫而自行執法。
這次到海南島，以身體的折磨加之於老年人身上，這才是流放。據蘇東坡說，在島上可以說要什麼沒有什麼。他說：「此間食無肉，病無葯，居無室，出無友，冬無炭，夏無寒泉，然亦未易悉數，大率皆無爾。惟有一幸，無甚瘴也。」
但是他那不屈不撓的精神和達觀的人生哲學，卻不許他失去人生的快樂。他寫信給朋友說：「尚有此身付與造物者，聽其運轉流行坎止無不可者，故人知之，免憂煎。」
使章惇和蘇東坡的其他敵人煩惱的，是他們竟無奈蘇東坡何。在哲宗元符元年（一○九八）十二月十二日，他在日記中寫自己的坎坷說：
蘇東坡也許是固執，也許真是克己自製，至少也從未失去那份詼諧輕鬆。僧人蔘寥派一個小沙彌到海南島去看他，帶有一封信和禮品，並說要親身去探望。蘇東坡回信說：「某到貶所半年，凡百粗遣，更不能細說。大略似靈隱天竺和尚退院後，卻在一個小村院子折足襠中罨糙米飯吃，便過一生也得。其餘瘴疾病人，北方何嘗不病，是病皆死得人，何必瘴氣？但若無醫藥，京師國醫手裡，死漢尤多。參寥聞此一笑。當不復憂我也。相知者即以此語之。」
他在此島上的人生態度，也許在他貶居此地最後一年後，在雜記中所寫的那段話表現得最清楚：
蘇東坡一次對他弟弟說：「我上可以陪玉皇大帝，下可以陪卑田院乞兒。在我眼中天下沒有一個不是好人。」現在他就和默默無名的讀書人、匹夫匹婦相往還。和這些老實人在一起，他無須乎言語謹慎，他可以完全自由，可以名士本色示人。他從沒有一天沒有客人，若是沒人去看他，他會出去看鄰居。像以前在黃州一樣，他與身份高身份低的各色人，讀書人、農夫等相交往。閑談時，他常是席地而坐。他只是以閑談為樂。但是他也願聽別人說話。他帶著一條海南種的大狗「烏嘴」，隨意到處遊逛。和村民在檳榔樹下一坐，就暢談起來。那些無知的窮莊稼漢，能對他說什麼呢？莊稼漢震於他的學識淵博，只能說：「我們不知道說什麼。」蘇東坡說：「那就談鬼。好，告訴我幾個鬼故事。」那些人說並不知道什麼有趣的鬼故事。蘇東坡說：「沒關係，隨便說你聽到的就行。」後來蘇過告訴他的朋友說，他父親若一天沒有客人來，他就覺得父親好像不舒服。
甚至於在如此地遠天偏的地方，那群政敵小人也不讓他安靜消停。紹聖三年（一○九六）是迫害老臣雷厲風行的一年。在紹聖四年（一○九七），快到舊年除夕了，兩個元佑大官在十天之內先後死亡，情況可疑。在春天，那兩個官員的子女也遭監禁，老太后的秘書也處了死刑。所有遭貶謫的官員，都又調遷地方。那年夏天遭到調遷的官員之中，有蘇子由、秦觀、鄭俠，我們還記得鄭俠就是獻圖推翻王安石的宮門小吏。
三月，神奇道士吳復古，又在海南島出現，和蘇東坡住了幾個月。他帶來的消息是，朝廷派董必來