蘇軾南遷，遠竄惠州，後又渡海而去「非人所居」的昌化，都由稚子蘇過隨侍。朝雲逝世後，老人生理晝夜寒暑一切生活上的需要和雜務，都由蘇過一人擔承，從不嫌煩嫌難，這已非常難得。他還要常常陪著老父出遊，游必有詩，則過也必有和作，意在取娛老人。所以軾作《和陶游斜川》詩中，曾經非常得意地說道：「過子詩似翁，我唱而輒酬。未知陶彭澤，頗有此樂否？」
紹聖五年（1098）戊寅歲的上元，軍使張中約了蘇過到他家去度節，老人獨自看家，靜觀蜥蠍盤在月照的窗上，風吹幃幔，似能聽到蟲子被震動落地的聲音。靠在床上，不覺睡去，夢見了故世已經五年的亡妻同安君。醒後，凄然有感，作詩曰：「……燈花結盡吾猶夢，香篆消時汝欲歸。搔首凄涼十年事，傳柑歸遺滿朝衣。」
至元符三年（1100）庚辰的上元節，記起前年此日，獨自看家，夢見王夫人的事，不覺一晃又已兩年。想到過子從他南遷之初，還只二十三歲，遂爾拋撇妻兒，跟到南荒來，一切家務雜事，靠他一個人操作，這且不說，年輕夫婦如此茫茫無期的隔絕，蘇軾雖喜子媳篤孝，卻不能沒有愧歉。於是作《追和戊寅歲上元》詩，綴以自跋曰：
戊寅上元，余寓儋耳，過子夜出，余獨守舍，作違字韻詩。今庚辰上元，已再期矣。家在惠州白鶴峰下，過子不眷婦子，從余來此。其婦亦篤孝。悵然感之，故和前篇，有石建、姜龐之句。又復悼懷同安君，末章故復有牛衣之句，悲君亡而喜餘存也。書以示過，看余面，勿復感懷。
破家，本是政治流竄必有的副產品，而忠與孝，皆是人被陷入悲劇才能彰著的性行，俗語所謂「家貧出孝子，板蕩識忠臣」者，即是此意。但是，蘇過也非無所得，《宋史》說：「其叔（轍）每稱過孝，以訓宗族。且言：『吾兄遠居海上，惟成就此兒能文。』」只是叔黨（過字）「丁年而往，二毛而歸」，所付的代價，委實浩大。
蘇轍家生了第四個孫子斗老，這是難得的一個喜訊。蘇軾高興得連忙寫首詩去賀他。詩中有「無官一身輕，有子萬事足」句，成為中國人千年來口頭常說的俗諺。又說「不須富文章，端解耗楮竹」，「早謀二頃田，莫待八州督」，則深深表現出他對文學生活的空虛，政治事業的厭惡。
蘇過從海船上接到大哥寄來的書信和酒，報之以詩，從弟蘇遠遂有和作，都粲然可觀。蘇轍寫信來與老哥自相慶幸，軾賦詩寄諸子侄，篇首自況曰：「我似老牛鞭不動，雨滑泥深四蹄重。汝如黃犢走卻來，海闊山高百程送。……」這是任何一個老人生命中最大的快慰。「六子晨耕簞瓢出，眾婦夜績燈火共。……但令文字還照世，糞土腐餘安足夢。」年齡使人從絢爛歸於平淡，蘇軾對子弟們的期望，只是非常樸素的耕讀傳家的統續。
自章惇執政以來，凡是與二蘇較為親近的人，不論其為朋友、賓從或門人，幾乎無一不遭禍殃。在這樣血腥滿地的政治風暴中，為了避嫌遠禍，士大夫朋友們絕對不敢再與二蘇通問訊，甚至從前日夕相從的門生故吏，也斷了音息。流人的孤立和寂寞，都是無可逃避的命運。
《致侄孫元老書》，自述海外生活情況曰：
……老人住海外如昨，但近年多病瘦瘁，不復如往日，不知余年復得相見否？循、惠不得書久矣。旅況牢落，不言可知。又海南連歲不熟，飲食百物艱難；又泉、廣海舶不至，藥物醬酢等皆無，厄窮至此，委命而已。老人與過子相對，如兩苦行僧爾。
《與程全父（天侔）書》說他生活的寂寞曰：
……流轉海外，如逃空谷。既無與晤語者，又書籍舉無有。惟陶淵明一集，柳子厚詩文數策（冊）。常置左右，目為二友。……某與小兒亦粗遣，困窮日甚，親友皆疏絕矣。公獨收恤如舊，此古人所難也。
蘇軾渡海後，親如蘇門四學士的黃庭堅、秦觀、張耒、晁補之等，或其本人也在禍害播遷之中，或則驚惶於政治迫害的刀鋒邊緣，所以都無法與這位流亡中的老師通音問。老人非常懷念他們，《和陶擬古》詩曰：「主人枕書卧，夢我平生友。忽聞剝啄聲，驚散一杯酒。」周彥質介紹一個叫鄭清叟的士人從惠州渡海來見蘇軾，復書云：「李公弼承許遠訪，何幸如之。海州窮獨，見人即喜，況君佳士乎！」老人情懷孤獨，「見人即喜」四字，披瀝無餘了。
也有風義卓犖、不避艱危的朋友，決心渡海來訪。如詩僧參寥要來，被蘇軾發書勸止，而他本人隨亦遭難，未能成行。
眉州同鄉楊濟甫要叫他兒子楊明代他來看望蘇軾，軾與書云：「某與尊公濟甫半生闊別，彼此鬢須雪白，而相見無期，言之凄斷。尊公乃令閣下萬里遠來海外訪其生死。此乃古人難事，聞之感嘆不已。」 再三勸阻。
妻舅王箴（元直）認為蘇軾得意時，大家都去看他，現在落入難中，如何可以不去。所以奮不顧身，從眉山浮江而下，要來儋州。行至中途，聽到蘇軾內遷的喜訊而止。
杜輿決心賣掉家裡一切，要帶妻兒到海南來與蘇軾作伴，也因蘇軾內遷而未實現。
而第一個跨海來訪者，則是四海為家的吳復古。
這位子野先生，是蘇軾的道友。上年春日，他們還在惠州同游豐湖逍遙堂，玩到日將落時，興猶未盡，再往西山叩羅浮道院，到得那裡，時已二鼓，兩人便同宿西堂，對床夜話。及今追想，為時不過年余，卻已遙遠得似是隔世之事。蓋因人經酷虐的變亂，遂覺以前種種，一時皆已死去。如今面對故人，追想去年今日的歡笑，都成了夢影：
往歲追歡地，寒窗夢不成。
笑談驚半夜，風雨暗長檠。
雞唱山椒曉，鐘鳴霜外聲。
只今那復見，彷彿似三生。
蘇軾謫黃州時，曾為東坡雪堂寓客的巢谷（原名穀，後改谷），自從黃州一別，就回故鄉眉山去了。二蘇重入政壇，官高爵顯，巢谷從不問訊。十年後，大蘇流竄海南，小蘇貶謫龍川，年逾七旬的巢谷，卻發奮要從眉山徒步萬里，分訪蘇氏兄弟。別人以為他不過說說瘋話而已，哪知巢谷是認真的。元符二年正月，他竟徒步來到梅州。
蘇軾接到巢谷從梅州寄來的信，長嘆道：「此非今世之人所能，是古人才有的行誼！」
執手相見，不禁對泣。巢谷年紀那麼老了，瘦瘠多病，但他還執意要過海去見蘇軾。蘇轍勸他道：
「你的意思是好，然而從此地到儋州，有數千里路，還要渡海，不是老年人可以做的事。」
「我自知還不會馬上就死，公不必留我。」谷答。
蘇轍勸阻再三，不聽；看他囊中，所剩已無多錢。蘇轍也正在鬧窮，勉強湊了一點給他，他就動身了。
巢谷坐船行至新會，所帶的行裝卻被一個「蠻隸」竊逃了。後來聽到這個傢伙已在新州被捕，巢谷趕去，想要追回失物。舟車勞頓，心裡又急，不幸就在新州旅次病死。當地無一親友，由官方草草收殮。
直至元符三年（1100）八月，蘇軾自廉移永，才知道巢谷途中病亡的事故。朋友之義，死生之痛，不禁大慟。知道他有一個兒子——巢蒙在眉州，立即寫信託楊濟甫給他路費，叫他到新州來迎喪歸葬，預備等他到了永州，再資助他扶櫬回鄉。
巢蒙未到前，旅殯需人照管，蘇軾又致函提舉廣東常平的孫鼛（叔靜）云：
……聞某謫海南，徒步萬里，來相勞問，至新州病亡。官為藁殯，錄其遺物於官庫。元修有子蒙在里中，某已使人呼蒙來迎喪，頗助其路費，仍約過永而南，當更資之，但未到耳。旅殯無人照管，或毀壞暴露，願公憫其不幸，因巡檢至其所，特為一言於彼守令，得稍修治其殯，常戒主者保護之，以須其子之至，則恩及存亡耳。死罪，死罪。
蘇軾居昌化，雖甚孤寂，幸在生性隨和，經過相當時間後，和土著中幾個讀書的老者交上了朋友，如黎子云兄弟、符林、吳翁等均是。他們也常聚飲，詩言：「華夷兩樽合，醉笑一歡同。」客逢佳節，也還有人來邀他出門去散散步，如元符二年的正月十五之夜，月色澄明，有幾個老書生就來邀他一起出去步月，一直玩到三更天才回來。本集有「上元夜遊」一則記事，比諸黃州所作《承天寺夜遊》那篇小品，毫無遜色。記曰：
己卯上元，余在儋州，有老書生數人來過曰：「良月嘉夜，先生能一出乎？」予欣然從之。步西城，入僧舍，歷小巷，民夷雜揉，屠沽紛然。歸舍，已三鼓矣。舍中掩關熟睡，已再鼾矣。放杖而笑，孰為得失？問先生何笑，蓋自笑也。然亦笑韓退之釣魚無得，更欲遠去，不知走海者未必得大魚也。
昌化不比黃州、惠州，黃州還有江邊可玩，惠州還有豐湖可去。在昌化，他只能逗逗路邊玩耍的兒童；獨自站在溪邊三叉路口，看看路上的行人；已經半個月沒有醉飽過，想到明天，人家要祭灶了，也許會有人送點祭余的剩菜來……作《縱筆》三首：
寂寂東坡一病翁，白須蕭散滿霜風。