蘇軾舟過廬山之下，遠望群山，峰巒間亂雲騰涌，天色陰霾。獨立船頭，仰望山嶽是何等偉大，人則非常渺小，情不自禁地對著廬山也自默禱起來。時未及午，浮雲盡散，天色豁然晴朗，迎面眾峰凜然，倚天無數青壁。於是，這多難的老人，臉上便自綻出一絲微笑。
時序進入八月，某夜，船泊分風嶺，已經是三更天了，岩邊忽然人聲鼎沸，許多官差明火執仗，要上蘇家船來。
原來本路發運使已知朝廷新頒的後命，對於這個已被「嚴譴」的罪官，小題大做，連夜派了五百人來攔截，要收回官方供給的坐船。
蘇軾不得不低聲下氣地跟來人商量：「乞准連夜趕往星江，只要靠著埠頭，即可自行雇船，隨將官船繳還。」幸得來人許諾，但是蘇軾並無把握能夠半夜之內趕到星子，迫得望空向順濟王（龍神）默禱曰：
軾達旦至星江，出陸至豫章，則吾事濟矣。不然，復見使至，則當露寢埔漵矣。
不久，江風掠耳而起，篙師亟亟升帆，船帆吃飽了風，就很快開行了。抵南昌吳城驛，再禱於順濟王廟（每個沿江碼頭，皆有此廟），留題於望湖亭上。
蘇軾此時，流離道路，身受著無比刻薄的政治迫害。然而，他作望湖亭詩，卻曰：
八月渡重湖，蕭條萬象疏。
秋風片帆急，暮藹一山孤。
許國心猶在，康時術已虛。
岷峨家萬里，投老得歸無？
中國的文人，一朝失意，不是高蹈林泉，吟風弄月，便是醇酒婦人，佯狂玩世。而蘇軾不然，他自認是塵凡中的一個普通人，雖然環境逼得他只想隱遁求全，但卻並不真能忘懷大地上的芸芸眾生，也不能掩熄他自己生命中的光熱。即使他所一生服務的政治，變得那麼顛倒錯亂，而此時此際又身受著刻毒的欺凌，但血管里流著的志士熱血，並不真能冷卻。到他吟出「許國心猶在，康時術已虛」時，任何人都能體會到蘇軾生命的灰燼里，依然埋著不熄的火種。
到了豫章（南昌），蘇軾自己雇了船，繼續舟行，然而前途等著他的，是長達三百里的贛石之險。
自贛州府城之北，章、貢二水匯合處開始，一直到萬安縣界，這條三百里長的水路，不但江流湍急，而且水面下怪石列布，木船碰上巨石，立刻船沉人溺。這許多水底嶙峋，人稱「贛石」。贛石形成一十八個險灘，其中以黃公灘為最險。蘇軾身在叢險中，朝廷告下：
「蘇軾落建昌軍司馬，貶寧遠軍節度副使，惠州安置。」
這篇告詞，即是前舉林希的手筆。蘇軾讀後，但說：「林大亦能作文章耶！」其時，行程適過贛石最險惡的黃公灘，乃作《八月七日初入贛，過惶恐灘》詩——蘇軾故意將「黃公灘」寫作「惶恐灘」，以紀此一時的心境：
七千里外二毛人，十八灘頭一葉身。
山憶喜歡勞遠夢，地名惶恐泣孤臣。
長風送客添帆腹，積雨浮舟減石鱗。
便合與官充水手，此生何止略知津。
進入虔州地界，遊了郁孤台、光孝寺的廉泉、塵外亭和天竺寺。蘇過也步和父親的韻腳，作了《題郁孤台》詩（《斜川集》）。
蘇軾十二歲那年，老泉從虔州漫遊歸家，給他講過：虔州近城山中天竺寺里，有白樂天手書真跡的一首詩，筆勢奇逸，墨跡如新。這首詩曰：「一山門作兩山門，兩寺原從一寺分。東澗水流西澗水，南山雲起北山雲。前台花發後台見，上界鍾清下界聞。遙想吾師行道處，天香桂子落紛紛。」就詩而論，不是一首好詩，轆轤體的文字遊戲而已。因為這是一個鄉居童子，靜聽遠歸的老父，說故事一樣講給他聽的旅途見聞，其中蘊蓄著無限溫暖的親情，所以印象非常深刻。四十七年後，這從前的童子，今已五十九的高齡，又是身在負罪被謫的境遇中，也到了虔州的天竺寺，不免去重尋白樂天這箇舊存手跡，不料詩已亡失，現在只有石刻在了。牽動心事的蘇軾，為之感涕不已，他的哀傷是「四十七年真一夢，天涯流落淚橫斜」 。
蘇軾身遭迫害，頓有無地自容的困窒。於是，道家離世的神秘思想，便很自然地吸引了他。八月二十三日，與王岩翁同謁虔州祥符宮，他以非常的虔敬，瞻拜了沖妙先生李思聰所制的觀妙法像，自言：「以憂患之餘，皈命真寂。自惟塵緣深重，恐此志不遂，敢以簽卜。」求得一簽云：
平生常無患，見善其何樂。
執心既堅固，見善勤修學。
蘇軾再拜受教，決心從此學道，誠惶誠懇地說：「敢有廢墜，真聖殛之！」
紹聖元年（1094）九月，遂度大庾嶺。
嶺在江西省大余縣南，廣東南雄市北。唐張九齡開山徑，植梅嶺上。宋時立關於此，名曰梅關。地居贛粵交界之處，以五嶺分隔中原文明與南國炎荒。在那個時代，人們對嶺外地方還很陌生，眾皆認是蠻荒瘴惡之地。
宋不殺大臣，大臣負罪，以貶謫嶺外為最重的懲罰。元祐前期，蔡確在安州作《車蓋亭詩》，謗訕太皇太后，元老文彥博主張要貶蔡確於嶺外，范純仁聽到這消息，便向宰相呂大防勸說道：「我朝自乾興以來，無人被責過嶺，此路早生荊棘已近七十年。現在如從我們手上，重加開啟，將來政局發生變化，恐怕自己也就不免了。」大防聞言，遂生警惕，不敢作此主張。
不料哲宗親政，政局果然大變，而第一個被貶嶺外的，卻是從未執行過實際政務，而且是當今皇上自少至長、一向敬愛的師傅。政治這東西，真是不可思議，像風一樣，是一種權力所化生的氣勢，毫無理性可言，氣勢所至，便成為不可抗拒的力量，蘇軾便是被此一氣勢所衝決到嶺外來的第一人。
但是，人生亦無非一場大夢。
死生禍福，非人所為，人亦執著不得。蘇軾今日行於大庾嶺上，孑然一身，寵辱兩忘，決心要把自己過往的身世，一齊拋棄在嶺北，要把五十九年身心所受的污染，於此一念之間，洗濯清凈，然後以此清凈之身，投到那個叫作惠州的陌生地方，去安身立命。
蘇軾的學養，使他的眼界不致如一般人那麼狹窄，那麼局限一隅而患得患失。現實社會逼得他走投無路時，他的精神生活活躍起來，就另有一個神秘的想像世界收容了他。
將這想像世界形象化的，就是道家海上三神山（瀛洲、方壺和蓬萊）的理想環境。在那一片充滿和平，沒有名爭利奪的自然生活里，餐霞服氣，煉丹修養，倘與神仙同化，便得長生不老。此一神秘的嚮往，幫他超脫坎坷的世網，助他回歸虛靜的自然生活，使他對所熱愛的生命，不致陷於完全絕望。
蘇軾往大庾嶺途中，就是憑藉這種嚮往，使他的心靈境界，驟然從平凡人世的悲慘現實中，一跳登上了想像世界永恆的邊緣。
蘇軾認為放逐海濱，適足成全他剗落一切過去，勘斷諸般塵緣，「陰學長生」的心愿。即此夢境，使他想起李太白流夜郎贈韋太守詩中，有一聯句子：「仙人拊我頂，結髮受長生。」這十個字，個個閃爍著璀璨的光芒。作《過大庾嶺》詩，就很大膽地全部借了過來。詩成，題於嶺巔龍泉鐘上：
一念失垢污，身心洞清凈。
浩然天地間，惟我獨也正。
今日嶺上行，身世永相忘。
仙人拊我頂，結髮受長生。
在嶺路上，蘇軾偶於林麓間，遇見兩個道人。他們看到蘇軾，便退回茅屋裡去，深入不出。軾很詫異，對押送他的使臣說：「此中有異人，可同訪之。」進了屋子，這兩個道人都在，氣度瀟洒，問使臣道：
「此何人？」
「蘇學士。」
「得非子瞻乎？」道人說。
「學士始以文章得，終以文章失。」使臣說。
兩道人相視而笑，說：「文章豈解能榮辱，富貴從來有盛衰。」
蘇軾默忖：「何處山林間無有道之士乎！」
過了大庾嶺，遂從南雄下始興，到韶州，過月華寺而至曹溪，一路遊山玩水，南國風光，一新耳目。
曹溪南華山南華寺，是六祖慧能的道場，原名寶林寺，宋太平興國三年重建，改名南華。蘇軾至寺，禮拜大鑒塔，塔藏六祖真身。為題「寶林」兩個大字，作寺額，現在猶存。
《南華寺》詩說：「……我本修行人，三世積精鍊。中間一念失，受此百年譴。摳衣禮真相，感動淚雨霰。……」一種忘失本來面目、誤落人間的悲哀油然而生。
然後，過英州，游碧落洞，下湞陽峽，遇到他那學道的朋友潮陽吳復古（子野）於舟中。復古見面，對於得失禍福之事，一字不提，但勸蘇軾道：「邯鄲之夢，猶足以破除虛妄而歸真。何況閣下今日，已經目睹而身經了，亦可以稍信矣。」
至清遠峽，游峽山寺，觀瀑布。至清遠縣，遇見一位當地的秀才，大談惠州風物之美，蘇軾甚為高興，作詩曰：
到處聚觀香案吏，此邦宜著玉堂仙。
江雲漠漠