蘇軾謫至黃州的第三年春四月，他的老友楊繪（元素）因舉薦屬吏王永年，被台諫糾彈，貶官荊南節度副使，乘這機會曾到黃州來看望過他。當時楊繪還對蘇軾提起十年前，他接替陳襄來知杭州時，蘇軾贈詞《醉落魄》中有「尊前一笑休辭卻，天涯同是傷淪落」的句子，不料正應驗了今日兩人相同的命運，成了「語讖」，相與感嘆良久。
這次游罷廬山，還至九江，蘇軾才得到好消息：上年（元豐六年，1083）十一月皇帝南郊祀天於圜丘，大赦天下，楊繪亦援恩例起知興國軍，已至任所。蘇軾感念他們之間的友誼，不惜從九江原路折回到與武昌甚近的興國去看望楊繪。
然後，蘇軾一人再自興國陸行，徑赴筠州去看他的老弟。過瑞昌，自言「溪上青山三百疊，快馬輕衫來一抹。……」（《自興國往筠，宿石田驛南二十五里野人舍》詩），這時候天氣尚不太熱，旅途還算輕快。五月一日至建昌，途遇蘇轍的女婿王適（子立），再至永修，訪問了李莘（野夫）、李常（公擇）兄弟的故居，因為屋主久已不在，似已十分荒敗。當時李常已離開舒州，在京做禮部侍郎，李莘亦官於他處，所以詩說：「何人修水上，種此一雙玉。思之不可見，破宅余修竹。」他懷想故人，只是：「我來仲夏初，解籜呈新綠。幽鳥向我鳴，野人留我宿。徘徊不忍去，微月掛喬木。」一種朋友契闊的懷念，更加深了他在流浪中的寂寞。
到了奉新，先派人送信給蘇轍說：「已至奉新，旦夕相見。」將至筠州前，又寫了《將至筠，先寄遲、適、遠三猶子》那篇長詩，說他「露宿風餐六百里」，明朝雖然已可走到高安的南（蜀）江了，但是「念汝還須戴星起」，充分寫出了他當時的興奮和熱望。距高安二十里，蘇轍等已在城外建山寺迎候了。
蘇轍在筠州，交遊寥落，常相往來的，僅有洞山和雲庵和尚、黃蘗的道全禪師和聖壽院的蜀僧有聰禪師。在接信之前幾天的晚上，雲庵和尚夢與蘇轍及有聰禪師，三人一同出城去迎接五祖寺的戒禪師，醒後覺得奇怪，一早便來告訴蘇轍。話未說完，有聰禪師卻也來了。
蘇轍迎上去，大聲對他說道：「他正與洞山老師說夢，您也是要來說夢嗎？」
「夜來，正夢到我們三人同去迎接五戒和尚。」有聰禪師說。
蘇轍拊掌大笑，說：「世間果有同夢的事，真是奇怪！」
過不幾天，蘇軾的送信人到了。蘇轍、雲庵二人大喜，及期，雇了竹轎，出城二十里至建山寺等他。
蘇軾到了寺中坐定，兄弟久別重逢，一時不便說話，蘇轍就各將前些日子所做的夢說給他聽，不料蘇軾聽後，說出一段故事來。
「我八九歲的時候，常常夢見自身是個和尚，往來陝右一帶。還有先妣孕我時，曾經夢見一個和尚要來我家投宿。還記得這和尚身材瘦長，瞎了一隻眼睛。」
雲庵大驚道：「戒和尚是陝西人，瞎了一眼的。晚年棄五祖寺來游高安，終於大愚。從現在倒數上去，恰恰五十年。」
蘇軾這一年是四十九歲，大家相信五戒禪師是他的前身。蘇軾自己也很信這話，至元祐中，在京城給雲庵和尚寫信，還說：「戒和尚不識人嫌，強顏復出，真可笑矣。既法契，可痛加磨礪，使還舊規，不勝幸甚。」
不但如此，自是而後，蘇軾常穿衲衣，甚至將朝服套在衲衣外面，穿了就去上朝。那時候，哲宗皇帝還是十幾歲的小孩，眼睛尖，好奇心重，他看得很奇怪，便問右璫陳衍道：「蘇軾襯在朝章裡面的是什麼衣服？」
「是道衣。」陳衍回答。
哲宗聽了一笑。
蘇軾來了，被款待住在蘇轍家廳堂前廂的東軒里。
說到蘇轍的住處，比黃州的臨皋亭還不如。他剛到高安時，就住在鹽酒稅局裡，屋在江邊，常遭水淹，而且敝舊不堪。後來乞得郡守的許可，才借到部使者的府邸暫住，仍然是一所東倒西歪的破宅，他自己用木頭來支撐欹斜，土補圮缺，才勉強可住。只有廳堂外那間東軒是自己新造的，還在軒前手種了兩株松樹，百來株綠竹，算是最富情調的一間居室，現在用來招待老兄。
蘇轍在高安的生活，遠不如蘇軾在黃州那樣閑適。這鹽酒稅的差事，原來有三個人在做，蘇轍來後，另外兩個人適皆罷去，從此不再補人，一切瑣事都壓在蘇轍一個人肩上了。早晚上下班，中間隔著一條江水，都須坐船擺渡，自作詩說：「朝來榷酒江南市，日暮歸為江北人。」已夠奔波勞苦了，何況他還必須整天坐在市場中，鬻鹽、沽酒、秤量豬肉和魚鮮，與那些市儈販夫爭論斤兩，計較錙銖，一點休息時間都沒有。直要等到天黑了，才能收拾稅場，關門渡江回家。回到家裡後，他已筋疲力盡，昏然就睡。等他一覺醒來，天也亮了，他又得再趕到江南去做同樣的瑣事。所以雖然造了這間東軒，並沒有時間來享受，自言：「每旦暮出入其傍，顧之，未嘗不啞然自笑也。」
這次蘇軾遠來，才真派上了用場。
這是蘇氏兄弟黃州別後第一次重逢，而且是與他全家人的合聚，他們可以一起自由自在地講眉山家鄉土話，做家鄉點心「水餅」來吃，毫無拘束地說笑話。
蘇軾最關心的是他的三個侄子，他上次見到他們還是十多年前，時在濟南，老三虎兒（蘇遠）出生還不久。現在老大阿梁（蘇遲）年已弱冠，和老二阿羅（蘇適）都已長大得能夠高談闊論了，連這最小的幺兒也已十一歲，開筆學習作詩了。他很高興幾個侄子都已長那麼大，給他們寫「別詩」，自問中夾著甚深的感慨（《別子由三首兼別遲》）：
兩翁歸隱非難事，惟要傳家好兒子。
憶昔汝翁如汝長，筆頭一落三千字。
世人聞此皆大笑，慎勿生兒兩翁似。
不知樗櫟薦明堂，何似鹽車壓千里。
蘇轍的公事，無人替代，甚至端午節那天，他仍然要去鬻鹽沽酒，所以，蘇軾只得帶了三個侄子去玩了一趟大愚山的真如寺（這大愚山就是五戒和尚圓寂的地方）。
在高安，只能住六七天，多年的盼望，卻像天上的閃電一樣，照眼一亮便過去了。臨別時候，他勸慰弟弟道：「三年磨我費百書，一見何止得雙璧。願君亦莫嗟留滯，六十小劫風雨疾。」——人生途中，難免風風雨雨，只是吹打愈狂，過去愈快，勸他不要為眼前的潦倒而沮喪。
蘇軾自己現在固然飄泊無歸，但是，一個自幼從儒家學說里鍛鍊出來的人，怎樣都消滅不掉「求為世用」的抱負，天生我才必有用，決不放棄拯物濟時的責任，決不甘心使生命的意義從此失落。不過讀書人雖要求用，但是立身處世，自有原則，決不放棄。他說了斬釘截鐵的話，要他的弟弟不要擔心他的前途：「知君念我欲別難，我今此別非他日。風裡楊花雖未定，雨中荷葉終不濕。」——這是蘇軾可以自豪的志節，也是蘇軾形體之外壓不倒的英氣。
蘇軾從筠州折回九江，要在九江等待留在黃州的家眷，來此會合。
參寥自下廬山，也仍在九江等候，蘇軾回來後，與他共住慧日院。九江舊名潯陽，當地有一唐代著名的道觀——紫極宮，宋時改為天慶觀。李白有《潯陽紫極宮感秋》詩。太白作此詩時，也在貶謫境況中，且與今日的蘇軾，同為四十九歲。蘇軾往游，兀自默誦著太白的原詩：「何處聞秋聲，翛翛北窗竹。回薄萬古心，攬之不盈掬。……懶從唐生決，羞訪季主卜。四十九年非，一往不可復。野情轉蕭灑，世道有翻覆。……」一種時光流逝的壓迫，一種落拓無歸的際遇，使蘇軾驚訝於人生真是變化莫測，沒有可以肯定的存在，惘然和唱：「流光發永嘆，自昔非余獨。行年四十九，還此北窗宿。……世道如弈棋，變化不容覆。」吐露他寥落無依的傷感。
天慶觀的道士胡洞微，熱烈接待蘇軾。他說，他種有玉芝，一名瓊田草，已經培養了七八年，再過幾年，便成熟可食，吃了可以延年益壽，慨然預約，到時定當分贈。蘇軾非常感激這胡道士的慷慨——時光流逝的悵惜連帶產生服食長生的幻想，詩人李白最豐富的那份想像，同樣激蕩著這半百老人的胸襟。
蘇軾與胡道士於此訂交，並將從磁湖得來的石菖蒲數本，一起託付這位道士代他培養。蘇家全部眷口坐了大船從黃州到了九江，時將六月，參寥也要回浙江於潛去了，賦詩留別，蘇軾和作，有「到後與君開北戶，舉頭三十六青山」句，三十六峰系言嵩山，指河南府永安縣的少室山，蘇軾移置汝州，即在是地，意為約他將來更至汝州相見。
蘇轍《次韻作卻寄邁迨過遯詩》，有云：「邁年最長二十六，已能幹父窮愁里。」蘇邁時將前往饒州德興縣去當縣尉，蘇軾決定先送兒子赴官，六月初九至湖口，父子二人還乘便遊了當地的名勝石鐘山。
這石鐘山就是酈道元《水經注》所記的「下臨深潭，微風鼓浪，水石相搏，聲如洪鐘」的奇景之地。
當地的寺僧使一小童陪他們父子同往，手持小斧在水邊亂石間挑選一兩處敲敲，果然