建中靖國元年（1101）四月，蘇軾過豫章（江西南昌），停舟吳城山下，禱於順濟王廟。南昌太守葉祖洽問曰：
「世傳端明已歸道山，今尚爾遊戲人間耶！」
蘇軾答曰：「途中見章子厚（惇），我就回頭了。」
孔平仲傳來蘇轍家書，邀他全家到許昌去同居，彼此有個照顧。但是蘇軾總覺得老弟的境況已經非常睏乏，自己這偌大家口，不便再去增加他的負擔，所以躊躇不決。安徽舒州，不盡理想，他已決定放棄，今後只在常州、許昌兩地中，擇一定居。
九江天慶觀道士胡洞微來南昌相迎，又再度邂逅劉安世，於是三人結伴同上廬山。重遊棲賢寺、三峽橋，再至開先寺漱玉亭。蘇軾前次來游，時在元豐七年（1084）四月，至今建中靖國元年的四月，相距已經整整十七年了，作《與胡道師帖》，感嘆不已：
再過廬阜，俯仰十九年。陵穀草木，皆失故態。棲賢、開先之勝，殆亡其半。幻景虛妄，理固當爾。獨山中道友，契好如昔。道在世外，良非虛語。
道師又不遠數百里負笈相從。秉燭相對，恍如夢寐。秋聲宿雲，瞭然在吾目中。
游罷下山，往訪世交劉羲仲（壯輿）於是是堂。
劉氏是有宋一代的史學世家。祖父劉渙，字凝之，蘇軾為撰《屯田哀辭》者。剛介不能諧俗，很早退休，結廬隱居山下者，達三十年。父劉恕，字道原，博通群史，著作等身。叔父劉格，字道純。蘇軾上次從黃州來游，是他陪同上山的，現在似乎都已不在了。
羲仲謹守家學，其父道原也是參與司馬光同編《資治通鑒》的人。蘇軾見到他，就想起十八年前在金陵時，王荊公建議他來重修《三國志》，他即推薦劉恕（道原）來做，現在便對劉恕的兒子羲仲重提舊事道：
「《三國志注》中，好事甚多，你父親（道原）欲修之而不果，君不可辭。」羲仲說：「端明曷不為之？」蘇軾說：「某雖工於語言，修史卻不是當行家。……某老矣，今以付壯輿。」
然而劉家三世清貧，無人供養薪水，必然無法獨力完成這一巨大的工作。
舟中苦熱，蘇軾夜間貪了涼，晨起頭痛畏風，只好在舟中為羲仲寫他祖父劉渙的墓表，讀羲仲自編的文集。
隨胡道士同至九江，看他十八年前托胡代養的慈湖菖蒲，然後就再前行。十六日過湖口，念念不忘湖口李正臣家的壺中九華石，特地往訪，則已被別人捷足先得以去，非常悵惜，作詩有「尤物已隨清夢斷，真形猶在畫圖中」。
舟發皖江，途經舒州，蘇軾因已不再考慮居此，所以也未停留。但聞熱衷官祿，不惜變節投靠章惇的林希，已經死於舒州任上。蘇軾覺得這樣做人，真是何苦，後來與老弟函中，順便提及此事道：
……林子中病傷寒，十餘日便卒。所得幾何？遺臭無窮。哀哉！哀哉！
到達當塗，詩友郭祥正來迎。蘇軾在惠州時，祥正看到一幅軾作《雪雀圖》，寄詩來說：「平生才力信瑰奇，今在窮荒豈易歸。正似雪林枝上畫，羽翰雖好不能飛。」後來聽到蘇軾北歸的喜訊，又用前韻寄詩曰：「秋霜春雨不同時，萬里今從海外歸。已出網羅毛羽在，卻尋雲跡帖天飛。」蘇軾答詩兩首，但說海北天南，一樣是「歸」，而今只自後悔從前不肯「卑飛」，否則便無種種煩惱。二詩今錄其一：
早知臭腐即神奇，海北天南總是歸。
九萬里風安稅駕？雲鵬今悔不卑飛。
五月初一日到金陵。蘇軾南遷之初，曾來崇因禪院禮拜長老宗襲所造觀世音像，當時曾許心愿：「吾北歸，當復過此，必為作頌。」
所以，這次還至金陵，獨在崇因院禮拜還願，作《觀音頌》。
得錢世雄來書，說已代他借到常州顧塘橋孫氏的房屋，復書稱謝曰：「示諭孫君宅子，甚感其厚意，且為多謝上元令侄，行見之矣。裴家宅子果何如？」照這信上看，蘇軾還在問起裴家宅，可見仍想在常買屋，作久居之計。
同時，與黃寔書，說明他之不去許昌與蘇轍同住的原因如次：
行計屢改。近者，幼累舟中皆伏暑，自憫一年在道路矣，不堪復入汴出陸。又聞子由亦窘用，不忍更以三百指諉之，已決意旦夕渡江，過毗陵矣。荷憂愛至深，故及之。子由一書，正為報此事，乞早與達之。
塵埃風葉滿室，隨掃隨有，然不可廢掃，以為賢於不掃也。若知本無一物，又何加焉。有詩錄呈：「簾卷窗穿戶不扃，隙塵風葉任縱橫。幽人睡足誰呼覺？欹枕床前有月明。」一笑，一笑！某再拜。
蘇軾所錄此詩，徹底透露他北歸之日的心境。
人生孤露，塵埃風葉之擾，誰都不能避免。居其室時，固然不能不掃，但如一枕黑甜，目無塵葉，豈不最為清凈？充分表現一個老人的衰倦。
許昌，是京畿的鄰邑，塵埃蔽天，不容安睡，蘇軾原不敢去。但是，蘇轍不肯，一再托王原、孔平仲、李之儀等人來勸。蘇軾終於不忍違拂弟弟這番情意，硬了頭皮，答應下來。
於是，預定行程自淮泗上溯汴河，至陳留登岸，陸行至許。
次子蘇迨的妻兒還在宜興，所以先命邁、迨二人去那裡把他們接到儀真來會合。蘇軾手頭甚為拮据，宜興尚有點田產，也須去變點現錢出來使用。
其時，作書與李之儀云：「得子由書，已決歸許下矣。但須至少留儀真，令兒子往宜興刮刷變轉，往還須月余，約至許下，已七月矣。」
親戚程之元（德孺）時任浙西路漕司，蘇軾托他派一隻坐船在常州等邁，等到時乘來，並且托他買杭州程奕筆一百支，越州紙二千幅。
船須挽纖而行，挽工甚不易找，又函托任淮南路監司的黃寔，代雇四舟所需，每舟五人的挽縴夫役。
皖江途中，曾接門生廖正一專差來書，復曰：
遠去左右，俯仰十年，相與更此百罹。所幸平安，復見天日。彼數子者何故獨先朝露。吾儕皆可慶幸，寧復戚戚於既往哉。……
廖正一被呂溫卿陷害，至今尚在廢黯中，札尾又再殿以慰語曰：「為民除穢，以至蠆尾。吳越戶知之，此非特兒子能言也。」
門生李廌來書，答曰：
某自恨不以一身塞罪，坐累朋友。如方叔飄然一布衣，亦幾不免；純父（范祖禹）、少游（秦觀）又安所獲罪於天。遂斷棄其命，言之何益，付之清議而已。
蘇軾先已與程之元、錢世雄約於金山會晤，所以，趁這段時間，前往金山一行。
程、錢也都遵約到了，相與同登妙高台。
金山寺中，原先留有李公麟所繪蘇軾畫像，此時自題一詩於上：
心似已灰之木，身如不系之舟。
問汝平生功業，黃州惠州儋州。
蘇軾原來只等人船到齊，就搬挈全家往河南許昌，去與弟轍同住，幾已可以實現四十年前懷遠驛「風雨對床」的舊夢了，不料汴京朝局，忽又大變，僅有一點微末的想望，頓時又被砸得粉碎。
韓忠彥為相，與曾布交惡，向太后崩，忠彥失了靠山，曾布就開始活躍起來了。
曾布為山陵使，就在陵上秘密授意御史中丞趙挺之，要他發動紹述之說，排擊元祐臣僚，挺之當然大大賣力。曾布乘時引進許多幫手，安置在輔佐、侍從、台諫的地位上，羽翼將成，先除障礙，若干忠鯁之士，如言官任伯雨、江公望、陳祐等反對紹述和邪正雜進政策的人，次第皆遭罷黜。忠彥雖為首相，而實權暗自潛移，數月之後，就會變成「曾布專政」的局面。
春夏之間，正是紹述之說初興，朝廷內外，一片紛爭擾攘、動蕩不寧的時候。蘇軾在金山聽到這個變局的消息，頓生警惕。因為曾布是個什麼角色，蘇軾與他相知甚久，心裡非常清楚，何況又濟之以趙挺之的奸詐。韓忠彥，典型的貴族子弟，做事沒有魄力，也不會運用權術，絕對不是曾布這幫人的對手。在蘇軾敏銳的觀察力中，政局未來的走勢，他洞若觀火。
天下任何地方皆可去得，總不能投身到火場的鄰屋去。蘇軾立刻懸崖勒馬，打消前往許昌的計畫，托黃寔轉交《與子由書》云：
子由弟：得黃師是遣人齎來二月二十二日書，喜知近日安勝。兄在真州，與一家亦健。行計南北，凡幾變矣。遭值如此，可嘆可笑！
兄近已決計從弟之言，同居潁昌，行有日矣。適值程德孺過金山，往會之，並一二親故皆在坐，頗聞北方事，有決不可往潁昌近地居者。（事皆可信，人所報，大抵相忌，安排攻擊者眾。北行漸近，決不靜耳。）
今已決計居常州，借得一孫家宅，極佳。浙人相喜，決不失所也。更留真十數日，便渡江往常。逾年行役，且此休息。
恨不得老境兄弟相聚，此天也，吾其如天乎！亦不知天果於兄弟終不相聚乎？士君子作事，但於省力處行。此行不遂相聚，非本意，為省力避害也。
候到定疊一兩月，遣邁去注官，迨去搬家，