建中靖國元年（1101）元宵節前兩三天，蘇軾一家人都到了虔州。
果然贛江水涸，不能通航。蘇軾只得寄家於虔縣的水南，等待江漲。
虔守霍漢英（子侔）、監郡許朝奉（名不詳）邀宴於郁孤台。和詩中有「揚雄未有宅，王粲且登樓。老景無多日，歸心夢幾州」這幾句話，正是蘇軾此時最大的心事。
他拖帶著三房子媳孫兒，飄泊道途，已經七八個月了。幸而不必遠征湖南，但還不知去何處做歸止。是風土美好的安徽舒州，還是「緣在東南」的常州或杭州，還是到河南許昌去與老弟同居，一直都還不能決定。
籌思再三，還是常州最便，因為有點田產在那地方，可以就田而活。又聽自虔守霍漢英說，常州東門外有一裴家的宅子要賣，便寫信託錢世雄派人去探問產價。書言：
已到虔州，二月十日間方離此。此行決往常州居住，不知郡中有屋可僦可典買者否？如無可居，即欲往舒州、真州皆可。如聞常州東門外有裴氏宅出賣（虔守霍子侔大夫言），告公令一幹事人問。倘若果可居，為問其值幾何？度力所及，即徑往議之。俟至金陵，當別遣人咨稟也。
蘇軾寓居水南，長日無事，每天都攜帶一個葯囊到郡城或山寮野市去，遇有病人，他就贈葯，並開藥方，教他如何調治。走過寺廟道觀，也必進去玩玩。好事者和僧道之流，預先探聽他行游之所，就在該地設案，案上堆置佳紙和筆墨，每張紙尾寫上姓名，自己則拱立以待。蘇軾進來了，看到那個案子，笑笑，不問一句話，就抓起筆來隨意揮灑，將寫好的紙，隨手付與求者。看看剩下的紙，如還有很多，一時寫不完，就笑語大家道：
「天色晚了，紙還寫不盡，哪個要寫齋名或佛偈的，請即告我。」
到他歸去時，人人都已有了滿足的收穫，歡躍而散。
蘇軾很喜歡沐浴，海南苦無浴器，至以雞和馬自比，現在則可痛快淋漓地浴於寺觀了（宋代浴室為寺院專業）。他常去贛城東南的慈雲寺洗澡。慈雲長老明鑒，長得非常魁梧，很像世傳畫像中的慈恩菩薩，但叢林中人都推崇他是一個很有道行的和尚。蘇軾作《戲贈虔州慈雲寺鑒老》詩，則是泗州浴詩外的又一章：
居士無塵堪洗沐，道人有句借宣揚。
窗間但見蠅鑽紙，門外惟聞佛放光。
遍界難藏真薄相，一絲不掛且逢場。
卻須重說圓通偈，千眼熏籠是法王。
蘇軾新從南華來，頭腦里充滿了機智的禪門言語。在虔州寫詩，就很自然地借用禪語來表達他自己的心意，如《虔州景德寺榮師湛然堂》《次韻陽行先》《乞數珠贈南禪湜老》等先後四首均是。後世的詩論家認為蘇軾這些禪語詩不是純詩，為蘇集中一大疵病，固然不錯；但如前舉那首「戲作」，自稱道人，明言借句，蘇軾也並不以禪門中人自居，卻很欣賞禪門超脫的了悟。靜觀窗前來去飛動的蒼蠅，沖著透明的窗紙，磕頭碰腦，只想鑽到明亮的窗外去，不知中間卻還隔著一重障礙。冷眼觀照塵世里多少徒然的人生，豈不就是鑽紙的飛蠅？蘇軾不得不致其無限的憫憐。
研究陰陽五行生剋之理的術數，盛行於唐宋。唐朝的李虛中是星命學的始祖。至宋朝，陳希夷創紫微斗數，徐居易創子平術，邵康節創河洛理數（即鐵板神數）。這些人胸羅星斗，明徹內外，所謂吉凶趨避，實意則在勸人「盈者知所足，進者知所止」，使人行所當行，止所當止，不失「易」的本旨，不能純以迷信目之。
虔州有個術士謝晉臣，算命很有名，蘇軾也去訪他。蘇軾一向以為自己的生辰八字與韓愈相似，韓是身宮落在鬥牛間，蘇是命宮宿直於此。吉凶晦吝，到底有何分別，要托他從頭到尾逐年細算一番。贈以一詩：
屬國新從海外歸，君平且莫下簾帷。
前生恐是盧行者，後學過呼韓退之。
死後人傳戒定慧，生時宿直鬥牛箕。
憑君為算行年看，便數生時到死時。
蘇軾生於宋景祐三年（1036）十二月十九日卯時，干支是丙子、辛丑、癸亥、乙卯，照命理推論：「時落卯時，命宮磨蠍，主所至多被謗誣。」王宗稷《東坡先生年譜》說：「丙子（年）癸亥（月），水向東流，故才汗漫而澄清；子卯相刑，晚年多難。」
輯《蘇詩編注集成》，而深諳命理的王文誥說：「日主癸，乘北垣；年月丙辛，真化。秉天地正氣，不納濁流，此性剛多忤也。至於文章經濟，皆攄泄於乙卯之時。」
依五行論命，生克化合，有一定的界說，不能隨便解釋的，則人之秉性、品格、才能與禍福，莫非竟是生來即已命定？真是不可思議。
蘇軾北歸，有人問他遷謫中艱苦如何？蘇軾說，這是骨相招來的災難。少年初到京師時，有個看相的人說：「一雙學士眼，半個配軍頭。他日文章雖當名世，但有遷徙不測之禍。」蘇軾眼形秀挺，炯炯有光，即使在畫像中也還看得出來；「配軍頭」者，犯人被斷「配」而隸軍籍。審諸東坡一生的命運，術者所言不虛。
上了年紀的人，都好懷舊，關念故人的後輩，但於這些年輕一代人的身上，則又不免產生生死存亡的悲戚。
老蘇生前，曾游虔州，所以蘇軾到此，就很留心探訪他父親交往的遺迹。久知此地有個鐘斐（子翼），博學篤行，為江南之秀，對老蘇甚是敬重，現在當已下世。但卻訪得他的三個兒子，見面時「相持而泣」，為作《鍾子翼哀詞》。
與畫家宋子房（漢傑）重遇於贛州。談起四十年前，蘇軾初仕鳳翔，而他的父親宋選正做鳳翔太守，對他非常照顧，蘇軾感念於心，則曰：
……話及疇昔，良復慨然，三十餘年矣，如隔晨耳。而前人凋喪略盡，仆亦僅能生還。人世一大夢，俯仰百變，無足怪者。……（《與宋漢傑書》）
故人孫立節（介夫）之子，遠道來謁，為作《剛說》。世人都說「剛者易折」，蘇軾說：「折不折，是天命。作此說者，只是患得患失之徒。」生氣依然凜凜如昔。
在南華寺，蘇堅因為他的兒子生病，所以先走。現在來信說，蘇庠（養直）的病已經好了，並且把他的新作寄給蘇軾看。蘇軾見過養直，印象很深，讀了他這篇「屬玉雙飛水滿塘，菰蒲深處浴鴛鴦。白蘋滿棹歸來晚，秋著蘆花一岸霜。……」的詩，大喜道：「若將此篇置於《太白集》中，誰復疑其不是？不知是乃吾宗養直所作之《清江曲》。」蘇軾固好獎掖後進，時復不免過譽；但於蘇庠，竟是慧眼特識，養直後來果為南宋的一大名士——隱逸詩人後湖居士。
當蘇軾到虔未久，即建中靖國元年之正月十四日，先已手書還政的向太后，忽崩於慈政殿。她是宋代三賢后之一，惜乎得年只有五十六歲。向太后之崩逝，使左相韓忠彥突然失卻支持，右相曾布乘此開始跋扈起來，不像以前那樣恭順了。這是一個非常重要的關鍵，隨後就發生曾布專政，紹述之說重熾的變局。
在章惇絕對報復的政策下，被流竄南荒諸人中，處分最重的，一是蘇軾，一是劉安世（器之）。
劉安世三貶而至英州，章惇、蔡京又起同文館獄，再徙梅州，幾已遍歷宋代甲令所載每一遠惡州郡，而且兩次陰謀刺殺，都未成功。至劉貴妃被立為後，章惇、蔡卞又提出宮內向外間尋覓乳媼那重舊案，詔令孫鼛將劉安世收囚在檻車裡，命他親自押赴京師。行未數驛，哲宗崩，徽宗即位，赦至而還。
這兩個命不該絕的同難者，放還也在最後。所以，此時遂能相遇到虔州。
蘇、劉二人，政治上不是同道，私人關係上也算不得是朋友。元祐初曾在中書省共事，但是兩人處事態度不同，蘇軾很不喜歡他，罵他「把上」（鄉下佬）。
然而，時過境遷，現在他們同是北歸的異鄉人，虔州邂逅，便成了很好的旅伴。
同時，原任虔守的霍漢英，奉調赴太和聽命，江公著（晦叔）來代。公著與蘇軾在杭州同官時，以好茶出名，器之酒量甚豪，但自南遷，為避瘴毒，就全家戒酒。因此，軾作《次韻江晦叔兼呈器之》詩，一聯是「歸來又見顛茶陸，多病仍逢止酒陶」。
寒食節，與器之同游南塔寺寂照堂。器之甚好談禪，但不喜歡游山。山中新筍出土，蘇軾想上山吃筍，怕他不肯同去，騙說邀他同參玉版和尚。器之聽說有禪可參，欣然從行。到了光孝寺的廉泉，先坐下來燒筍共食。
器之覺得筍味鮮美，便問：「此何名？」蘇軾答曰：「名玉版。此老僧善說法，要令人得禪悅之味。」
器之這才恍然大悟，被蘇軾騙了。蘇軾大為高興。全用禪語作詩曰：
叢林真百丈，法嗣有橫枝。
不怕石頭路，來參玉版師。
聊憑柏樹子，與問籜龍兒。
瓦礫猶能說，此君那不知。
三月中旬，始聞章惇被貶雷州司戶參軍的消息，蘇軾為之驚嘆累日。他怕被人誤會，自然不能直接往慰他的家屬，雖然惇