嘉祐四年（1059）九月，妻喪終制，老蘇決定全家離蜀。
軾、轍兄弟這兩位新科進士，當然要回京去，辦理注官手續，兩位年輕的媳婦，留在家鄉沒人照顧，何況長媳還懷著孕，都必須跟隨丈夫同行。
老蘇自己並非不知故鄉眉山風土可愛，只因受夠了人情勢利的傷害，再也不願住在眉山看小人得意的嘴臉。他從前有意於「嵩山之下，洛水之上，買地築室，以為休息之館」，詩曰：「岷山之陽土如腴，江水清滑多鯉魚。古人居之富者眾，我獨厭倦思移居。經行天下愛嵩岳，遂欲買地居妻孥。晴原漫漫望不盡，山色照野光如濡。……」
然而，他沒有這個能力，在那時候，不過是一個秘密的心愿而已。而今夫人死了，兒媳都將離去，一個孤單的老人，沒有窮獨故里的必要，所以他也決定同走。
為了超度死去的夫人，他造了觀音、大勢至、天藏、地藏、解冤結和引路王者等六尊菩薩像，連同兩副龕座，舍與極樂院，在如來堂里供養，作《極樂院造六菩薩記》，說蘇家最近三十年間，骨肉零落，悲憂慘愴之氣，鬱積未散，所以他決計要「南去，由荊楚走大梁，然後訪吳越，適燕趙，徜徉於四方以忘其老」，也希望菩薩保佑程夫人的魂魄，能夠超脫幽陰，遨遊於上下四方，如他「游於四方而無系」一樣的快樂逍遙。
嘉祐四年十月，他們一家人自眉州入嘉陵江，經戎、瀘、渝、涪、忠、夔諸州，下三峽而抵荊州度歲。
初自眉州入江，蘇軾豪氣凌雲地說：「故鄉飄已遠，往意浩無邊。」岷江之濱，有凌雲寺鑿山為大彌勒佛像，高三百六十尺，依山建九層樓閣為庇覆，極是壯觀。他們的船，隨著奔騰的江流，行過大佛腳下，這一路水平山遠，胸襟異常曠盪。舟過宜賓，行近戎、涪一路，地與多山的貴州接境，沿江遂見不知名的山巒無數，一重一重的夾岸峭壁，高聳天際。夜泊牛口渚，才見岸邊有三四戶人家，疏樹寒燈，非常寥落。船上要補充食物，但這窮荒地方，是無酒亦無肉的，只好向他們買點蔬菜回來，看他們住在「朔風吹茅屋，破壁見星斗」的家屋裡，身上穿的破褲，遮蔽不了雙股，飯不滿盂，被蓋都不齊全，天生的性情，使蘇軾忘懷山川，只注意眼前小民的寒苦，以為他們連這個樣子的生活也在過，而且過得毫無怨言，自忖道：「今予獨何者，汲汲強奔走。」
過瀘州安樂山，聽說天師張道陵曾經在此小寓，所以山上的樹葉都有紋如道士所篆的符。蘇軾不信這些神話，他說天師早已死了，他的子孫也一樣要死，豈能有神力於滿山的秋葉。
江流兩岸，群山壁立，這青年人站立船頭眺望，風平浪靜，不覺舟行，但見群山去如走馬，他舉起手來，想與山上的行人打個招呼都來不及，覺得新奇有趣，作《江上看山》詩：
船上看山如走馬，倏忽過去數百群。
前山槎牙忽變態，後嶺雜沓如驚奔。
仰看微徑斜繚繞，上有行人高縹緲。
舟中舉手欲與言，孤帆南去如飛鳥。
此詩雖是少作，但已充分顯露蘇軾作詩已能自由表現他敏銳的觀察與豐富的想像能力。在船上看到山上行人的影子，也想舉手和他說說話，他開朗與和善的性格，也完全流露於此。
十月小寒，江上下起大雪來了，舟中無事，兄弟學歐陽體作《江上值雪》詩，照歐陽修的限制，作雪詩不得用鹽、玉、鶴、鷺、絮、蝶飛舞之類的比喻字眼，他們更加設限，不得用皓白潔素等形容詞。這是一種遊戲，但也是一種運用文字的訓練。過忠州後，沿途獨多三國時代的名跡，如至魚腹，游永安宮，登山望諸葛亮的八陣圖，看諸葛鹽井，訪屈原廟，作賦。抵夔州，吊劉備託孤的白帝城，都是宇宙山川與歷史人物的交織，懷古吟詩的好題目。
至夔府而後入峽，首過瞿塘，兩岸峭壁對聳，上入霄漢，仰視天如匹練，中貫一江，是乃三峽的大門。蘇軾形容峽門的形勢：「入峽初無路，連山忽似龕。縈紆收浩渺，蹙縮作淵潭。風過如呼吸，雲生似吐含。」群山逼阻水勢，水又反激起來，狂噬山腳，水石相激，造成危險的渦流，勢欲吞舟，而一舟微茫，前途難測。
過了瞿塘，經灧澦堆，全系崩山碎石積成，出水數十丈，夏秋漲水時，水又高出堆上數十丈，蘇軾有賦。以後便是巫山，巫山是峽中一大縣，但山隘詭怪，如石門關，僅通一人行，為天下之至險。過了巫峽，便是歸州新灘，此處因山崩石裂而成，所以又稱新崩灘。不但水流湍急，白浪洶湧，而且水中暗伏銳石，船觸上石礁，立即沉沒，每年舟毀人亡於此者不可勝計，為峽中最險之處。蘇軾詩：「扁舟轉山曲，未至已先驚。白浪橫江起，槎牙似雪城。番番從高來，一一投澗坑。」大魚都被浪衝到灘上，暴鰓而死。他們在新灘遭遇了大風雪，被迫停航三日，船上什麼事也沒有，只能到附近村落去走走，走到一個叫龍馬溪的地方，買到了酒，父子三人就蹲在船艙里喝悶酒。
經黃牛峽、扇子峽，登蝦蟆碚，而至下牢關，夾江千峰萬嶂，奇形怪狀，不一而足，歐陽修《下牢津詩》所謂「入峽山漸曲，轉灘山更多」者是也。再過三十里，則已見江南的一片平原，舟甫出峽，人人額手相慶，如得更生。
至夷陵，這是歐陽修曾被謫居的小邑。他們專誠往訪了歐陽修所築的至喜堂。過荊門十二碚，皆高崖絕壁，巉岩突兀，以險固得名。十二月八日才到江陵驛。
三蘇父子自眉州舟行，至荊州出陸，水路一千六百八十餘里，舟行六十日，過郡十一，縣三十有六。
這六十日中，舟中無事，父子三人共做了一百篇詩賦，合為《南行（前）集》，蘇軾作集敘（因避父祖名諱，所以他們父子寫序，都作敘或引），首述作文的態度曰：「夫昔之為文者，非能為之為工，乃不能不為之為工也。……自少聞家君之論文，以為古之聖人有所不能自已而作者，故軾與弟轍，為文至多，而未嘗敢有作文之意。」這是蘇軾文論中一個非常基本的觀念。
《南行集》沒有傳本，今從三蘇集中尋繹出來，得蘇軾之作四十二篇，蘇轍二十三篇，附老蘇所作及各賦共七十二篇，散佚者已逾三分之一。
蘇氏一家在船艙里悶了兩個月，親歷三峽之險，實已精疲力盡。到得荊州，已是十二月中旬，臘鼓頻催，凋年急景，行路也不方便，所以就在荊州住下來，過了年再走。
蘇軾因當地的風土見聞，作《荊州十首》，其第一首曰：
遊人出三峽，楚地盡平川。
北客隨南賈，吳檣間蜀船。
江侵平野斷，風卷白沙旋。
欲問興亡意，重城自古堅。
這是蘇軾的少作，饒有杜甫《秦州雜詩》的風貌。
嘉祐五年（1060）正月初五，他們從荊州啟程，陸行赴京。經浰陽，渡漢水而至襄陽，蘇軾作古樂府《野鷹來》《上堵吟》《襄陽樂》三首，又去南陽城南二十里登訪了諸葛亮的隆中草廬，拜觀了武侯的遺像。
過唐州（今河南唐河縣，宋屬京西南路），太守趙尚寬正在發動戍卒、招攬流民，共同從事修復三陂、疏浚召渠的水利工程。這項工程做好了，足以灌溉民田數萬畝，而且使瀕臨飢餓邊緣的流民和淮湖一帶失業的老百姓來做工，可以用自己的血汗和力氣，分到陂渠附近的荒地，耕種落籍。
在那個「民以食為天」的社會裡，農田水利工程的重要，固不必說，而化荒地為良田，收遊民為自耕農，此於安定社會方面的貢獻，又豈僅增產而已。蘇軾對趙太守這項工作，敬佩萬分，他雖是一個過路的旅客，不能親執壺漿簞食，幫助趙太守迎勸四方的來者，獨為《新渠詩》五章，代趙太守告於道路，即如現在布告。其中一章說：
侯謂新民，爾既來止。
其歸爾邑，告爾鄰里。
良田千萬，爾擇爾取。
爾耕爾食，遂為爾有。
繼續行程，二月至許州，始識范文正公（仲淹）次子純仁，時任許州簽判，范蘇訂交自此。時正春光明媚，蘇軾往游許州西湖，但見遊人如鯽，提壺攜酒，非常熱鬧，而蘇軾卻想著歡游背後有人寒餓，詩言：「……池台信宏麗，貴與民同賞。但恐城市歡，不知田野愴。潁川七不登（七年年成不好），野氣長蒼莽。誰知萬里客，湖上獨長想。」
過汝州，游潁考叔廟。至尉氏，大雪紛飛，酷寒入骨，蘇軾獨留驛所，取酒解寒。忽然，有一來自北方的旅人狼狽進來，頭戴的竹笠上已經積雪盈寸，下馬登堂，面色蒼黑，凍得全身僵硬。蘇軾現成有酒，就邀他過來同飲。主人持杯未舉，那來客卻已顧不得客氣，斟滿大杯，一傾而盡。其時，外面風狂雪暴，「千門晝閉行路絕」，如臨世界末日，而驛所里這兩個同是風雪中的旅人，則酒暖顏酡，相與笑語不絕，一直喝到天黑。次日天明客去，蘇軾還不知道他姓甚名誰，但見他橫策上馬而已。
大蘇自荊州陸行京師，途中作詩三十八首，小蘇《欒城集》中僅存七篇，兩人