元豐二年（1079）三月，朝廷告下：
「蘇軾以祠部員外郎、直史館知湖州軍州事。」
蘇軾將行，徐州吏民依照俗例，舉行一套「攀轅」挽留的表演，如將他座騎的鞭鐙割破，發動一批老百姓來擋在馬前，表示不肯讓這位賢太守離去。也許有人會因此而沾沾自喜，蘇軾則認為真是「兒戲」，自知無恩於民，老百姓涕從何來？大道旁的石人，看見過多少次太守的來來去去。
但是，父老們說：「前年，沒有太守，我們都做了水裡的魚鱉了。」蘇軾舉鞭道謝，說：「正因為我命窮，到處都遭凶災，水來非吾過，去亦非吾功。」
蘇軾有《別徐州》詞，調寄《江城子》，語意十分蕭索：
天涯流落思無窮。既相逢，卻匆匆。攜手佳人，和淚折殘紅。為問東風余幾許，春縱在，與誰同？
隋堤三月水溶溶。背歸鴻，去吳中。回首彭城，清泗與淮通。欲寄相思千點淚，流不到，楚江東。
蘇軾別去徐州，走馬南都，往訪弟蘇轍。
在馬上，想了許多要對老弟說的話：「前年到南都來時，麥老櫻桃熟，今年重來，櫻麥已半黃綠。歲月如舊，而人事則已幾次反覆，你那裡已經換過三個太守，送往迎來，像車輪一般盤旋的生活，實在毫無意思。要到什麼時候，才能還鄉，我不知道，但我已經想好，決定住到眉山縣南的石佛鎮去，過田農生活，豈不很好。」
又是這番舊夢，說過無數遍了，依然是個夢想。
三月十日，抵南都，兄弟相晤，過樂全堂謁張方平。因病，在蘇轍家住了半個月，二十四日離去，舟行至靈璧鎮，徇張碩之請，為作《張氏園亭記》。
張氏歷世顯宦，造此園，費時五十餘年，不但有花木池台之美，兼有畜牧、紡織之類的設備。大凡生事所需，百物咸備於一園之中，它不是一個普通但供游賞的花園。蘇軾稱羨張家先人治園之意，論曰：
古之君子不必仕，不必不仕。必仕則忘其身，必不仕則忘其君。譬如飲食，適於饑飽而已。然士罕能蹈其義，赴其節。處者安於故而難出，出者狃於利而忘返。於是有違親絕俗之譏，懷祿苟安之弊。
張氏為其子孫，築室藝園，使其出可以仕，退可以隱，得從容進退，無適而不可之樂云云。
這是歸鄉無計的蘇軾，觸景所生的感慨與歆羨。他如要回眉山去，連住到哪裡去，都還要大費一番周章，遑論生計所需的取給。所以他要讚佩張氏先人為子孫設計的周到，如此而已。
過揚州，老友鮮於子駿（侁）在做知州，設盛宴於平山堂，招待蘇軾。平山堂是歐陽修知揚州時所修造的名建築，蘇軾身臨其地，不免懷念先師，作《西江月》詞：
三過平山堂下，半生彈指聲中。十年不見老仙翁，壁上龍蛇飛動。
欲弔文章太守，仍歌楊柳春風。休言萬事轉頭空，未轉頭時皆夢。
這次宴會，湖州張大亨（嘉父）亦在座，僧德洪《石門題跋》記嘉父言：「東坡登平山堂，懷醉翁，作此詞。時紅妝成輪，名士堵立，看其落筆置筆，目送萬里，殆欲仙去耳。」此是蘇軾當年的丰采。
四月渡淮，至高郵，秦觀、參寥俱在，就坐上蘇軾的船，一路同行。過金山，遇大風，訪寶覺禪師。至無錫，同游惠山，惠山的水有「天下第二泉」之譽，他們就在山上汲泉生火，煎茶共飲，蘇軾有詠曰：「敲火發山泉，烹茶避林樾。明窗傾紫盞，色味兩奇絕。吾生眠食耳，一飽萬想滅。……」
這幾日相伴，蘇軾益發覺得參寥這個人，坦率天真得可人。秦觀發現蘇軾已經有點重聽，又以為他在裝聾。蘇軾說：「色、受、想、行、識，這五蘊都是人生的賊病。現在一病先去，只怕此心未了，即使不見不聞，還是障礙。」
五年之前，在此一帶，結伴同遊的刁約（景純）和張先（子野）兩老，皆已先後物故，人琴俱亡，只剩得一抔黃土，空幃鶴唳而已。蘇軾追懷昔游，無恨悵惘，都一一前去祭奠。
至秀州（今浙江嘉興），往白牛村哭祭陳舜俞之殯。
仁宗一朝四十一年，中制科者僅十五人，蘇氏兄弟亦在這十五人中，舜俞比他們早，且是那次科考中的第一名。蘇軾在祭文中說：以令舉學術的深厚，更得科甲的發揚，聲名遠播，天下莫不期之以大器；但是同輩中有不少人飛黃騰達的，他卻一生困於仕途，不得大用。熙寧三年，他還不過是個山陰知縣，為了拒絕施行青苗法，上疏抗論，被貶為監南康酒稅，一斥再斥，終於放歸田裡，鬱郁病死於白牛村。
蘇軾想不透這是什麼道理，令他十分惶惑。他在天道與人事之間，想來想去，不出三種情況：一是天所賦予令舉的才能，只是一個無意中的偶然，所以並不安排他的用與不用；二是天確有意作成這個人才，而人事不足以輔成其大；三是天生斯才而人不用，所以天又奪回去了。蘇軾惶然道：三者必居其一。否則，以令舉之賢，何為不立？何又立而不得其用？
蘇軾的惶惑，實是知識分子的窮途之慟；哭令舉，亦蘇軾之要搔首問天的自傷。所以陸放翁題跋說：
東坡前後集祭文，凡四十首。惟祭賢良陳公，辭指最哀。讀之使人感嘆流涕。其言天人予奪之際，雖若出憤激，然士抱奇材異識，沉壓擯廢，不得少出一二，則其肝心凝為金石，精氣去為神明，亦烏足怪，彼憒憒者固不知也。紹熙甲寅十二月二十九日笠澤陸某謹書。
元豐二年（1079）四月二十日，蘇軾抵湖州任。