蘇軾幸已逃過謝景溫誣告這一關，出為杭州通判。離京在即，回首從政以來，忽已十年，當初一心以為參加了匡時濟世的大事業，不料自少至長，努力追求的政治生活，竟如兒戲一般荒謬，幻滅的悲哀，令他惘然若失。
人生真有命運這樣東西，擋在前面，引領人懵懂前行嗎？儘管有人不肯承認它，以為人自有力主宰一切，不幸有更多的經驗事實，使人們不得不承認：人，實在很脆弱，常被命運所捉弄。
蘇軾未第制科以前，聲名先已上達九重，初次詣闕陛見，英宗皇帝即欲破格擢用為知制誥那樣的御前重職，宰相韓琦提到「館職必先試而後用」的規例，英宗還說：「不知能與不能，才要考試。如軾者，有所不能耶！」君主的信任達到如此深切的地步，不能不說是罕見的異數。然而，誰能想到英宗會那麼短命，還來不及用他就已崩殂。
神宗是個對文字很挑剔的君主，他先已喜歡蘇軾的文章，初次召見，聽了他那明快的議論，認為足以破疑解惑，即欲拔置左右，委為修注官。無奈格於王安石的反對，以後又屢在御前謗毀他不是個純正的學者，終以謝景溫的誣告，逼得蘇軾只好自請外放。
士人從仕，能得人主的知遇，該是多不容易的造化，而蘇軾是既得其「知」，而無其「遇」。
熙寧四年（1071）七月，蘇軾挈帶一家大小——繼室閏之夫人、髮妻所生現已十三歲的長子蘇邁、去年新生的次子迨等，乘舟出都。先到陳州去謁候張方平，與在陳州做學官的弟弟蘇轍晤聚。
船中無事，做了八首小詩，其中有一首說：
鳥樂忘罝罦，魚樂忘鉤餌。
何必擇所安，滔滔天下是。
剛從政治羅網裡脫逃出來的蘇軾，一出都城，便覺天地遼闊，心想另求一個安身之地，應該不難，實在覺得沒有違心背性，非要做官不可的道理。
陳州城北有個柳湖，是當地的一大名勝。湖邊古柳萬株，樹皆合抱，南山老松，蛟龍蟠屈，蘇轍曾有《柳湖感物》之作。
蘇轍詩鄙薄柳花的浮浪而愛松性的堅實，這見解很合乎他的個性。但是老兄以為不然，和詩說：「子今憔悴眾所棄，驅馬獨出無往還。惟有柳湖萬株柳，清蔭與子供朝昏。」這樣的好友，為何要譏評它？何況宇宙萬物，四時各有盛衰，南山孤松如壓在雪底，即使「抱凍不死」，人家看不到，它也無法表顯於世，還有誰來讚揚它呢？蘇軾今日自有這個感慨：物各有遇有不遇，但是千萬不能被埋沒。
蘇軾在陳州弟家，盤桓了七十多天。張方平因反對新法，於熙寧三年正月出判應天府而至陳州，哪知陳州的監司官，現在也都換了一班新進的後生，趨時興利，道不相謀，方平說：「吾衰矣，雅不能事少年，不如歸去，以全吾志。」遂向朝廷再三要請以南京留台名義告了老。蘇軾作《送張安道赴南都留台》詩說：「我亦世味薄，因循鬢生絲。出處良細事，從公當有時。」
在陳州初遇張耒。耒字文潛，淮陰人，其時方從蘇轍問學，所以起初別人都說他是「少公之客」。他的詩，學白樂天，務為自然平淡，尤精絕句，如《偶題》云：「相逢記得畫橋頭，花似精神柳似柔。莫謂無情即無語，春風傳意水傳愁。」蘇軾稱之曰：「文潛容衍靖深，獨若不得已於書者。」至元祐中，蘇軾在翰林，薦耒出任館職，始為東坡門下四學士之一。
九月間，兄弟相偕同往潁州，晉謁致仕後閑居里第的歐陽老師。
歐陽修文章風節，負天下重望，但於英宗治平年間朝廷「濮議」中，被呂誨、彭思永攻擊得灰頭土臉。平生提攜後進，不遺餘力，但被門生蔣之奇造作「帷薄不修」 的蜚語，連遭污衊，意冷心灰。自治平四年出知亳州後，就接二連三以體弱多病為辭，自請退休。到調知蔡州時，更是決心求去，門人蔡承禧勸他道：「公德望為朝廷所重，未及引年（規定告老的年紀），豈容遽去？」歐陽修嘆道：「某平生名節，為後生描摹殆盡。惟有速退以全節，豈能更待驅逐乎！」
北宋士大夫間的風氣，敗壞到這個地步，也是蘇軾所意想不到的現實。歐陽修一生更歷憂患，精力早衰，他的頭髮完全白了，終年牙痛，已經脫落了好幾個，兩耳重聽，本來是深度的近視眼，這時候，幾已接近失明了，僅辨黑白而已。最嚴重的是患有多年的消渴疾，即今之糖尿病，時發時愈，全身肌肉消瘦，自言「弱脛零丁，兀如枯木」，以致步履維艱，更形衰老。
蘇軾認為歐陽的年紀還不算太老，身體之所以壞到這個地步，顯然是憂勞過度之故，只看自己還只三十六歲，頭上已生白髮，憂勞傷身，真不值得。《潁州初別子由詩》說：「……我生如飛蓬。多憂發早白，不見六一翁。」
唐詩以抒寫感情為主，幾已寫盡人類情緒上各種隱微曲折的變化，窮極工緻，後人很難在這上面更有超越的成就。而宋代的散文非常發達，宋人就以鍛煉文章的方法，用之為「知性之詩」，別闢途徑，與唐詩爭勝。所以，中國詩史中，詠物詩為宋人的特色。
歐陽修的《日本刀歌》，又是宋人詠物詩中的代表之作，自己是此中高手，這次卻出個難題給蘇軾，要他為所珍藏的石屏風賦一首詩，於是便有《歐陽少師令賦所蓄石屏》詩：
何人遺公石屏風，上有水墨希微蹤。
不畫長林與巨植，獨畫峨眉山西雪嶺上萬歲不老之孤松。
崖崩澗絕可望不可到，孤煙落日相溟濛。
含風偃蹇得真態，刻畫始信天有工。
我恐畢宏、韋偃死葬虢山下，骨可朽爛心難窮。
神機巧思無所發，化為煙霏淪石中。
古來畫師非俗士，摹寫物象略與詩人同。
願公作詩慰不遇，無使二子含憤泣幽宮。
物，本是「死」的東西，要將它寫「活」，實在不大容易。蘇軾早年在鳳翔時，寫過一首《石鼓歌》，將歷代文字流變間的人物，一一引進詩中，便將活潑潑的生命賦予了死的石鼓，後世評者認為勝於韓愈的舊作。
石屏風這個題材，更是平凡，不過石上有紋，頗似松影而已。蘇軾運用其豐富的想像力，聯想出兩個畫松的古人，因這兩個畫家生前不遇，想像這塊石上的松影，定是這畢、韋二人，含憤地下的精氣，淪入石中所形成的畫面。經此點染，便在這本是「塊然一物」的石屏風裡，添入了畫師的靈魂，寫成一篇非常生動的好詩。難怪歐陽為之大樂。
歐陽修雖然鬚髮盡白，滿身疾病，但據蘇軾說，氣色甚好，談鋒還是很健。蘇軾勸老師道：「已將壽夭付天公，彼徒辛苦吾差樂。」那些當權的人，只有辛苦，哪裡能如老師這樣自由自在的快活，這是安慰老人的話，但也想不到未及一年，歐陽便在潁州謝世。
兄弟倆在潁州歐陽家住了二十天後，於此分手，在蘇軾的感覺中，認為相較以前三次分別，此次滋味特別酸冷。
兄弟兩人，雖然一樣的不得意，但是蘇轍走得早，毛羽未傷，所以蘇軾稱之曰：「至今天下士，去莫如子猛。」
蘇軾自嗟臨事如病熱狂，不能節制進退，現在則像一個喝醉酒的人，摔了一個大跟頭，幸而沒有受傷，倒也嚇醒了迷夢。《潁州初別子由》詩里，寫盡只有兄弟二人自己才能體會的人生失意的哀傷。
蘇軾自潁入淮，再過泗州時，記得五年前扶喪回蜀，在此遇到逆風，三日不能開航，船上人勸他向僧伽靈塔禱告，果有應驗。蘇軾認為只是「巧合」，大公無私的神明，何分厚薄，而做禱告的人，都只為了私自的方便。耕田的農夫希望下雨，而割草的人卻要天晴，去舟要順風，來船便將抱怨，假使人人都要禱告得稱心如意，這神明豈不太難做了。
這次情形不同當年，萬一再遭逆風，蘇軾決定不再求神，悵然道：
今我身世兩悠悠，去無所逐來無戀。
得行固願留不惡，每到有求神亦倦。
…………
行至龜山（今江蘇盱眙），詩曰：
我生飄蕩去何求，再過龜山歲五周。
身行萬里半天下，僧卧一庵初白頭。
…………
蘇軾從中國西南的邊城眉山出來，而今將往東南的海濱，已經走盡了半個中國的一條直徑，如此奔波勞碌，真還不知所為何來。
在泗州與一舊識的庵僧重逢，別來不過五年，但卻發現他的頭上也有白髮了。時間是造物主之極大的公平，無分貴賤，無分勞逸，到時候都將同樣老去，奔走道路的勞人和閑卧庵中的和尚既然一樣，則又何苦如此「徒勞」。
蘇軾離京時，還是秋暑難當的七月，一路盤桓，直到十一月二十八日，始抵杭州，途程幾已半年。
杭州府衙，設於鳳凰山之右麓，依山興建，府廨左右，分設通判南廳北廳各一所，另一通判魯有開住南廳，蘇軾便居北廳。
住入官邸後，依照俗例，要祭灶，要請四鄰吃酒，乃作絕句兩首，代柬寄陳州蘇轍：
眼看時