蘇軾自常潤歸來，太守陳襄已屆瓜代之期，詔與知應天府的楊繪對調。
陳襄設宴有美堂，告別僚佐，蘇軾受囑賦《虞美人》：
湖山信是東南美，一望彌千里。使君能得幾回來？便使樽前醉倒更徘徊。
沙河塘里燈初上，水調誰家唱？夜闌風靜欲歸時，惟有一江明月碧琉璃。
此後送舊迎新，自有許多宴會，粉白黛綠，檀板金樽，需要新詞供伎樂歌唱，所以蘇軾寫了許多詞，如送述古迓元素的《訴衷情》，孤山竹閣送述古的《江城子》，西湖送述古的《菩薩蠻》等，西湖這一闋是：
秋風湖上蕭蕭雨，使君欲去還留住。今日漫留君，明朝愁殺人。
佳人千點淚，灑向長河水。不用斂雙蛾，路人啼更多。
陳襄啟程離杭，蘇軾一直追送到臨平舟上，別緒離情，心裡無限的空虛落寞，作《南鄉子》別詞，道歸家路上所感：「……歸路晚風清。一枕初寒夢不成。今夜殘燈斜照處，熒熒。秋雨晴時淚不晴。」
這年秋天，京東、河北兩路，又發生蝗災。蔽天的飛蝗，蔓延及於淮浙，蘇軾又被派赴臨安、於潛、新城一帶，督導各縣捕蝗。他眼見蝗害的嚴重，說：
軾近在錢塘見飛蝗自西北來，聲亂浙江之濤，上翳日月，下掩草木，遇其所落，彌望蕭然。
群飛的蝗蟲發出來的聲音，竟能蓋過如千軍萬馬奔騰而至的潮聲，天上一片烏黑，遮得日月無光，一下來，千頃綠稻，立刻卷光，聲勢之大，令人不寒而慄。
蘇軾連日盡在田野間察看飛蝗的來勢，檢查受災的情況；晚上又須與有關人員研討捕蝗的方法，勞累不堪。一處事定，又須再去一地，這種單調的胥吏工作，更使他心裡充滿委屈的感覺。當他在臨平和於潛兩縣間的山上，行至浮雲嶺上時，體力更是疲憊難支，慨然有被人當作廝役差遣之恥，氣起來就想毀車殺馬，扯碎衣冠，逃歸鄉里去讀書。但是，這個秘密的心事，除了弟轍，沒處可說，乃作《捕蝗至浮雲嶺，山行疲苶，有懷子由弟二首》之一云：
霜風漸欲作重陽，熠熠溪邊野菊黃。
久廢山行疲犖确，尚能村醉舞淋浪。
獨眠林下夢魂好，回首人間憂患長。
殺馬毀車從此逝，子來何處問行藏。
蘇軾後來回憶在杭州所受的委屈，寄同事周邠詩說：「西湖三載與君同，馬入塵埃鶴入籠。」心裡的掙扎之苦，情見於辭。
幸而任期即將屆滿，蘇軾因弟在濟南，所以上章朝廷，請求派個山東的差使，圖個近便。熙寧七年九月，告下：「蘇軾以太常博士直史館權知密州軍州事。」蘇軾如願以償，到任謝表中，有「攜孥上國，請郡東方。自惟何幸，動獲所求」的感激之辭。
蘇軾在杭三年，他的幼子過（叔黨）是熙寧五年（1072）在杭州出生的，這時候，他已有三個兒子了。後來與他同度患難的愛妾朝雲，則於今年進入蘇家之門，她還只是個十二歲的垂髫少女。
從應天府任上調來杭州的楊繪，字元素，四川綿竹人。神宗朝為御史中丞，極得皇上眷顧，將有大用，與滕元發二人聯合攻擊宰相曾公亮，事機不密，公亮上章先辯，神宗自此不悅，後又極論新法，被曾布責難，遂遭外放。他是一個聰明活潑，極好醇酒婦人，才子型的人物。七月到任，九月朝廷告下，蘇軾又將從杭州赴密，相處的時間很短，但是即在這個短短的時間內，游宴不絕。至蘇軾新職發表，楊太守更一再餞別於中和堂和湖上。《東坡樂府》中有一連串和楊元素的歌詞，皆是筵邊的迭唱，如「和楊元素時移守密州」的《南鄉子》：
東武望餘杭，雲海天涯兩渺茫。何日功成名遂了，還鄉。醉笑陪公三萬場。
不用訴離觴，痛飲從來別有腸。今夜送歸燈火冷，河塘。墮淚羊公卻姓楊。
又如重陽節日作《浣溪紗》詞說：「可恨相逢能幾日，不知重會是何年。」兩人的交好，與一片索寞的離情，處處可見。
蘇軾將行，於九月二十日往別西湖南北二山中的道友，其實亦是與西湖告別的最後一游。蘇軾自己說，他有一種神秘的感覺，自來西湖，每到之處，常常覺得這個地方，從前都曾來過，印象猶很清晰，他歸之為前生舊遊的記憶。《和張子野見寄三絕句》中，特有一首《過舊遊》詩說：
前生我已到杭州，到處長如到舊遊。
更欲洞霄為隱吏，一庵閑地且相留。
又在密州時有《答錢塘主簿陳師仲書》云：
一歲率常四五夢至西湖上，此殆世俗所謂前緣者。在杭州嘗游壽星寺，入門便悟曾到，能言其院後堂殿山石處。……
何薳《春渚紀聞》有一則曰：西湖壽星寺老僧則廉說，蘇軾做杭州通判時，始與參寥同登方丈，就對他說：「某平生未嘗到此，而眼前所見，都如素所經歷的一樣，自此上至懺堂，當有九十二級。」派人去數，果如其言，軾便語參寥道：「某前生，此山僧也。今日寺僧，皆吾法屬。」
後來蘇軾每至該寺，就解衣般礴，久而始去。其時，則廉還是一個沙彌，常常在旁伺候，炎夏天熱，蘇軾來時，就脫光上衣，在竹蔭下袒露乘涼，看見背上，有七粒黑痣，如星斗狀，世人都不得見。
《咸淳臨安志》：壽星院在葛嶺下，智果寺側，後晉天福八年（943）所建，有寒碧軒、此君軒等建築，蘇軾皆有詩。與陳襄書中稱之為「壽聖」，也許是舊名，不足深考。不過蘇軾第一次在杭州時，還未與於潛詩僧參寥相識，其同行相語者，必是另一和尚，傳聞小誤而已。
楊繪有事於湖州，與蘇軾同舟離杭。張先、陳舜俞約蘇軾同訪湖州太守李常，亦與偕行。
常字公擇，建昌人，少時讀書於廬山白石僧舍，手自抄書，幾至兩目盡盲，既登進士第，將他手抄書九千卷，庋藏老家，蘇軾為作《李氏山房記》。熙寧初，任秘閣校理，出知地方，不脫學人從政的本色。
他們一大堆毫無政治意味的朋友，相聚湖州，歡宴幾無虛日。李常好酒，又適逢生子做三朝，大會賓客，分贈洗兒錢和玉果，蘇軾開他玩笑道：「……犀錢玉果，利市平分沾四座；多謝無功，此事如何到得儂。」（《減字木蘭花》）又與周開祖（邠）書云：
……尋自杭至吳興見公擇（李常），而元素（楊繪）、子野（張先）、孝叔（劉述）、令舉（陳舜俞）皆在湖，燕集甚盛，深以開祖不在坐為恨。
這六個朋友連日歡聚，以歌詞名滿天下的張先，時已八五高齡，興緻甚好，賦《定風波》令，有「見說賢人聚吳分，試問。也應傍有老人星」句，謂之曰「六客詞」。
蘇軾離湖州時，劉述、張先與他同至松江，夜半月出，置酒垂虹亭上，賞月歡飲，興緻淋漓。想起湖州之會，張先率先自唱「六客詞」，覺得這是人生中難得的歡娛，大家都很興奮。
蘇軾在京口將與楊繪相別，席上作《醉落魄》詞以贈，這闋詞，不是抒寫一般的離情別緒，而別有一番「同是天涯淪落人」的感傷。一則是蘇軾與元素同為蜀人，都是從那塊萬山環抱中、溫暖而富饒的盆地里跑出來的人，現在一樣流落在東海之濱，歸鄉無期；二則自己固然是初出茅廬，主知未深，所以一中小人的讒言，立即得罪外放，固其所宜，不料以元素之久膺帝眷，位在要津，亦因反對新法而被棄，蓬梗飄零，錯在出處。不太輕易傷感的蘇軾，此詞卻充滿了哀戚，充滿了憐憫，難怪日後兩人同以罪貶，相遇於黃州時，楊繪要說從前有「天涯同是傷淪落」一句，恰是今日的「詩讖」，相與唏噓感嘆不置。原詞：
分攜如昨，人生到處萍飄泊。偶然相聚還離索，多病多愁，須信從來錯。
尊前一笑休辭卻，天涯同是傷淪落。故山猶負平生約，西望峨眉，長羨歸飛鶴。
十月，蘇軾這一年中，第三次又到蘇州，再為蘇守王誨（規父）席上的嘉賓，坐中有與之相熟的歌伎，顏色凄然地一再問他：「這回去了，還再來不來？」蘇軾深為感動，作《阮郎歸》：
一年三度過蘇台，清尊長是開。佳人相問苦相猜，這回來不來？
情未盡，老先催，人生真可咍。他年桃李阿誰栽？劉郎雙鬢衰。
離蘇時，又有蘇州閭門留別的一闋《醉落魄》，疑亦為此姝所作，為了安慰伊人，似乎也留有後約。一個在事業世界裡失意的人，極容易掉進兒女情長的溫柔鄉去，逃避現實中的寂寞，蘇軾甚少風流韻事，此詞宜再引錄：
蒼顏華髮，故山歸計何時決！舊交新貴音書絕，惟有佳人，猶作殷勤別。
離亭欲去歌聲咽，瀟瀟細雨涼吹頰。淚珠不用羅巾浥，彈在羅衫，圖得見時說。
過京口，與同年胡宗愈（完夫）、王存（正仲）、孫洙（巨源）劇飲，與李常書說：「此行天幸！既得李端叔與老兄，又途中與完夫、正仲、巨源相會，所至輒作數劇飲笑樂。人生如此有幾，未知他日能復繼此否？」
孫洙欲往海州，遂與同行。