拜發謝表後，全家忙著收拾行李，準備離黃。蘇軾把辛苦經營的東坡農場和雪堂的房屋、乳媼的墳墓，托給了近鄰潘丙（彥明）照看。因為蘇邁正要到江西德興去當縣尉，所以決定叫他帶了全家，稍後至湖口相會，他自己則要先往筠州去探望蘇轍和三個多年不見的侄子，詩僧參寥、丐者趙吉 從行。
蘇軾自元豐三年（1080）二月到達黃州，至七年四月離去，在此整整住了四年三個月。離黃之日，他的瘡病似乎沒有痊癒，所以作《別黃州》詩，用杜甫瘦馬行的典故：「病瘡老馬不任𩉜，猶向君王得敝幃。」黃州雖是這麼窮僻的地方，但是住久了，即使一草一木，看來也不免有情，故詩續曰：「桑下豈無三宿戀，樽前聊與一身歸。」黃州鄰里、朋友，紛紛設饌話別，一個流落天涯的人，對於溫暖的人情，更易流連，作《滿庭芳》一闋，以當告別：
歸去來兮，吾歸何處？萬里家在岷峨。百年強半，來日苦無多。坐見黃州再閏，兒童盡楚語吳歌。山中友，雞豚社酒，相勸老東坡。
云何。當此去，人生底事，來往如梭。待閑看秋風，洛水清波。好在堂前細柳，應念我、莫剪柔柯。仍傳語，江南父老，時與曬漁蓑。
黃州郡將也設宴歡送蘇軾，循例徵召官伎侑酒。蘇軾名滿天下，照當時風氣，常被那些女孩子們求詩乞字，當此酒酣耳熱之際，他一向興緻很好，醉墨淋漓，來者不拒。於是有一故事，這次侑酒官伎中，有一李琪，長得嬌小明艷，而且知書識字，不過膽小靦腆，所以，只有她從未得過蘇公的翰墨。這是最後一次機會，再也不能錯過，但等酒喝得差不多時，她從身上取下一條白絹領巾，跑到蘇軾座前，求賜墨寶。
蘇軾仔細瞧了她半響，叫她先去把墨磨好。墨濃了，他便拈起筆來在那幅白絹上大書道：
東坡五載黃州住，何事無言贈李琪？
下面沒寫下去，他老把筆一擱，又去和別人談天說地起來，似已完全忘了這事。同席的人，看開頭這兩句，語意凡易，認為以蘇軾的捷才，也決不至於接不落下文，大家不解何故。李琪自然最為焦急，但也不敢催問，只憋得粉面通紅，無所措手。蘇軾佯若沒事，談笑不絕，直到宴席將散，李琪忍不住只得去他面前，再拜續請，蘇軾這才哈哈大笑道：「幾乎忘了出場。」提筆續寫道：
恰似西川杜工部，海棠雖好不題詩。
寫畢，大家傳觀，都為李琪慶賀。蘇軾黃州贈伎諸作，以李琪所得的褒揚為最甚。
蘇軾於三月上旬聞移汝之命，隨即作書邀王齊愈過江來一敘。這封信寫出他此際惶惶不安的心事：
……前蒙恩量移汝州，比欲乞依舊黃州住，細思罪大責輕，君恩至厚，不可不奔赴。數日念之，行計決矣。見已射得一舟，不出此月下旬起發，沿流入淮，溯汴，至雍丘、陳留間，出陸至汝，勞費百端，勢不得已。本意終老江湖，與公扁舟往來，而事與心違，何勝慨嘆。計公聞之，亦凄然也。甚有事欲面話，治行殊未集，冗迫之甚，公能兩三日間，特一見訪乎？至望，至望。
蘇軾行前，武昌的王齊愈、齊萬兄弟，岐亭的陳慥都於蘇宅會集，伴送離黃。時已四月中旬了，他們一行渡江過武昌，夜行吳王峴時，忽然聽到隔江傳來黃州鼓角的聲音，一聲聲撩撥起行人蒼茫的悲涼，蘇軾默誦杜甫的詩：
鼓角緣邊郡，川原欲夜時。
萬方聲一概，吾道竟何之？
一時感情激動，不能自制，兩眼都忽然濕潤起來。但他立刻凜一凜精神，以為鼓角本身是無悲亦無喜的，一切隨著聽鼓者本身的哀樂而變化，今日多情送我，固然免不掉有點感傷，但望有生之年，還能再來黃州，這江邊的枯柳總還認識我，這黃州鼓角還當吹奏此曲，歡迎東坡居士重來。作《過江夜行武昌山聞黃州鼓角》詩：
清風弄水月銜山，幽人夜渡吳王峴。
黃州鼓角亦多情，送我南來不辭遠。
江南又聞出塞曲，半雜江聲作悲健。
誰言萬方聲一概，鼉憤龍愁為余變。
我記江邊枯柳樹，未死相逢真識面。
他年一葉溯江來，還吹此曲相迎餞。
絕意仕路的蘇軾，如果不能歸鄉，他只願重回黃州來做他的東坡老農。這心意，即使後來元祐時期，他還常常那麼懷想，《致潘丙（彥明）書》說：「仆暫出苟祿耳，終不久客塵間，東坡不可令荒廢，終當作主，與諸君游，如昔日也。願遍致此意。」
一行同至車湖王齊愈家，因為颳風，留住兩日，至四月十四日，坐船到磁湖。
到磁湖來送行的黃州朋友一大堆：潘氏全家祖孫三代——潘革和他的三個兒子潘鯁、潘丙、潘原，潘鯁的兩個兒子，即是後來江西詩派的大將潘大臨、大觀；古耕道、郭遘，何氏竹園的何勝可也帶了他的孫子何頡（斯舉）同來；還有武昌的王齊愈、齊萬兄弟帶了侄子天常以及韓毅甫、宗公頤等。這一大批送客遠來磁湖，使蘇軾深為感動，和他們一一熱烈話別。
唯有陳慥，交情更是不同。蘇軾住在黃州，季常每次往返四五百里路來看他，前後達七次之多，這回更是堅欲送他直到九江。蘇軾途中作詩贈別，回顧他們五年來的交往，感慨道：「枯松強鑽膏，槁竹欲瀝汁。兩窮相值遇，相哀莫相濕。」這幾乎就是《莊子·大宗師》中「泉涸，魚相與處於陸，相呴以濕，相濡以沫，不如相忘於江湖」的意思。最後，更歷憂患的蘇軾很坦白地勸季常道：
吾非固多矣，君豈無一缺。
各念別時言，閉戶謝眾客。
蘇軾又將五年間往來岐亭所作泣字韻詩，通為《岐亭五首》，前加長敘，留為與陳季常患難交情的紀念。
蘇軾從此就再也沒能到黃州來，也再沒看過他親手墾闢的東坡。