宋自開國以來，厲行中央集權制，所以士大夫社會的觀念中，一向重京卿而薄外官；京卿得罪者常外放州郡，視為責降，幾成通例。蘇軾初至杭州，不知底細的陳傳道，寫信來安慰他的「不遇」，蘇軾大為不安，復書言：
來書乃有遇不遇之說，甚非所以安全不肖也。某凡百無取，入為侍從，出為方面，此而不遇，復以何者為遇乎？
儘管蘇軾自己，有此不同流俗的胸襟，可是宣仁太皇太后卻也並不同此想法，她是在極不得已的情況下，才准了蘇軾乞放外郡的請求，心裡抱著滿腔遺憾，無時不在考慮彌補。
蘇軾一離京城，元祐四年六月即除蘇轍為吏部侍郎；三天後，改翰林學士；不久，又命權兼吏部尚書。縱然說蘇轍自有進用的條件，但是晉陞的速度那麼快，時間又排得那麼湊巧，令人不得不信，這未始不是太后的彌補手腕。
元祐五年（1090）正月，距蘇軾蒞杭不過半年，范祖禹即疏請召軾還朝，以為在中樞政治的重要獻替上，不能沒有像他這樣一個耿直敢言的大臣。疏言：
臣伏見蘇軾文章，為時所宗，名重海內。忠義許國，遇事敢言，一心不回，無所顧望。然其立朝多得謗毀，蓋以剛正嫉惡，力排姦邪，為王安石、呂惠卿之黨所憎，騰口於台諫之門，未必非此輩也……伏望聖慈早賜召還，今尚書闕官，陛下如欲用軾，何所不可？
然而其時杭州正在災荒之中，蘇軾勠力從事於救災工作，不便中途換人，只得暫時擱置一下。五月間，遂有再除蘇轍為御史中丞的詔命。
這次詔命，系由宮中直接以中旨頒發，出於太皇太后的宸衷獨斷，事先未與宰執商議，因此引起自宰相以次，滿朝的不悅。
不但宣仁太皇太后如此惓惓於蘇氏兄弟，而年方十五，尚未親政的哲宗皇帝，也很惦念這位曾任侍讀的老臣。據王鞏說，蘇軾自杭召歸途中，曾親口告訴他說：在杭時，一日，宮裡派中使下來，交代公事既畢，地方監司官集合在望湖樓上公宴餞行。席終，他遲不動身，問蘇軾道：
「某未行，監司莫可先歸。」
諸官告退，他密語蘇軾道：
「某出京師時，往辭官家，官家說：辭了娘娘再來。某往辭太后殿，復到官家處，引某至一柜子旁，出此一角，密諭曰：賜與蘇軾，不得令人知。」
取出來的賜物，是茶一斤，封題皆是御筆親書，蘇軾趕忙寫了札子稱謝，托他代為進呈。
說完這個故事，蘇軾慨然言道：
「且教子由伏事娘娘，我小使頭出來，自家門打一解。」
元祐五年底，太皇太后兩次面諭執政，要召蘇軾還朝。翌年正月，就有召軾為吏部尚書的消息。
蘇軾聞訊，大為惶惑，因為范袓禹上年曾經論薦，所以復函淳父說：
奉書不數，愧仰可知。辱手教，且審起居佳勝為慰。某凡百粗遣，聞天官之除，老病有加，那復堪此。即當力辭乞閑郡爾。側聆大用，以快群望。未間，千萬以時自重。不宣。
同年二月，朝廷以劉摯為尚書右僕射兼中書侍郎、以蘇轍為中大夫守尚書右丞。
太皇太后這次徑擢蘇轍居輔政之地的詔命，便沒有以前幾次那樣順利了，命下中書，右司諫楊康國拒不書讀，奏曰：
轍之兄弟，謂其無文學則非也，蹈道則未也。其學乃學為儀秦者也，其文率務馳騁，好作為縱橫捭闔，無安靜理。陛下若悅蘇轍文學，而用之不疑，是又用一王安石也。轍以文學自負，而剛狠好勝，則與安石無異。
其言與反對派向來所說的無異，指三蘇是蘇秦、張儀的策士之學，毫無新鮮內容。章上，不報。改詔范祖禹書讀行下。
太皇太后的旨意，雖然貫徹了，但蘇氏弟兄之為朝臣側目的情勢，也益發深重了。
正月間，原擬召蘇軾為吏部尚書，即前函所說的「天官之除」，後來既任命了蘇轍為尚書右丞，兄弟同朝執政，總有不便。所以，二月二十八日詔下杭州，就改為以翰林學士承旨召還了。
蘇轍對於尚書右丞這一新命，內則不敢超遷於老哥的前面，外則凜懼於同僚的忌嫉，連上四狀，辭不接受。狀言：
伏念臣幼無他師，學於先臣洵，而臣兄軾與臣皆學，藝業先成，每相訓誘。其後不幸早孤，友愛備至，逮此成立，嘗兄之力也。
頃者，兄弟同立侍從，臣已自愧於心。今茲超遷，丞轄中台，與聞政事，而臣兄軾適自外召還，為吏部尚書，顧出臣下，復以臣故，移翰林承旨，臣之私意，實不遑安。況軾之為人，文學政事，過臣遠甚，此自陛下所悉，臣不敢遠慕古人，內舉親戚，無所迴避。只乞寢臣新命，若得與兄軾同備從官，竭力圖報，亦未必無補也。
蘇轍求與老哥一同退守侍從，使與現實政治權勢，保持一個相當的距離，確實是個比較安全的處置。無奈太皇太后之重用蘇轍、召還蘇軾，用意本在牽制執政，所以仍然詔示不許。
蘇軾在杭州奉詔，也立即奏請辭免翰林學士承旨，拜發了第一狀。他的立場，亦是親嫌理應迴避，如言：
……竊睹邸報，臣弟轍已除尚書右丞。兄居禁林，弟為執政，在公朝既合迴避，於私門實懼滿盈……伏望除臣一郡，以息多言。
將來接替知杭州事的，是蘇軾的老友，與他同應開封舉人試，在仕歷上亦步亦趨的林希（子中）。他以天章閣待制知潤州，調知杭州。蘇軾很高興林子中來接他的手，有許多地方未完的心愿，希望子中能來完成。
蘇軾奉詔還朝，杭州是無法留戀的了。一向樂觀的他，以為既有蘇轍在朝輔政，而他的處境，太皇太后也很明白，只要表示堅定的心，請求再行外放，應該是沒有問題的，所以他心裡還很輕鬆。
不過，杭州的朋友，西湖的山水，即使是堤邊的一草一木，行路的男女老幼，處處都似連繫著感情的脈動，一時真不容易放開。所以，自有內召消息以來，蘇軾湖上漫遊的行腳，更加勤快了。
二月，杭州的天氣，還是春寒料峭的時候，福建路轉運判官曹輔來了，陪他雪中游湖。過些日子，龍山真覺院的瑞香花開了，他們又一同去賞花。
這瑞香花，有黃紫兩種，有紫瓣而金邊者，初產於廬山，後來廣植於各處。據（咸淳）《臨安志》：「東西馬塍，瑞香最多，大者名錦熏籠，色香清遠。」然而，這已是南宋時事，蘇軾為守時，卻以真覺院的瑞香花為最勝。軾詩篇首言：「幽香結淺紫，來自孤雲岑。」可知這是紫色而傳自廬山的那一種。
曹輔和其他坐客都說這不是瑞香，是紫丁香。蘇軾笑子方不識：「公子眼花亂髮，老夫鼻觀先通。」連作三闋《西江月》，其第三闋專為瑞香辯證：
怪此花枝怨泣，托君詩句名通。憑將草木記吳風，繼取相如雲夢。
點筆袖沾醉墨，謗花面有慚紅。知君卻是為情穠，怕見此花撩動。
作為一個中國舊詩人，必須通識草木蟲魚之名，原非易事。現在插入這段閑話，實欲見出蘇軾的性格，認真而又好勝，即使是這種細碎的花名之爭，他既不肯含糊混同，而又那麼恣肆地調侃他的朋友。
越州太守錢勰（穆夫），幾於同時被召，從班再知開封，蘇軾作《臨江仙》送他先行。對於仕宦生涯的奔走四方，他深有感慨。如言：
一別都門三改火，天涯踏盡紅塵。依然一笑作春溫，無波真古井，有節是秋筠。
惆悵孤帆連夜發，送行淡月微雲。尊前不用翠眉顰，人生如逆旅，我亦是行人。
即將離去杭州的蘇軾，只有盡量抽出時間來，山南山北地跑，身在春日二、三月的西湖風光里，山寺聞鍾，湖邊策馬，消解無可奈何的離情。蘇軾胸中久已蘊積一個極大的願望，追尋白樂天所能得到的悠遊林下的那箇舊夢，忽又在心廊回蕩起來。
當元祐元年（1086）九月，蘇轍得除起居郎，兄弟同侍皇帝邇英閣讀書時，蘇軾就曾有過這個想望，留著「子由服侍娘娘」，自認「定似香山老居士，世緣終淺道根深」。希望就可抽身退出這個現實政治的圈子，其時，距他起複還朝，還不滿一年，而且正在扶搖直上青雲的時期，他已抱有懷退之想，「世緣終淺」，蘇軾自知他終究不合是一個富貴場中的人物。
蘇軾在杭州，曾遇善於看相的程傑，作詩為贈，也說：
書中苦覓元非訣，醉里微言卻近真。
我似樂天君記取，華顛賞遍洛陽春。
白樂天做過杭州和蘇州兩地刺史，後以秘書監召遷刑部侍郎，其後遂以刑部尚書致仕。宦遊三十年，退居洛陽，疏沼種樹，構石築樓於香山，鑿八節灘，自號「醉吟先生」，與和尚結香火社，文酒自娛者二十年，以七十五高齡逝世。
蘇軾非常羨慕白樂天這「水畔竹籬邊」的閑居生活。現在他從杭州太守召還，行年五十六歲，倘能及此告退，如與樂天一樣能活到七十五歲，則也一樣可有二十年的閑居之福。在這美麗的幻想里，蘇軾自言不如