西湖僧寺之多，殿宇相望，蘇軾自言：「吳越名僧與余善者十九。」亦是事實。但看他在杭州兩年，相與往來的方外之交，確是不少；而且往還之多，也許甚於士大夫間的交遊。這似乎不是偶然的現象。
十八年前，他第一次到杭州任通判，人地兩疏，歐陽文忠公特地為他介紹西湖詩僧惠勤。到官三日，蘇軾就冒著臘月嚴寒，往孤山訪晤，抵掌深談，交契非常。
此番重來杭州，惠勤雖然已死多年，蘇軾下車之初，仍然首訪孤山，為要往拜文忠遺像。惠勤的弟子二仲告訴他說：
「這僧舍里本無泉水，在您來之前數月，忽在講堂後面，孤山腳下，流出一注甘潔的清泉來。我們即在這地方鑿岩架石為室，只待您老為它題個名字。」
「歐公晚年自號六一居士，我們為紀念他，就叫六一泉好了。」蘇軾說。
唐宋時代的孤山，林木深蔽，其中樓閣參差，有如仙境；山後則花圃羅列，幽美居全湖之最，而六一泉即在此山之麓，地當現在的西泠橋堍。蘇軾為作《六一泉銘》，並於泉後鑿石作室，名曰「東坡庵」。
孤山建一智果精舍，蘇軾邀約參寥從於潛天目山來住持該院。參寥上人雖然籍屬於潛，但他自認杭人，時有鄉思，所以蘇軾招之以詩說：
漲水返舊壑，飛雲思故岑。
念君忘家客，亦有懷歸心。
…………
智果精舍只是三間新造的僧寮，起建於元祐五年，屋宇雖小，而景物幽寂，似是蘇軾特意為詩僧參寥所造。
到蘇軾快要交卸時，智果院里忽然也發現有一泉，出自山岩縫石間，甘冷宜茶。元祐六年二月寒食後一日，蘇軾帶了他的朋友王瑜（忠玉）、張璹（全翁）從孤山坐船來向參寥告別，參寥汲泉鑽火，烹黃蘗茶饗客，並且告訴大家，這是院內新發現的一注泉水。蘇軾忽然想起七年前，在黃州，夢與參寥吟詩，有「寒食清明都過了，石泉槐火一時新」之句，當時不能解說泉如何新法，不料這個夢兆，卻都應驗於今日。座中人聽他講說這節故事，都悵然有事皆前定，各懷知命無求之感。蘇軾名之為「參寥泉」，作《參寥泉銘》。
蘇軾為杭州通判時，祥符寺可久、垂雲、清順三僧，都是他的詩友，現在似已只剩清順一人，住持葛嶺壽星院。
清順所居曰藏春塢，門前有兩株巨大的古松，松樹上盤絡得滿滿的凌霄花。這和尚年紀老了，常在樹下打瞌睡。有一日，蘇軾摒去騎從，獨自去藏春塢看他，一路上松風騷然，落花滿地，至，則清順正在樹下晝寢，手指落花，乞蘇軾作一韻語，為賦《減字木蘭花》：
雙龍對起，白甲蒼髯煙雨里。疏影微香，下有幽人晝夢長。
湖風清軟，雙鵲飛來爭噪晚。翠颭紅輕，時上凌霄百尺英。
這年春天，壽星院垂雲亭所種的新茶可采了，清順知他愛茶，特來相贈。春暖花開了，清順又以詩代簡，邀他去賞花，可惜蘇軾因病，錯過了花期。
西湖北山多竹，孤山、葛嶺又都在比較靜僻的北山路上，所以蘇軾偕友游湖，最常去的是壽星院和智果精舍，訪的是清順和參寥，詩曰：「……雲深人在塢，風靜響應谷。與君皆無心，信步行看竹。竹間逢詩鳴，眼色奪湖淥。百篇成俯仰，二老相追逐（指同游的王瑜與張璹）。故應千頃池，養此一雙鵠（指清順與參寥）。」
五年夏日游壽星院，有詠寒碧軒詩，為後人評價甚高的一首名作，說它「初若豪邁天成，其實關鍵甚密」，句句扣著「寒碧」二字 ：
清風肅肅搖窗扉，窗前修竹一尺圍。
紛紛蒼雪落夏簟，冉冉綠霧沾人衣。
日高山蟬抱葉響，人靜翠羽穿林飛。
道人絕粒對寒碧，為問鶴骨何緣肥。
蘇軾愛竹又好茶，而植茶在宋代為寺院經營事業之一。西湖群山如寶雲山產者為寶雲茶，下天竺香林洞產者名香林茶，上天竺白雲山產者名白雲茶，軾詩所謂「白雲山下雨旗新」者是也。壽星院垂雲亭茶，產量甚少，更負盛名，清順每以新茶相贈。蘇軾方外之交多，茶的供應不絕，詩謂「妙供來香積」，即是指此。
和尚中不乏精研茶道者，更特別「設茶」招待。
蘇軾重來杭州之初，那年歲暮，往游落星寺。南屏寺僧謙師，遠從南山趕來，為他「設茶」。謙師是湖上茶道名手，據他說：「此事得之於心，應之於手，非可以言傳學到者。」蘇軾深感其意，作詩相贈。
壽星院也有個梵英和尚，葺治堂宇，精潔無比，烹茶供客，芳洌異常，飲後齒頰生香，與一般的茶味不同。
蘇軾問他：「這是新茶嗎？」
「烹茶，必須新茶舊茶配合了用，香味才透得出來。」
這使蘇軾連帶想起，有個懂琴藝的人曾經對他說過，琴之製作，不滿百年，桐木的生意尚未絕滅，故其緩急清濁，還會與氣候的晴雨寒暑相感應，所以琴以古者為貴。此理與梵英所言，茶須新舊相交，香味始見，其理正同。
蘇軾另有一個特別嗜好，就是蜂蜜。他在黃州時曾經用蜜釀酒，頗自得意，其實是失敗的釀造。這次到杭州來，遇到了同好的和尚——仲殊。
這個和尚，是個傳奇人物。
仲殊俗姓張，名揮，安州進士，但他風流成性，遊盪不羈，他的夫人恨透了他，在食物中投了毒藥要害他，幾乎中毒而死，食蜜得解。醫生警告他，若再食肉，毒發不可救，他從此看破紅塵，出家做了和尚。
仲殊為承天寺僧時，蘇軾與之相識。蘇軾說他做詩，落筆很快，而又工妙絕時，如所作過潤州絕句，實甚清麗：
北固樓前一笛風，斷雲飛出建昌宮。
江南二月多芳草，春在濛濛細雨中。
仲殊雖已為僧，卻余習不改，歡喜作艷詞，有《寶月集》，今已不傳。所以蘇軾作《次韻仲殊雪中游西湖》二首中，還調笑他道：
禪老復何為，笑指孤煙生。
我獨念粲者，誰與余目成。
此時仲殊在杭州，已經辟穀，但吃蜂蜜，所以蘇軾叫他「蜜殊」，說他的詩是從百花釀成的蜂蜜中化出來的。
據陸遊的伯父說，仲殊所吃食物，不論豆腐、麵筋之類，一律要在蜜中漬過，他人都不能下箸，只有蘇軾可與之共餐，而且吃得津津有味。 軾作《安州老人食蜜歌》，說：
東坡先生取人廉，幾人相歡幾人嫌。
恰似飲茶甘苦雜，不如食蜜中邊甜。
蘇軾引用佛典：「佛言：譬如食蜜，中邊皆甜。」這是他經驗人生的感喟。世俗朋友還有是非愛憎，利害關涉，不如方外之交，完全超脫於凡塵濁障之外，純情可喜。
吳越諸僧中，蘇軾最敬重二老：一是現在明州阿育王山廣利寺的方丈大覺禪師懷璉；二是本在天竺，現已退居龍井的辯才，他是禪門臨濟宗的一代宗師。
皇祐年間，懷璉為廬山大德，詔往京師住持十方凈因禪院。仁宗召對化成殿，問佛法大意，奏對稱旨，賜號「大覺禪師」，並賜龍瑙缽盂一個給他。懷璉當著皇帝使者的面前，將這缽盂燒了，對使者說：「我們崇奉佛法的人，穿壞色衣，用瓦鐵器盛食物，此缽不是我們佛門弟子用的。」使者歸奏，仁宗大為嘉嘆，親筆寫頌詩十七篇賜他。懷璉後在廣利寺起造宸奎閣，即為奉藏仁宗御書之所。蘇軾為寫《宸奎閣碑》，還再三寫信叮嚀，要如何製作碑石，方如古制，十分鄭重。
蘇軾一到杭州，即以張方平所遺鼎甗獻寄贈懷璉，作《大覺鼎銘》，借致敬意。後來聽說大覺為小人所讒，幾乎不能安居於阿育王山，大為驚憂。四明太守本是王汾（彥祖），為蘇軾的同年，不巧甫於四年十一月調職離去，接任者王文淵似不相熟，所以只得寫信託趙令畤轉達，函曰：
育王大覺禪師，仁廟舊所禮遇。嘗見御筆賜偈頌，其略云：「伏睹大望禪師」，其敬之如此。今聞其困於小人之言，幾不安其居，可嘆，可嘆！太守聰明老成，必能安全之。……
其時大覺禪師已經八二高齡，宸奎閣落成未久，元祐六年正月，他就圓寂四明了。
辯才法師與蘇軾兄弟，有二十年以上的交誼。軾之次子蘇迨且是皈依在辯才座下的弟子。沈遘知杭州時，命他住持上天竺法善寺，經他竭力經營，弘開法宇，增屋幾至萬間，重樓傑閣，冠於浙西。
蘇軾重來杭州，辯才早自上天竺，過風篁嶺，退居龍井之壽聖寺，不再出山了。
龍井，本名龍泓，又名龍湫，有一山泉出自石罅，甃為方池，中生赤蜥蜴，寺僧以為小龍。據秦少游所作《龍井記》：「地當西湖之西，浙（錢塘）江之北，風篁嶺之上。深山亂石中之泉，蟠幽而踞阻。嶺之左右，大率多泉，龍井，其尤者也。」 山上一路蒼松翠竹，並以產茶聞名四海，風物幽靜無比。
這時候，辯才法師已是八十高齡的人了，但是神閑氣靜，精力猶甚矍鑠。蘇軾常常屏去隨從，入山與老師坐談終日，有忽爾跳出塵網