蘇東坡充分參與西湖上的生活。湖上的遊樂分為兩種，一種是家庭同樂，一種是挾妓游湖。在湖上這個地方，家庭婦女是望妓而生畏意，而妓女則望家庭婦女而有妒心。妓女們從心眼兒里盼望她們能跳出火坑，自己有家有兒女，就猶如那些家庭婦女一樣。蘇東坡有時和妻子兒女一齊去游湖，有時與好喝酒的同僚同游。他是多才多藝，方面最廣。他的一隻筆運用自如，寫出的詩句，巧妙華美，合規中矩，地方文人，對他敬佩萬分。他寫出的詩句飄逸自然，使人一見難忘。與家人在一起，他唱出下面的詩句：
他倆又看見佛桌上有一本禱告用的佛經。蘇東坡看見有一條禱告文句：
游翁已妝吳榜穩，舞衫初試越羅新。
登岸之後，往山中走去，在圓寂無人的樹林里，可以聽到鳥聲此呼彼應。蘇東坡本來就性喜遊歷，現在常常獨自一人漫遊于山中。在高山之頂，在人跡罕到的水源岩石上，信筆題詩。有些寺廟他常去遊歷，因而成了廟中和尚的至交。在蘇東坡去世後，一個老和尚說出蘇東坡的一個故事。他說，他年輕時在壽星院當和尚，常看見蘇東坡在夏天一人赤足走上山去。他向和尚借一個躺椅，搬到附近竹林下選好的處所。他全無做官的架子，脫下袍子和小褂，在下午的時光，赤背在躺椅上睡覺。小和尚不敢走近，由遠處偷看這位一代大儒，他竟而看到別人無法看到的情形。他看見，也許他以為他看見，這位大詩人背上有七顆黑痣，排狀恰似北斗七星一樣。老和尚又說，那就足以證明蘇東坡是天上星象下界，在人間暫時作客而已。
師唱誰家曲，宗風嗣阿誰，借君拍板與門縋，我也逢場作戲莫相疑。
溪女方偷眼，山僧莫皺眉，卻愁彌勒下生退，不見阿婆三五少年時。
蘇東坡攜帶妻兒來杭州，是在神宗熙寧四年（一○七一）十一月二十八日。公館位於鳳凰山頂，南見錢塘江，出海的大船出沒於江面；北望西湖四周環山，山頂隱沒於白雲中，廟宇與富家別墅點綴于山坡之上；東望錢塘江灣，但見驚濤拍岸。杭州為一大都市，故除去太守一人外，另設二官輔佐之。蘇東坡之官邸占公館之北面，可俯瞰西湖。就在鳳凰山下，夾於西湖與錢塘江灣中間，自北而南的，正是杭州城，城外環以高牆，城內有河道，河道上架以橋樑相通。蘇夫人清晨起身，打開窗戶，看見下面西湖平靜的水面，山巔、別墅、飄浮的白雲，都映入水中，不覺心曠神怡。離中午甚早，湖面上早已遊艇處處。夜晚，由他們的住宅，可以聽見吹蕭歌唱之聲。城內有些街道比別處顯得更為明亮，因為有夜市數所，直到次晨兩三點始行收市。尤其對女人們看來，總有些令人著迷的貨品，如美味食物、綢緞、刺繡、扇子。孩子們則會看到各式各樣糖果、玩具、走馬燈等東西。宋朝時的糖果商販都利用特殊廣告技巧，以廣招待。有的用賭博，有的裝做白鬍子老漢，有的戴面具，載歌載舞。有的賣棉花糖，有的賣糖吹的各種小獸，有的做「沙糖」，類似現在的楓糖。有一本書寫杭州城的生活情況，寫在宋末——在蘇東坡以後百年左右，在馬可孛羅來中國百年之前，把當時的街道、溝渠、湖泊、食糧、娛樂，寫得纖介無遺，讀之令人神往。把當時杭州城的生活描繪得比馬可孛羅寫的更為詳盡。馬可孛羅談到王公貴人的打獵，公主貴婦在西湖邊洗浴，富商的遊艇往來於杭州、泉州之間，但他對糖果、糕餅、通俗的娛樂等名稱，並不熟悉。吳自牧這本《夢梁錄》上，像老嫗般滔滔不絕的敘述那些精美的各式小食美味，真會使讀者觀之入迷。
正相反，蘇東坡對性持較為詼諧的看法。在他著的《東坡志林》里，他在黃州時曾寫有下列文字：
由文學掌故上看來，蘇東坡在杭州頗與宗教及女人有關，也可以說與和尚和妓女有關，而和尚與妓女關係之深則遠超於吾人想像之上。在蘇東坡的看法上，感官的生活與精神的生活，是一而二，二而一的，在人生的詩歌與哲學的看法上，是並行而不悻的。因為他愛詩歌，他對人生熱愛之強使他不能苦修做和尚；又由於他愛哲學，他的智慧之高，使他不會沉溺而不能自拔。他之不能忘情於女人、詩歌、豬肉、酒，正如他之不能忘情於綠水青山，同時，他的慧根之深，使他不會染上淺薄尖刻、紈絝子弟的習氣。
現在有一份宋拓蘇字帖，上面記有一個妓女的一首詩，叫做《天際烏雲帖》，是從第一句詩得名的。帖里說的是營妓周韶的故事，周韶曾赴宴席侑酒。她常和書家兼品茶名家蔡襄比賽喝茶，都曾獲勝。蘇東坡經過杭州，太守陳襄邀宴，周韶也在座。宴席上，周韶請求脫除妓籍，客人命她寫一首絕句。周韶提筆立成，自比為籠中白鸚鵡「雪衣女」。詩曰：
在另一首詩里，他寫百姓在保甲制度下所受的痛苦，描寫老百姓在鞭笞之下的哭叫，甚至壯丁的妻子兒女也關入了監獄。這些詩句累積起來，後來他被捕受審時，竟確立了他企圖摧毀人民對新政的信心之罪行。
到了內殿，他倆看見觀音像，手持一串念珠。
蘇夫人說：「你才傻。你一天悶坐，有什麼好處？好了。我給弄點兒酒喝吧。」
杭州是多彩多姿，而西湖又引人入勝。江南的天氣，一年四季都引人出外遊玩。在春秋兩季，全杭州人都在湖濱遊玩。甚至冬季下雪的日子，還有尋樂的人乘船到湖上玩賞雪景。尤其是重要的節日，比如三月初三、五月初五、中秋節、重陽節、二月十一當地神抵的生日，湖上全是遊逛之人，必須前一天預先雇妥遊艇。遊人無須自帶食物，因為一切東西，包括茶杯、茶托、湯勺、筷子，全由遊艇供給。還有船夫捕魚賣與遊客放生，這樣救生積德，按佛教說，這是在天堂積存財寶。同一條魚被捕三次，又被放三次，這條魚說不定就可從陰曹救三條人命了。
除日當早歸，官事乃見留。
執筆對之泣，念此系中國。
小人營報糧，墮網不知羞。
我之戀薄祿，因循失歸休。
不須論賢愚，均是為食謀。
誰能暫從遣，團默愧前修。
羞歸應為負花期，已是成陰結子時，
與物寡情憐我老，遣春無恨賴君詩。
玉台不見朝酣酒，金縷猶歌空折枝，
從此年年定相見，欲師老圃問樊遲。
在那些名人軼事中，有一本是關於蘇東坡和他那喜愛尋歡取樂的朋友佛印的故事。那時節，蘇東坡對佛學還沒有認真研究，在他四十歲以後，在黃州時，他才精研佛學。黃州的幾個和尚成了他最好的朋友，後來他在靖江、金陵、廬山，又交了些和尚朋友。那些人中，至少有兩個——惠勤和參寥，是詩人學者，頗為人所尊敬。由那些隨筆軼聞上看，佛印並不算重要。但是佛印是以風流瀟洒出名的，而且在一般通俗說部里，佛印比參寥更常為人提到是蘇東坡的朋友。
佛印說：「這就是我為何以『僧』的身份與汝相對而坐的理由了。」
但是在蘇東坡的心靈深處有一件事，人大都不知道，蘇東坡的妻子一定知道，那就是他初戀的堂妹，不幸的是我們無法知道她的名字。因為蘇東坡是無事不肯對人言的人，他一定告訴過他妻子。他對錶妹的深情後來隱藏在兩首詩里，讀蘇詩的人都略而未察。
勸君莫惜金縷衣，勸君惜取少年時。
花開堪折直須折，莫待無花空折枝。
佛印回答：「當然是拳頭大的那個。」
這個禿奴，修行忒煞，雲山頂上空持戒。只因迷戀玉樓人，鶉衣百結渾無奈。
水光瀲艷晴方好，山色空濛雨亦奇。
若把西湖比西子，淡裝濃抹總相宜。
佛印富有機智捷才。在他和蘇東坡有點兒哲理味道的故事中，有一個是這樣的，蘇東坡一天和佛印去游一座寺院，進了前殿，他倆看見兩個面貌猙獰可怕的巨大金剛像——一般認為能伏怪降魔，放在門口當然是把守大門的。
他說：「孩子們真傻！」
他們一到湖畔，船夫便把他們圍住，爭攬顧客。他們總是挑一隻小船，夠坐四五人便好，有時人多，便須要一個可擺一張飯桌的，然後吩咐船娘預備飯菜，這種船上的船娘通常都是精於烹調的。這等住家船上都是雕刻精美，船頭有筧嘴。湖上也有船販賣食品與遊客。有些船夫賣栗子、瓜籽、夾餡藕、糖果、烤雞、海鮮食品。有的船夫專門賣茶。有的船上載著藝人，按照習俗是靠近遊客的船，表演歌舞、特技、投擲、射擊等遊戲。
蘇東坡問：「觀音自己是佛，還數手裡那些念珠何用？」
那時他並沒坐對宮花，因為他並不是正置身皇宮之內。他說「厭從年少」的伴侶時，他顯然是描寫自己；而「花」照例是女人的象徵，「舊香」可能指一段的舊情。
隴上巢空歲月驚，忍看回首自梳翎。
開籠若放雪衣女，長念觀音般若經。
停杯且聽琵琶語，細捻輕攏，醉臉春融，斜照江天一抹紅。
在性情，在放浪的風