蘇軾墾闢東坡的當年（元豐四年辛酉，1081），即遭逢天旱，幸而所種的麥子，不需要很多的水，到了冬天，已在地面上長出一層春意盎然的新綠來，蘇軾高興他不會挨餓了，作《陳季常見過三首》，有言：「東坡有奇事，已種十畝麥。但得君眼青，不辭奴飯白。」
不料第二年（五年壬戌）夏季，竟又久旱不雨，田地龜裂，禾稻枯槁。幸而盼到天降甘霖，卻是大雨成潦，田間根葉爛死，損失慘重。蘇軾面對連續的災荒，不能沒有飢餓的恐懼。《次韻孔毅父（平仲）》詩中，寫這種無助的景況道：
我生無田食破硯，爾來硯枯磨不出。
去年太歲空在酉，傍舍壺漿不容乞。
今年旱勢復如此，歲晚何以黔吾突。
…………
形容雖似喪家狗，未肯弭耳爭投骨。
倒冠落幘謝朋友，獨與蚊雷共圭蓽。
故人嗔我不開門，君視我門誰肯屈。
可憐明月如潑水，夜半清光翻我室。
大約孔平仲原詩，有怪他過分耿介，不求人助的意思，所以他說：「我即使洞開大門，你看有誰會來照顧我呢？」人情勢利，自古皆然。蘇軾的感慨，別見《答陳季常書》：
先生篤於風義，至身割瘦脛以啖我，可謂至矣。……彼不相知者，視仆之饑飽如觀越人之肥瘠耳，雖象亦未易化也。鄉諺有雲缺口鑷子者，公識之乎？想當拊掌絕倒！（缺口鑷子，一毛不拔。）
然而，蘇軾到底是個硬漢，他相信自己，「力耕不受眾目憐」。記大雨成潦，自力築塘拒水的經過道：
老夫作罷得甘寢，卧聽牆東人響屐。
奔流未已坑谷平，折葦枯荷恣漂溺。
腐儒粗糲支百年，力耕不受眾目憐。
破陂漏水不耐旱，人力未至求天全。
會當作塘徑千步，橫斷西北遮山泉。
四鄰相率助舉杵，人人知我囊無錢。
明年共看決渠雨，饑飽在我寧關天。
誰能伴我田間飲，醉倒惟有支頭磚。
蘇軾雖然貧困，但他生活安閑，一家和睦，正如他作《方山子傳》所稱道的陳慥家一樣：「環堵蕭然，而妻子奴婢皆有自得之意。」他躬耕東坡，王夫人能醫牛病，從無詬誶。三個兒子又都聰明好學。蘇軾、蘇轍兩兄弟都非常關愛子女，對孩子們從無疾言厲色的責備，只要稍微有點表現，便讚不絕口，自言是「譽兒有癖」。元豐四年作《次韻和王鞏（賓州）六首》中說到他的家庭，心滿意足：「子還可責同元亮，妻卻差賢勝敬通。」前則因陶潛有責子詩，他很自喜孩子們都能好學；後句說的是後漢馮衍（敬通），有個悍妒出名的夫人，嚴禁馮衍蓄妾，蘇軾自幸王夫人卻比馮敬通的夫人賢慧得多，允許他納朝雲。
他寫杜甫《屏跡》詩，如「……晚起家何事，無營地轉幽。竹光團野色，山影漾江流。廢學從兒懶，長貧任婦愁。百年渾得醉，一月不梳頭」，自道：「此乃東坡居士之詩。」
朋友說：「這明明是杜甫《屏跡》詩，居士何得竊據？」
蘇軾道：「禾麻谷麥，起於神農后稷。現在家有倉廩，不告而取，便成盜賊。其實從初說起，都是神農后稷之物。今考杜甫此詩，字字皆居士實錄，是則居士詩也。子美安能禁吾有哉！」
蘇軾從不嚴格督促孩子們讀書，所以說：「廢學從兒懶。」但是孩子們的詩文習作，他都要看的，認為用字必須經濟，凡是辭多而意寡的，或者濫用的虛字，一定勾出來，要他們改寫——這是蘇軾作文的一個要訣，不但這樣訓練自己的孩子，對他的侄子們也一樣用心教導，如趙德麟在蘇轍家親見蘇軾寄他侄子的舊札，有曰：
二郎侄：得書知安，並議論可喜，書字亦進。文字亦若無難處，止有一事與汝說。凡文字，少小時須令氣象崢嶸，采色絢爛，漸老漸熟，乃造平淡。其實不是平淡，絢爛之極也。汝只見爺伯而今平淡，一向只學此樣，何不取舊日應舉時文字看，高下抑揚，如龍蛇捉不住，當且學此，只書字亦然，善思吾言。
夜坐無事，嘗與長子蘇邁聯句為樂。蘇邁似是一個木訥老實的青年，才華不及他的兩個弟弟，少年時作《林檎詩》，有句云：
熟顆無風時自脫，半腮迎日斗鮮紅。
老父認是「頗有思致」。聯句中，兒子說：「樂哉今夕游，獲此陪杖履。」做父親的也鼓勵他道：「傳家詩律細，已自過宗武。」欣見自己的兒子比杜甫的宗武強。
元豐五年（1082）歲將暮時，有個多年未見的鄉友突來黃州投奔蘇軾，他是巢三。巢三，本名穀，後改為谷，字元修，讀書不成，雖曾中過舉，卻未能通過禮部的進士試，浪跡京師，又想改從武舉求個出身，但是武功都須自幼鍛煉，所以退而習劍，更無成就。失意之下，他便蕭然一身，浪遊秦、鳳、涇、原之間，後來投身於熙河名將韓存寶軍中，做了幾年幕僚。四年七月，存寶以逗留不進之罪伏誅，巢谷受存寶生前囑託，送數百兩蓄積銀兩與他的妻子後，在江淮一帶，變更姓名，逃亡了一年多，轉到黃州來避禍。蘇軾立即留他在家，教迨、過二子讀書。與從兄子安信上說：「巢三見在東坡安下，依舊似虎，風節愈堅，師授某兩小兒極嚴。……」
蘇軾陪這亡命的朋友到雪堂去住，那個景況，真是凄涼。照他自己的描寫，床上只有一條破棉被，破灶里散發著濕柴的潮氣，架子上只剩得一樽殘酒，自己喝了不夠臉紅，只好請客人姑且潤潤喉嚨。
巢三也不嫌清苦，除了教書外，他還煮豬頭灌血睛，做姜豉菜羹，賓主共享。
蘇軾說過：「妻卻差賢勝敬通。」一點不假。蘇軾謫居黃州，家中還留著兩三個願同清苦的侍兒，其中有個朝雲，本姓王，字子霞，錢塘人，熙寧七年（1074）蘇軾在杭州通判任上時，投入蘇家，當時她還只有十二歲。
朝雲長大起來，出落得秀外慧中，冠絕儕輩，天生雪白的膚色，不必借重膏沐，小小兩片嘴唇，永遠鮮紅欲滴，風姿綽約，體態輕盈，到三十餘歲，蘇軾還要贊她：「素麵常嫌粉涴，洗妝不褪唇紅。」不但天生麗質，而且舉止活潑，富有熱情，完全是個外向型聰明樂觀的女孩子，她這氣質，這性格，就最投合蘇軾的喜愛。
黃州以前，蘇軾似乎先有一妾曰凌翠，沒有同來，答朱康叔（壽昌）問，復書說：「所問凌翠，至今虛位，雲乃權發遣耳。何足掛齒牙，呵呵！」權發遣者，宋代官制名詞，意為「暫代」，可見當時，朝雲還沒有妾的身份，只是侍兒而已。
初到黃州，朝雲年才十九，蘇軾多時閑暇，苦於寂寞，他倆接近的機會較多，感情自然親密起來，蘇軾的熟朋友們，也都認識了他身邊的這個麗人。
元豐六年（1083）九月二十七日，朝云為蘇軾生了一個稚子，其時這父親已經四十八歲了，也可算是暮年得子，非常高興，寫信告訴蔡承禧（景繁）道：
凡百如常，至後杜門壁觀，雖妻子無幾見，況他人也。然雲藍小袖者，近輒生一子，想聞之一拊掌也。
定然是承禧見過朝雲，不曉得她的名字，所以照她那天所穿的衣服，稱她為「雲藍小袖者」。蘇軾不大喜歡與婦人廝混，雖妻子亦不常見，但他樂與朝云為伴，他倆的歡好，可以想見，而王夫人傳統的不妒美德，尤其難得，難怪蘇軾滿意稱道。
蘇軾為這庶出的稚子，取名遯，乳名幹兒。遯者，遁也，蘇軾此時甘心避世之意，已很顯然。
這孩子的相貌，很像父親，尤其額角那一部分最像，蘇軾鍾愛這患難中所得的少子，也是人之常情。朝雲生了兒子，在蘇家中也就有了她的地位。從「權發遣」正式擢升為妾，不再是普通的侍兒了。
遯兒生後第三日，俗為「三朝」，蘇軾作《洗兒》詩，語意悲憤，如云：
人皆養子望聰明，我被聰明誤一生。
惟願孩兒愚且魯，無災無難到公卿。
雪堂落成後，蘇軾有了招待客人的住處。元豐五六年間，雪堂寓客不斷，五年五月綿竹道士楊世昌來，住到六年五月方才離去；而五年年底，同鄉巢谷又來了，也住在雪堂；六年二月琴師崔閑自廬山來，幸而雪堂有屋五間，三位客人不妨同住；至六年三月間，與蘇軾交契最深的於潛天目山詩僧參寥，又從杭州不遠千里到黃州來看他，寓居雪堂整整一年，直至次年（元豐七年，1084）四月，才隨蘇軾一同離開黃州。
經驗顯示，一個人有些怎麼樣的朋友，可了解他是一個怎樣的人物。黃州雪堂所招待的賓客，儘是道士（楊世昌）、和尚（參寥）、畫家（米芾）、琴師（崔閑）和亡命者（巢谷）等，雖然因是罪官，士大夫們避嫌不敢來，但也足可看出蘇軾血管里流著豪俠的熱血，本來喜歡那些流浪江湖的朋友，一時都在黃州聚首。
參寥來了，他有了互相唱和的對手，作《再和潛師》詩：「吳山道人心似水，眼凈塵空無可掃。故將妙語寄多情，橫機欲試東坡老。……