軾有三子，邁、迨、過。
長子蘇邁，字伯達，為嫡配通義君王氏所出。七歲喪母，二十歲父親陷御史台獄，隨往京師，奔走照顧。翌年，即侍父遠謫黃州，同度患難者五年。至軾遷汝州，他才得出仕為德興縣尉，老父送他到湖口，同游石鐘山而別。
元祐初，叔父蘇轍為諫官，揭發呂惠卿兄弟奸狀，惠卿幼弟溫卿時知饒州，將欲羅織蘇邁以為報復，轍先奏乞罷官，才得免禍。
後以雄州防禦推官任河間令。蘇軾出帥定州，宣撫河北，又因親嫌而罷。
不久，蘇軾被罪遠謫嶺外，邁從至金陵，奉父命挈帶闔家大小移住宜興。
蘇邁懷念在惠州的老父，設法去注官粵南，得授仁化令，好不容易帶了一家人到得惠州，不料時相章惇說惠州和韶州（仁化為韶州轄邑）是鄰郡，應該迴避，他就不能到任。未久，蘇軾又被命過海，邁只得住在惠州白鶴峰上，為父隨時購辦酒米藥物等項，托船航運海南，接濟老父生活所需。
叔父蘇轍謫雷州，途經惠州，也將家眷留在他那裡，住在一起，有無相共。軾詩所謂「大兒牧眾稚，四歲守孤嶠」者，他就這樣在惠州住了四年。
後來，隨父從嶺南萬里回到常州，不幸老父一病不起。這時候，蘇邁已是四十三歲的中年人了。
蘇軾逝世後，諸子遷往許昌，與叔父蘇轍比鄰而居。
大觀元年，蘇邁起知嘉禾縣，又四年罷歸。
長子才華，雖然不及兩弟，但也能詩，曾與老父聯句破悶。《東坡志林》有一則云：
兒子邁幼嘗作《林擒（蘋果）》詩云：「熟顆無風時自脫，半腮迎日斗先紅。」於等輩中，亦號有思致者。余已老，無他技，但亦時出新句也。嘗作《酸棗》詩云：「葉隨流水歸何處，牛載寒鴉過別村。」此句亦可喜也。
而趙德麟則說，蘇軾看到邁作「葉隨」「牛載」這一聯詩句時，笑道：「此村長官詩。」後來果以州縣官以終。其實蘇軾生前生後，皆在禍患之中，追害凶鋒，並及子弟，雖如蘇過所感嘆的：「吾長兄年五十有三，不能俯仰於人，猶為州縣吏。」（《斜川集》）但能善保其躬，已經很不容易了。
軾故後十八年，宋徽宗之宣和元年（1119），邁亦逝世，得年六十一歲，官止駕部員外郎。
次子蘇迨，字仲豫，小字竺僧，為繼室同安君王氏所出。生來身體非常羸弱，到四歲還不會走路，好似患著小兒麻痹那樣的痼疾，百葯罔效。當時蘇軾在杭州做簽書判官，與住持天竺的辯才法師交好，就將他皈依在這位法師名下，得他祈禱之力，才能開始走路。然而其他病痛，長年不斷，後得道士李若之對坐播氣，感覺腹中如得陽光暖照，四體皆溫，自此以後才慢慢健康一點。
蘇迨志尚奇逸，好為《楚辭》。元豐八年跟著父親到登州去，途經淮口，作《遇風》詩，才華初露，使父親大為驚喜、讚譽。這時候，他還只有十六歲。
元祐初，父親為他求婚於歐陽修的孫女——歐陽斐之女。他因身體不好，一直就跟在父母身邊。蘇軾南遷，迨涕泣求與從行，父親顧慮他體弱多病，不宜遠赴南荒瘴惡之地，百計慰留，贈以手書六賦，勸他跟大哥回宜興去住。
蘇迨久病，自習醫藥。至元符三年，蘇軾獲赦將歸，迨復往迎嶺外，兄弟三人重聚，侍父遍游南粵諸名勝。
父親故世後，蘇迨敦守舊學，閉門讀書者又十年。
蘇軾常常自嘆不善治生，不為己謀。蘇軾生前，三房兄弟僅賴宜興田產年收穀米七百斛為生。父死後，他們移家許昌，生事蕭然，蘇轍將他在浚都一座別業賣掉，得錢九千數百緡，全部給了他們，囑勿輕用。
蘇軾逝後不到一年，崇寧元年（1102）五月黨禍復起，被列名為奸黨者的子孫，不許官京師。蘇軾是「待制以上官」這一類中的「首惡」，他的兒子就連做地方小吏的機會也沒有了。因為這個緣故，邁至四十九歲，才得重作縣令；蘇迨到四十二歲才遠赴武昌，做個管庫官。情況非常明白，他們之所以垂老復出，並非樂於做官，只是救貧而已。《斜川集·送仲豫兄赴官武昌敘》說：
某生最後，不及見先君少時行事也。比成人，能區別，則先君歷清華、典方面，既貴矣。然竊觀其退居於家，藐然陋巷布衣、糲食寒士有所不能堪，而先君安焉。故能糠粃富貴，而不少貶於流俗。所謂季文子相三君，家無衣帛之妾，廄無食粟之馬，殆類是矣。子孫雖不能彷彿其萬一，然清介廉苦之風，抑有類焉。故吾長兄年五十有三，不能俯仰於人，猶為州縣吏；仲兄少不樂仕進，親戚強之，今四十有二，始為管庫官，又飄然遠遊江湖千里之外，此其中必有遺世故而輕外物者矣。……
過，字叔黨，與迨同母所生。三兄弟中，論性情才氣，文章翰墨，以這少子得諸其父者為最多。蘇軾觀過所畫《枯木竹石圖》，以為「老可（文同）能為竹寫真，小坡今與石傳神」。從此他就以「小坡」出了名。
十九歲，以詩賦考中兩浙路的舉人，沒能通過禮部試。元祐七年，蘇軾做兵部尚書，叔黨以蔭為右承務郎。
不久，遭逢家難，侍父轉輾於嶺外惠州、海南各地，老父飯食服用，一應生活所需，都由他一個人承擔下來，沒有事情沒做過。晁說之說：「翁板則兒築之，翁樵則兒薪之，翁賦詩著書，則兒更端起拜之，為能須臾樂乎先生者也。」（晁撰《叔黨墓志銘》）
蘇軾旅蹤所至，每有詩作，過必和唱，使這窮居潦倒的父親，喜不勝言，要起淵明於地下，問他：「你有這樣的快樂嗎？」 他們在海南，不大有肉吃，每天食芋飲水，關門度日。叔黨變化煮芋的方法，做了「玉糝羹」給父親換換口味，蘇軾以為天下酥酡則不可知，人間決無此美。
初至海上，作《志隱》一篇，蘇軾看了，拂髯欣慰道：「吾可以安於島夷矣！」但命作《孔子弟子別傳》，則父親所期望於這個兒子的，依然是儒家的「濟世利物」的使命。
蘇過侍父南行之初，年才二十三歲，父子二人，相依為命，共度艱危萬狀的暗淡生活。他在海南寄諸兄弟詩說：「我似當時常校尉，掘鼠餐氈從屬國。」次韻謝民師說：「飢人但覺粃糠美，憂患始知田舍樂。」等到老父蒙赦，隨父北歸，他已三十歲了，自謂：「丁年而往，二毛而歸。」忍辱負慚，只餘一把辛酸之淚了。
不料回到常州，更遭父喪。翌年，黨禍又起，身為「元祐黨人」首惡之子，續被「編管」，只得潛身許昌，在湖陰覓得一塊水竹數畝之地，名曰「小斜川」，自號斜川居士，讀書作畫自遣。
蘇過出仕，初監太原府稅，後又做過潁昌府郾城縣令。宣和中，黨禁初弛，始得入京師，寓居景德寺僧房，在那兒發生了一段故事：
一日，蘇過忽見快行家帶一小轎同到寺來，傳旨宣召，催促立刻登轎。雖然不明白是什麼事，但也不敢不去。
進入轎中，眼前有物遮擋，上則無頂，另有一柄小涼傘罩著。兩個轎夫抬著轎子，行走如飛。大約走了十多里路，到一長廊下停了轎，有內侍一人，自上而下，領他升一小殿中，帝已先坐座上，身披黃色褙子，頭戴青玉冠，一大群宮女環侍左右，不知其數。他也不敢仰視，心裡則知道這裡已是「崇高莫大之居」。
時當六月盛暑，殿中積冰如山，噴香如煙霧，繚繞不散，冷得直叫人發抖。俯仰之間，舉眼所見，都是不可名狀的非凡景象。
蘇過起居（行禮）畢，帝諭曰：
「聽說卿家是蘇軾之子，善畫窠石，現有一面素壁，煩你一掃，沒有別的事。」
過再拜承命。就這殿壁，略一相度，濡毫落筆。不久，畫成了。皇帝起身縱目而觀，嘆賞再三，命宮人捧賜釂酒一鍾，另有甚為豐渥的賞齎，蘇過拜謝下殿。
仍然走那條長廊，登上小轎出來，也不知道走過哪些地方。回來後，還是如夢如痴，不甚明白。
如所傳說的故事確為事實，則禁宮中怎麼會知道蘇軾有子能夠繪畫，而且知道此人現在京師，住在景德寺里。這中間必有一個說客，多半是徽宗嬖倖的司筆太監梁師成。
梁師成，黠慧能文，初時管領睿思殿文字外庫，善於逢迎帝意，後來就掌管宮中重要的文書，遷至河東節度使。政和間，官至太尉，權傾一時。
師成自慚形穢，為要標榜身份，冒稱他是蘇軾的「出子」（外面情婦所生的兒子）。這是當時通行的騙術，童貫亦是。如徐夢莘《三朝北盟彙編》說，童貫欲自為韓魏公（琦）出子，屢向吏部侍郎韓粹彥示意，粹彥毅然拒絕道：「先公平昔無茲事。」後來王珪的第三子王仲嶷貪圖富貴，自往攬承。童貫大喜，改稱王禹玉的出子。《三朝北盟彙編》又說：「師成與軾諸子敘拜為兄弟行。」其實邁、迨皆在外地，所以他所能結交的只有時一至京的蘇過。他向徽宗介紹蘇過畫壁，亦不過要證實他並未偽冒身份而已。
當時，天下禁讀蘇文，禁止收藏蘇軾遺墨，其尺牘在人間者，也