老蘇接到程夫人的噩耗，最早已在五月底，「變出不意」，父子三人倉皇出京，奔喪返蜀。
程夫人是個非常要強的婦人，她以眉山巨室的千金，下嫁蘇家，不以清寒為嫌，認為只要大家努力，未嘗不能出人頭地，沒想到她的丈夫遊盪不學，口雖不言，心裡總是抑鬱難解。幸得蘇洵自己覺悟，下帷苦讀，她便抖擻精神，將全家內外大小事務，一手包攬，不讓丈夫分神。
老蘇外出求仕，她更將教育兒子的責任擔當起來，經常陪伴兒子，青燈共讀。生活在一個大家庭裡面，本已很難，尤其是房份間經濟環境發生高下的變化時，更不易處。程夫人是個有見解、有膽識的婦人，不甘心屈居人下，便從老家搬了出來，在紗縠行街上賃屋而居；但在宗法社會裡面，這是一件不易得人諒解的行為，她也無可奈何。
老蘇外出兩年回來，一事無成，戚黨里鄰間不屑的眼色，她得忍受。唯一成長的女兒又不幸既嫁而死，導致老蘇和她的母家鬧得那麼決絕，斷絕往來的是她的骨肉血親，這是一個非常嚴重的打擊，但她一點辦法也沒有，只能逆來順受。
丈夫帶著兩個兒子赴京趕考，她孤單單的一個人，帶著兩個年輕的媳婦看家，最多不過四十餘歲，何以忽然逝世，誠然是一件意想不到的變故。
老蘇個性剛強，責人甚嚴，對他的夫人，似乎也很冷漠，甚至和厭薄他的故鄉一樣，也厭薄他的夫人。程夫人只能像那個時代所有的女性，將她一片心血，寄望於兩個兒子，但是等到她的兩個兒子登了第，薄命的程夫人則又撒手人寰了。
三蘇回到家門，只見屋廬倒壞，籬落破漏，正如一棟逃亡無人的家屋，如今新喪在堂，更增一重凄涼空洞的光景。老蘇在京，甚不得意，這次又經溽暑之下的長途奔波，回來後，疾病侵尋，自己覺得不數日間就忽然變成了一個老翁，深感生命的脆弱，不免心灰意冷起來，謝絕與人過往，杜門不出。
蘇洵為程夫人塋葬於武陽安鎮山下。山分左右兩股，中間偏右的坡地上，有一大井，蓄瀦山上流下來的泉水，名曰「老翁井」，雖旱不竭。蘇洵在泉上築了一個亭子，作《祭亡妻文》，最感激她教養兩個孩子的辛苦：「惟軾與轍，既冠既昏（婚）。教以學問，畏其無聞。晝夜孜孜，孰知子勤。」而現在唯一可以安慰她的，也只有「亦既薦名，試於南宮。文字煒煒，驚嘆群公。二子喜躍，我知母心。非官實好，要以文稱」。而生者的哀傷是「歸來空堂，哭不見人」了。
於是，軾、轍在鄉，依禮守制。
嘉祐三年（1058），宋朝名相王旦的兒子、龍圖閣學士王素（公儀）從定州來知成都 ，蘇軾以在籍進士的身份，就本鄉民生疾苦，賦稅太重的問題，上書進議有關蓄兵賦民之事。略曰：蜀人勞苦筋骨，奉事政府，但猶不免於刑罰。有田者不敢望以為飽，有財者不敢望以為富，惴惴焉恐死之無所。然而，民困已深時，是為政者最容易為老百姓做事的機會，希望他不要錯過。國家向老百姓收稅來養兵，兩者應該兼顧，不能厚此薄彼。兵士離心，還是小亂，民怨深積，卻足釀造大亂，所以希望他兩存而皆濟。又說，天下不可能完全沒有貪暴的官吏，只要在上者能夠公開接納訴苦，老百姓就有依靠。如現在，老百姓有冤無處申，申訴了也不聽，甚且指為凶民，陰中其禍。吏治到了這個地步，老百姓就無死所了。
從這信中所說的情形看，宋朝官吏對蜀人的經濟壓榨和剝削，經歷百年，還一點也沒有改善，蘇軾痛心桑梓，疾奮一言。
王素非常看重這位後輩，以後叫他的兒子王鞏（定國）從蘇軾問學，此後，他們兩人成了患難與共的知交。
蘇軾的岳家在眉州首府的青神縣，他就常到那裡去玩。他夫人的族叔王淮奇（字慶源，又字子眾），住在瑞草橋，做過多年縣衙門的主簿、戶掾之類的小官，待人和藹可親。他家自釀的酒尤其好得出奇，蘇軾一到，淮奇就約了楊宗文（君素）、蔡褒（子華）諸人，攜酒帶菜到江岸邊，坐在草地上喝酒聊天，看天上的流雲，聽江上的濤聲。雖然他們的年齡相差那麼多，但是一點隔閡也沒有。日後回憶，蘇軾只想早日「歸休，相從田裡」。只要說到這個，他的心已馳於瑞草橋之西南矣。
王弗夫人的族弟王箴（元直），也是他後來繼妻的胞弟，當時還是一個十幾歲的孩子，蘇軾很喜歡他，江邊飲酒回來，天也黑了，就回到何村的岳家去，與王箴對坐在庄門口，吃瓜子、炒豆，天南地北地閑話，過一個清靜閑適的夜晚。
距青神二十五里地的石佛鎮上，有個豬母泉。傳說百年前，有頭母豬在此化為泉水，泉中有兩尾鯉魚，常人不能見。有一次，蘇軾與其妻兄王願玩到此處，蘇軾俯視水面，忽然嚷道：「我看見鯉魚了。」王願不信，於是兩人作了一個禱告，不久鯉魚果然浮出水面，王願大驚再拜。
蘇軾很喜歡喝酒，雖然並無酒量，即使看人喝酒，也一樣過癮。他的族叔慎言，是個道士，住在蟆頤山下的道觀里，他常和堂兄不疑（子明）同到道觀去，三人一起喝酒。子明是個海量，一口氣喝個二十大杯也不醉，他們傳杯遞盞地喝個夠，便大聲歌唱。「當此時也，」蘇軾說，「其豪氣逸韻，豈知天地之大，秋毫之小？」
嘉祐三年（1058）十一月，中書省札子下眉州，以兩制議上歐陽修的薦狀，召蘇洵赴京「試策論於舍人院，仍令本州發遣」。老蘇甚不滿意，決定稱病請辭。
十二月一日上皇帝書，稱病請辭外，並條陳十事，大體上均為指陳朝廷用人行政方面的缺失及改進的建議，以自解其辭不應召之罪。
老蘇是個自尊心很強的讀書人，最大的不滿，是朝廷要「試而後用」。《答雷簡夫書》曰：「向者，《權書》《衡論》《幾策》，皆仆閑居之所為，歐陽永叔以為可進而進之。苟朝廷以為其言之可信，則何所事試；苟不信其平居之所云，而其一日倉卒之言，又何足信耶！」《寄梅堯臣書》曰：「聖俞自思，仆豈欲試者？惟其平生不能區區附合有司之尺度，是以至此困窮。今乃以五十衰病之身，奔走萬里以就試，不亦為士林之士所輕笑哉！」
半年後，嘉祐四年之六月，朝廷召命再下，蘇洵再辭，同時上書歐陽，解釋道：不敢以匹夫而要君命，亦不敢自高求名而得罪於門下。他又說：從嘉祐元年丙申之秋，公進某之文起，至三年戊戌之冬止，凡七百餘日而得召命，以此推算，即使今日立刻治行，數月而至京師，待命數月，得就試於所謂舍人院者，然後考官評閱亦一二年，幸而及等而奏之，從中，下相府相與擬議，年載間才可望得一官，如此，洵已老矣，而不能為矣！老蘇對於官場的泄沓，對於朝廷之以眾人待之的不平，躍然紙上。
然而，二十四歲的兒子，則剛剛見識到這個世界的壯闊無邊，而志氣如虹，當他的朋友宋君用將赴京師，蘇軾作詩贈行，認為擴大生活天地，是人生第一件大事。他打了一個譬喻，生長在山上石溪里的鯉魚，倘然碰上赤日沸水的天氣，而溪岸石密，無縫可鑽時，定將窘迫得有如涸轍之鮒。所以，必須超越小溪，奮然躍往大江大海，而與浮沉淺水的群蛙道別。蘇軾鼓勵他道：「賴爾溪中物，雖困有遠謀。不似沼沚間，四合獄萬鯫。縱知有江湖，綿綿隔山丘。人生豈異此，窮達皆有由。」
中國的知識分子，望能有用於世，則與政治的關係，密切得像骨和肌肉一樣，非但不能分割，甚至無可選擇，只有這一條通道。所以他進一步說：「我非田農家，安能事耝耰。又非將帥種，不慣揮戈矛。平生負壯氣，豈可遂爾休。」年輕的新科進士，對政治抱著無比的熱忱與信心，認為現實政治的權力，具有廣泛的改變一切的力量，他鼓勵朋友亦所以明示自己，讀書為求世用，就不能不奮然躍入政治這個大海里去，發揮生命里的光和熱，進入權力世界裡去，才能為生民的福祉做一番事業。