蘇軾流放黃州，廩祿皆絕，生活非常艱苦，雖然躬耕東坡，一時也無多少實際幫助，所幸原是寒士出身，居家向來儉樸，倒還經受得了清貧的景況，心裡唯一不能坦然的，是這廢棄生涯，使珍貴的生命平白歸於浪費。
初貶黃州，蘇軾尚在盛年——四十五歲，正是一生中的黃金時間，卻被放逐到這個文化落後的江城蠻瘴之地來，並無實際官守，每天三餐一宿，余無一事可為。而時間恰如大江之水，滔滔東流，不舍晝夜，不啻是對自己生命的存在，肆意無情的摧殘。這種打擊，落在熱愛生命、滿懷抱負的蘇軾身上，必然構成最無救助的壓迫和痛苦。
初到黃州時，即已感喟：「萬事如花不可期，余年似酒那禁瀉。」
酒，不是取用不盡的江水，人的壽命，也是有限的，一樣禁不得白白流瀉。然而，一自平白掉入這個茫茫的虛空，只能眼睜睜數著每天的日升日落，恍如看著自己的生命被一把無形的利剪，一節一節地剪落。他慨嘆頭上的白髮越來越多，時間觀念的困擾，成為他最難解脫的悲哀。
第二年（元豐四年，1081）中秋之夜，蘇軾對月獨酌，節序帶來時間消逝的警覺，使他深感脅迫，作《西江月》詞：
世事一場大夢，人生幾度秋涼。夜來風葉已鳴廊，看取眉頭鬢上。
酒賤常愁客少，月明多被雲妨。中秋誰與共孤光，把盞凄然北望。
這首詞，前半闋哀時間過得太快；「月明多被雲妨」，則是悲自己的遭遇。雖然注家說此詞是懷念弟弟蘇轍之作，然而蘇轍在江西，從黃州來說，怎麼會凄然北望呢？顯然指的是可以發揮他的抱負，可以遂行他理想的「中原」。
唐宋人在一年節令中，最重寒食與重九，這與我們現在特重端午、中秋者不同。蘇軾在元豐五年作《寒食雨》二首：
自我來黃州，已過三寒食。
年年欲惜春，春去不容惜。
今年又苦雨，兩月秋蕭瑟。
卧聞海棠花，泥污燕脂雪。
暗中偷負去，夜半真有力。
何殊病少年，病起頭已白。
這首詩，全篇都是生命在時間壓迫下的宛轉沉吟，一個流落荒城的知識分子，面對節序所產生的無可奈何的傷感。但如我們還記得他曾將蜀卉海棠當作影子來隱喻自己的身世與遭遇，則第四聯「卧聞海棠花，泥污燕脂雪」句，就是蘇軾身世的窮途之哭了。
貶謫是沒有一定期限的懲罰，有人終生不得起複。蘇軾惶恐不安，用莊子語比作沉滯痼疾的少年，待到病癒，頭都白了，莫非竟一樣是如此無可奈何的宿命？
《寒食雨》的次章，更加蕭索。如曰：
春江欲入戶，雨勢來不已。
小屋如漁舟，濛濛水雲里。
空庖煮寒菜，破灶燒濕葦。
那知是寒食，但見烏銜紙。
君門深九重，墳墓在萬里。
也擬哭途窮，死灰吹不起。
儒家的人生觀，以奉事君父為最大的責任，然而蘇軾的現況是被摒棄荒遠，君主的宮門，深遠九重，已經高不可攀，父母的墳墓則又遠在萬里以外的故鄉。
日本漢學家吉川幸次郎非常訝異於蘇軾身處這樣困厄的境況，而所作《寒食雨》一詩，卻表現得如此沖和平靜，非常激賞，還引以證明中國文學思想史上，變唐詩之悲觀色彩，創出淡泊自然的宋詩風格，應推蘇軾為居此樂觀思想之主流人物。蘇軾樂天知命，心襟超脫，確然不錯，然而此詩則十足是窮途的哀鳴，讀之令人流淚。
話雖如此，蘇軾並不完全沮喪，仍有足夠的勇氣面對現實，依從他的興趣，把時間消磨在讀書、著作、寫字、作畫和黃州近郊各處漫無目的的閒遊上。
讀書是他自幼養成的習慣，不過好動的他，大抵只在一天中的晚間，才能靜下心來，挑燈夜讀。據說每夜必要讀到鼓打三更方肯就寢，縱然從外面喝得醺醺大醉歸家，也仍然要取書來讀，讀到倦極才睡。
初到黃州，照他自己所說，「專讀佛書」，這很明顯是為了紓解心理上的壓迫，原是一時的現象。佛書不能滿足一個淑世精神未死的人，所以後來則以讀史為多。歷史記述過去的人和事，讀來不免印證眼前的現實；印證眼前的現實，就不免「有感」；有感則書生積習難除，他又不免悄悄寫下了許多篇短俊的史論。
如王安石有《商鞅詩》：
自古驅民在信誠，一言為重百金輕。
今人未可非商鞅，商鞅能令政必行。
而蘇軾卻持絕對相反的看法，反對一切用刑賞貨利的權術來治理百姓。元豐三年九月讀《戰國策》，遂有《商君說》之作：
商君之法，使民務本力農，勇於公戰，怯於私鬥，食足兵強，以成帝業。然其民見刑而不見德，知利而不知義，卒以此亡。
故帝秦者，商君也；亡秦者，亦商君也。其生有南面之福，既足以報其帝秦之功矣；而死有車裂之禍，蓋僅足以償其亡秦之罰。理勢自然，無足怪者。
後之君子，有商君之罪而無商君之功，享商君之福而未受其禍者，吾為之懼矣。
這篇犀利的短文，是儒學者的蘇軾對法家治術所投出的匕首，有人指為系針對王安石變法失敗而發。
現代的歷史學者，如陳寅恪、姚從吾等，都認為蘇軾是個最具史識的歷史哲學者，而最難得的是蘇軾即使身陷患難，卻仍堅持儒家的政治理想，決不妥協。
蘇軾讀史，確曾下過堅實的苦功。楊慎（升庵）說，昔人問蘇公曰：「公之博學可學乎？」
曰：「可。吾嘗讀《漢書》矣，蓋數過而始盡之，如治道、人物、地理、官制、兵法、貨財之類，每一過，專求一事，不待數過，而事事精核。」
古人讀書，主要的方法是背誦和抄寫。蘇軾不但翻來覆去地誦讀，且更兩遍三遍地抄寫。在黃州，他已是年將半百的少老人了，但仍手自抄書不倦。
有個本地朋友（疑是何聖可）介紹黃岡教官朱載上所作詩文，請蘇閱評，蘇軾對他所寫「官閑無一事，蝴蝶飛上階」這一聯句子，非常稱賞，於是這朱教官就常常來看他。
一天訪蘇，門上傳帖進去，好久好久不見主人出來，朱載上等得不耐，幾乎想要走了，才見蘇軾一路走來，一路連聲道歉，赧然道：「適才了些日課，失於探知駕到。」朱君就問：「先生適來所謂日課者是什麼？」
「抄《漢書》。」
「以先生大才，開卷一覽，自可終生不忘，何用手抄？」
「不然，」軾答，「我讀《漢書》，至今已經抄過三遍。第一次每段事抄三字為題，第二次兩字為題，現在只用一字。」
朱載上肅然離席，向主人請求道：「不知先生所抄的書，肯讓我見識見識否？」
蘇軾便命老兵去內室取來。朱君翻看，茫然不解其意。蘇軾便說：「足下試舉題上一字。」
朱載上如言舉某段題上一字，蘇軾即應聲背誦數百言，無一字差誤。朱君為之驚嘆不已。
讀書寫作，既是自幼養成的習慣，一朝被迫非得焚筆棄硯不可，這所產生的痛苦，與不準音樂家演奏，禁止辯士講話，一樣難堪。蘇軾在萬不得已的自我約束之下，「封筆」了一段時期，漸漸覺得雖然人在閑廢，也不能不做些有益於世的事情，揀現在能做的——「窮則著書」，是學人的通例，於是考慮到自己來寫一部講解《論語》的書，實現他父親未完成的遺志，編寫一部《易傳》的集稿——超現實的解經工作，應是不會惹是非的，他定然這樣著想。
宋人有解說《論語》的風氣，見於《文獻通考》的書目，即有三十餘種之多。王安石也作過《論語解》，他的兒子王雱口義，蘇軾似乎讀過，一向不大佩服他們的釋義。又記得蘇轍少時，曾經寫過一些疏解《論語》的摘記稿，便託人去向他取來，加以取捨，寫成了《論語說》，自述為五卷（《上文潞公書》），但《宋志》作四卷，《文獻通考》作十卷，書已失傳，不知孰是。《通考》將它與蘇轍所著《潁濱論語拾遺》並列。潁濱書自序，記述他後作《拾遺》的始末緣由，有言：
余少為《論語略解》，子瞻謫居黃州，為《論語說》，盡取以往，今見於書十二三也。大觀丁亥（宋徽宗大觀元年，1107），閑居潁川，為孫籀、簡、筠講《論語》，子瞻之說意有未安，時為籀等言，凡二十七章，謂之《論語拾遺》，恨不得質之子瞻也。
據此，蘇軾的《論語說》，採用蘇轍少作者居十之二三，十之七八還是他自己的見解，但是兄弟所見，並不盡同，可惜此書今已失傳，只能從蘇轍的《潁濱論語拾遺》中，約略窺見一二。
《四庫全書總目》說：眉山之學，雜出二氏，如說「思無邪」為「無思」，「不逾距」為「無心」，頗涉禪理；解釋「苟志於仁矣，無惡也」，認為是「有愛而無惡」，亦即佛家冤親平等之意；以「朝聞道，夕死可矣」，解為「雖死而不亂」，去來自如之