我們已無法追索，張岱是否早計畫好要避開方國安與魯王的朝廷，他本人也沒有留下任何具體記述，得見他至紹興西南百里隱居的三年，到底是何景況。此地山陵崎嶇難行，多是孤村，蓊鬱山林，間或幾座寺廟錯落。張岱在一首詩里提過，順治三年，他隱居山寺幾個月，僅帶一子、一仆為伴，隱姓埋名，又把心力放在撰寫明史上頭。經過月余，因身份曝光，被迫避他寺再度藏身，與和尚們同住了一段時間。 張岱提到他飢腸轆轆，無米可炊，甚至沒有柴薪舉火，這時他才恍然大悟，中國自古以來流傳忠心耿耿的隱士，寧可餓死山中，也不願侍奉二主的故事，與事實差距甚遠。張岱如今體悟到，這些品德崇隆之士，真的是活活餓死的。
張岱不願做滿人打扮，薙頭蓄髮，自知模樣十分嚇人：「披髮入山，駴駴為野人」，張岱形容自己看起來就「如毒藥猛獸」。他時常興起自殺的想法，不過撰寫明史大業未竟，又使他打消了卻殘生的念頭。
順治三年，年屆四十九歲的張岱，顛沛流離，昔日生活的點點滴滴縈繞腦海，回憶如電襲來。張岱提到，夜氣方回，雞鳴枕上，拂曉時分，往事總入夢。值此之時，張岱告訴我們，「繁華靡麗，過眼皆空」。記下昔日回憶本是無心插柳，沒想到得以為困頓生活暫時解憂：「飢餓之餘，好弄筆墨。」對張岱而言，夜間燈火星耀，琴聲悠揚，腐臭難聞的牲祭，娼妓若有所思的靜默，浪擲千金於古玩，母親喃喃的祝禱，年輕伶人的粉墨登場，舟船、轎輿之旅，與知交好友的談詩論藝，連同無數的片刻，全都值得說、值得記。不過，張岱在《夢憶》 一書的序文中強調，這些篇章不落俗套，自成一格：「不次歲月，異年譜也；不分門類，別志林也。偶拈一則，如游舊徑，如見故人。」這年歲暮，張岱發覺他就這樣寫了一百二十餘篇的陳年舊事。回憶如夢片斷，雖然張岱有意不寫長，文章篇幅從一段至多兩頁不等，但編成小書也綽綽有餘了。
《夢憶》序文意象豐富，張岱一方面強調經歷、感觸的捕捉是隨性的，但他也想使人明白，他很清楚自己追尋過去是為了什麼：「遙思往事，憶即書之，持向佛前，一一懺悔。」張岱心中，這毋寧變成一道贖罪的功課，誠如他在序文所表露的：如今他所捱受的種種劫難，正是往日驕奢淫逸的報應。張岱提到自己：「以笠報顱，以蕢報踵，仇簪履也；以衲報裘，以薴報絺，仇輕暖也；以藿報肉，以糲報粻，仇甘旨也；以薦報床，以石報枕，仇溫柔也；以繩報樞，以瓮報牖，仇爽塏也；以煙報目，以糞報鼻，仇香艷也；以途報足，以囊報肩，仇輿從也。種種罪案，從種種果報中見之。」
不論張岱內心是否覺得，他該為昔日揮金如土的生活承受報應，他的感懷終究是超脫了時代或個人動機，不減損其感染力。某種程度上，也許張岱真是每成一段便坦白佛前，以能「一一懺悔」。然而，這些他自身與其他人生活的種種過往片刻，他又是用情至深，下筆不輟，誠如張岱在序的最後所言，「堅固如佛家舍利，劫火猛烈，猶燒之不失也」。
尤其在顛沛流離的頭一年，張岱常以中國最受稱頌的隱逸詩人陶淵明 為慰藉。早在好多年前，張岱便以陶淵明的姓取別號或書齋名，且因母親娘家亦姓陶，讓他共鳴更深。張岱想效法陶淵明並非只是毫無理由的迷戀：陶淵明的詩一千二百年來深植人心，生動傳達飽學之士一心拋卻壯志、功名的性情與層層肌理，或為返歸故里，躬耕寸土之地，或專心為文，或如他寄情杜康，沉吟人生之夢幻無常。人皆知陶淵明好酒，為了有酒喝可以說是排除萬難，有時甚至拿妻子買米的錢或不顧顏面向友人乞討。順治七年，張岱的友人陳洪綬為表彰陶淵明嗜酒如命，還從其詩中摘錄飲酒軼事，繪成一系列情理兼具的畫作。而不好杯中物的張岱，在順治三年，留下與陶淵明作品唱和的詩作：包括陶淵明的《詠貧士》七首，關於弒主篡位的政治詩，《自祭文》，以及窮之有道的名詩《有會而作》。陶淵明於此詩中說：
弱年逢家乏，老至更長飢，
菽麥實所羨，孰敢慕甘肥。
陶淵明在詩作序文里，對躬耕自食艱辛的梗概描述頗令人動容：「舊谷既沒，新谷未登，頗為老農，而值年災，日月尚悠，為患未已。登歲之功，既不可希，朝夕所資，煙火裁通；旬日已來，始念飢乏。歲雲夕矣，慨然詠懷。今我不述，後生何聞哉！」
陶淵明《詠貧士》七首的開篇之作最為膾炙人口。該詩旨在傳達回歸田園生活的寂寥，以及陶淵明本人的彷徨無依，「遲遲出林翮，未夕復來歸」兩句尤其佳。歷代文人雅士的品評，無不認為陶淵明這首詩不僅喻指自己，也暗喻所處朝代的崩潰。張岱亦以組詩七首唱和陶淵明，順治三年秋天，他在風雨凄然之時提筆，特別提及要跟「諸弟子」分享，張岱當時基於安全理由將之送往城東山中。
陶淵明《詠貧士》第一首如下：
萬族各有托，孤雲獨無依；
曖曖空中滅，何時見餘暉。
朝霞開宿霧，眾鳥相與飛，
遲遲出林翮，未夕復來歸。
量力守故轍，豈不寒與飢？
知音苟不存，已矣何所悲。
張岱的唱和雖仿效陶淵明，不過換了一個重要隱喻：陶淵明的不祥之雲成了螢火蟲，在霏霏淫雨中光芒終於熄滅。張岱寫道：
秋成皆有望，秋螢獨無依。
空中自明滅，草際留微暉。
霏霏山雨濕，翼垂不能飛。
山隈故盤礴，倚徙復何歸。
清飈當晚至，豈不寒與飢？
悄然思故苑，禾黍忽生悲。
無論張岱是否誇大境況的凄涼——逃離紹興後，他說，所有家當僅存「破床碎幾，折鼎病琴，與殘書數帙，缺硯一方而已」 ——他始終感受到昔日世界的牽繫。張岱並未吐露1640年代後期的生活細節，不過到了順治六年（1649），他已決心重返紹興。
此番還鄉，人事全非。是因方國安的手下也好，遭當地強梁打劫也罷，或新朝清朝官員要他為兩度支持魯王付出代價，總之張岱已是無家可歸。順治六年十月，張岱在紹興龍山後麓賃租一塊地，這裡曾是他卜居、讀書、賞燈、觀雪的地方，他常與祖父張汝霖偕游的「快園」同樣在此。兒少時代的快園宛如人間天堂，其名取自在此讀書為一大快事：其間果樹茂密，池塘廣闊，花木扶疏、圍牆拱立，景緻之開展，彷彿人信步在捲軸上。在明朝滅亡前的繁盛年代，擁有一座園子還能取得豐厚的投資報酬。張岱寫道，快園裡池廣十畝，養魚魚肥，鮮橘可易絲綢，甘藍、甜瓜、桃、李一天可賣一百五十錢——真可謂「閉門成市」。不過，等張岱賃居於此，快園早已一片荒蕪。當年快意的讀書人杳然不復見，家族四散飄零。張岱說他得親自修葺這敗屋殘垣，然而造景的木石格局有何深意就無法索驥了。張岱以戲謔之說告訴老友，快園之名，證實了中國人「名不副實」的成語。這就好比「孔子何闕，乃居闕里；兄極臭，而住香橋；弟極苦，而住快園」。
張岱後來又寫了一首詩，套玩數字鋪陳出家人好不容易團圓，但他已不配稱為一家之主的感受：
我年未至耆，落魄亦不久。
奄忽數年間，居然成老叟。
自經喪亂余，家亡徒赤手。
恨我兒女多，中季又喪偶。
十女嫁其三，六兒兩有婦，
四孫又一笄，計口十八九。
三餐尚二粥，日食米一斗。
昔有負郭田，今不存半畝。
敗屋兩三楹，階前一株柳。
讀者自當知曉，「一株柳」本是形容詩人陶淵明一生多舛，然而問題是人多不見得就勢眾，張岱就言：
吾譬吾一家，行船遇覆溺。
順著這個比喻，他又說：
二十三口人，各各宜努力。
手足自踤阹，方能不汆入。
如何望我攢，乃共拉我褶。
沉淪結一團，一人不得出。
張岱大可像別人那樣怨天尤人，不過他從不成天自艾自憐。漸漸熬了幾年，總算又得見老友，有時也有一些意外之喜——譬如總是對張岱情深義重的陳夫人，她是山民弟之妻，性情溫厚懇切，是張岱時常探望之人。陳夫人雖年過半百，不過只要張岱登門拜訪，必親手款待佳肴，以長輩之禮事之。 那些追隨魯王的，則殉國，天人永隔；連畫家陳洪綬也於順治九年（1652）病逝，再也無法把酒言歡。倒是祁止祥，這位多年的至交老友，也是祁彪佳的兄長，他在祁彪佳自盡後於台州為魯王效力，留著性命要說出真相，他懷裡揣著心愛的寵物迦陵鳥「阿寶」，躲避擄掠的亂民和土賊，步行兩周才返回紹興。
快園惟有談天說地，依然如昔。 張岱提及人生一大樂事，便是在暮夏午後與三五少年——他並未明說究竟是自家子弟或鄰人——坐在快園裡，訴說前塵往事。尤其是溽暑之日，躲在石橋下傍水乘