張岱歸返龍山，寓居快園著書立說，然而親情並未更雍睦：
大兒走四方，僅可糊其口。
次兒名讀書，清饞只好酒。
三兒惟嬉遊，性命在朋友。
四兒好志氣，大言不怩忸。
二穉更善啼，牽衣索菱藕。
老人筋力衰，知有來年否。
張岱又在陶淵明的詩文尋得共鳴。陶淵明那首《責子》詩是詩中逸品，「總不好紙筆」，陶淵明如是悲嘆五個兒子不能痛改前非。陶淵明自道諸子懶惰至極，不成器，他只好多進杯中物了。
張岱的長子、次子雖遊盪閑散，總不失為讀書人。順治十一年（1654），他們還打算到杭州參加鄉試。張岱記述，曾為激戰之處的江西，當地許多學子仍拒赴科考，以表達對清朝的敵視；然而，張岱顯然不認為這樣的抗拒有何意義，所以讓兒子自己決定。兒子終究沒考上，不過他們追求功名的企圖把父親帶回魂牽夢繫的杭州。張岱自崇禎十六年（1643）明亡之前一年，就不曾親睹杭州西湖了。
這次遊歷卻令人心碎。張岱二十幾歲時誇言西湖教人樂而忘憂，教人思慮澄明，如戳身上瘡或拔肉中刺。如今張岱五十八歲了，發覺西湖令人不堪回首。在晚年輯成的《西湖夢尋》序文中，張岱回想重訪夙昔勝景時的震驚，百感交集。「餘生不辰，闊別西湖二十八載，然西湖無日不入吾夢中，而夢中之西湖，實未嘗一日別余也。前甲午丁酉，兩至西湖，如涌金門商氏之樓外樓，祁氏之偶居，錢氏、余氏之別墅，及余家之寄園，一帶湖庄，僅存瓦礫。則是余夢中所有者，反為西湖所無。及至斷橋一望，凡昔日之弱柳夭桃，歌樓舞榭，如洪水淹沒，百不存一矣。」
「余乃急急走避，謂余為西湖而來，今所見若此，反不如保我夢中之西湖尚得安全無恙也。因想余夢與李供奉（李白）異，供奉之夢天姥也，如神女名姝，夢所未見，其夢也幻。余之夢西湖也，如家園眷屬，夢所故有，其夢也真。」
「今余僦居他氏已二十三載，夢中猶在故居。舊役小傒，今已白頭，夢中仍是總角。」
如是之夢乃張岱的啞謎：「夙昔未除，故態難脫，而今而後，余但向蝶庵岑寂，蘧榻於徐，惟吾舊夢是保，一派西湖景色，猶端然未動也。兒曹詰問，偶為言之，總是夢中說夢，非魘即囈也。」
夢中之物或許確鑿，但在說夢時總會有某些東西佚失。張岱說他猶如山中人自海上返鄉（他講到表演時也曾用相同意象），欲與人分享所見之奇觀、所嘗之珍饈，誠雲「鄉人競來共舐其眼」，然美味不復存在，「則舐眼亦何救其饞哉」？
縱然兒子的表現讓張岱失望，他曾樂於冶遊的杭州山水也面目全非，他還是在順治十四年（1657）回到杭州。這回張岱是應甫就任的浙江提督學政谷應泰之邀。谷應泰在清入關後取得進士，官運亨通。順治十三年夏，谷應泰帶著共計八十卷、幾乎完稿的《明史紀事本末》前往杭州。谷應泰於西湖畔建有著書處，讓自己得以完成編史計畫，他知道張岱專精明史，力邀他共同纂修。張岱在這一整年都與谷應泰共事修史，而接受這份工作想必解決他捉襟見肘的窘境。谷應泰傾慕張岱的學識，他在自撰的《明史紀事本末》里，有相關章節大量引自《石匱書》。
修史不僅給張岱帶來額外收入，也讓他有渠道接觸谷應泰搜羅的崇禎朝《邸報》——崇禎朝國史的草稿。張岱一眼即知《邸報》彌足珍貴，其中每周記載明亡前崇禎朝的政務。張岱在族祖張汝方的傳記曾提到，汝方在報房工作達二十年之久。張岱在完成《石匱書》前，即利用這無價的《邸報》史料，強化《石匱書》細節的鋪陳，並著手撰寫後集，以涵蓋1628年到1640年代末這段大明王朝的尾聲。順治十五年初，谷應泰的計畫告成，《石匱書後集》的修撰持續進行，並完成了數卷，張岱時年六十一，回到快園和紹興家中。余後六年，張岱按部就班，進行這項宏偉計畫，康熙三年（1664）可視為《石匱書》竣工之時，張岱仍繼續潛心撰寫《石匱書後集》。
根據張岱自陳，他從1628年著手編纂明史，此時崇禎皇帝甫登基，是以早在明亡之前，張岱對於歷史已有定論——由於撰述之時明朝仍在，對於何者能說，何者不能說，時而秉筆直書，時而有所隱諱。不過，縱因焦點轉移而衍生種種問題，《石匱書》還是為1368年至1627年間治理中國的十五位皇帝，勾勒引人入勝的全貌：他們對權力與篡位的態度，邊疆與對外政策，令人折服的戰術與迂腐不化的戰略，稅賦與軍費的難題，傑出的藝術天分與宏偉的宮殿營造計畫。
吾人可從字裡行間窺知，張岱撰述明代各朝時態度謹慎：一個明顯的例子是1402年永樂篡位；朱元璋傳帝位於建文帝，而永樂帝是建文帝之叔。張岱字斟句酌，從中可見朝廷對莽撞論斷的報復令史家噤若寒蟬。所以，論及永樂「尚有武未盡善之疑」，「於後世夫拘孿之行豈所以論上聖之主哉」。至於遭篡位的建文帝，張岱把他置於中國曆來同遭篡奪天命之人的脈絡：「殉國千古罕儷，拊心腐筆而已。嗚呼！此非臣之所得言也。」 唯有在連番痛陳1572年至1627年三朝兩位君王之顢頇時（萬曆至天啟年間），才能從《石匱書》看出明朝淪亡後，確實影響了張岱對所處朝代弱點（偶爾也有優點）的遣詞用字。
張岱心中有數，各類歷史自有其難題；張岱寫道，「國史失誣」，「家史失諛」，而第三類歷史——即所謂「野史」——往往「失臆」。 然而，是否還能找到架構歷史的原則，將張家人納進國史洪流之中，而又不失其特立獨行與內在本性？張岱踵繼司馬遷的典範，采尖銳精要的評論，避免阿諛奉承的問題；同時，在順治八年（1651），即成書的非正式家傳中，當時流露的過度情感，也要收斂起來。
身為史家，張岱當然必須決定要給自家人多少篇幅，然而張家確實不乏非凡之士，所以無怪乎《石匱書》的列傳部分，還是有內舉不避親的味道。譬如，張岱就認為曾祖張文恭（張元忭）在明代道學有其重要地位。在這篇不算短的傳記中，張岱關注的，主要是張文恭在晚明變化多端的政論中所抱持的哲學旨趣，然而卻先行彰顯的張文恭的清高人品：「古貌魁然，嶽嶽負意氣」，熱衷探索道德議題，年輕時就服膺明代大儒王陽明的良知之學。張岱在傳記里沒有記下太多細節，僅提到高祖張天復在西南戰事得罪當道而捲入訟獄，此時張文恭展現無比勇氣，為其父申冤。
張岱不厭其煩地記下張文恭的為人處世：「庚午游太學，明年舉南宮射策，賜第一甲第一人，授翰林修撰。自以遭逢聖明釋蹻取上第，廩稟期有以自樹。」張文恭的方法很簡單，張岱繼續說道：「日橐筆守官下，搜羅金匱憲典而研究之。詞林故清，署第雍容，以文墨自高。稍涉事，輒引代庖為解，乃獨聚徒講求世務。人才相與籍記之，戶外屨嘗滿；每抵掌，論天下事不為首鼠兩端。」
張岱下筆謹慎，用字精妙，勾勒張文恭秉承儒學偉大傳統的形象：張文恭重實踐，輕空談，然而父親在雲南遭到妒才的貪官構陷，無法為父昭雪，擊垮了張文恭。平反失敗挫傷了他的自尊，自覺愧為人子，最後抑鬱而終。張岱記述張文恭臨終弟子隨侍在側的情景，張文恭突然數度口呼「陛下」，然後喃喃說道「朝廷亦多有人」。張岱在最後不經意犯了錯誤——如果這算是錯誤的話——兩度稱已故的文恭為「先子」，而不像其他史家以名諱來稱自己的族人。張岱在文恭的傳記末尾處下了一個總結：「陽明之學，失則禪乘，先子其一砥之矣。」
張岱把高祖張天復事迹置於文恭傳記的開頭，並在結尾處又為祖父張汝霖留下篇幅。而為曾祖張文恭同門好友鄧以贊立傳時，行文一兩頁後，又讓張汝霖現身，這回他所佔的篇幅更長；此乃書寫技巧的佳例，修史者鋪陳內容時，間或論及自家人。在《石匱書》的鄧以贊傳中，張岱就穿插了一段軼事。張文恭辭世後，鄧以贊時而造訪紹興，有一回還質疑張汝霖的學問。鄧以贊責難張汝霖不肖，蹉跎時光，沒想到張汝霖以論語之說為題，洋洋洒洒寫就一篇斐然文章，回敬鄧以贊的批評，教鄧以贊擊節稱快，說這年輕人豈止科場功名而已，必然能光耀張家門楣。張岱在說完此事之後，隨即在結尾處又提到張汝霖應考鄉試，列名第六。翌年，張汝霖前往京師，會試及第。
《石匱書》還旁及張家其他族人和交遊。在篇幅較短的《妙藝列傳》，張岱收錄了仲叔張聯芳的小傳，盛讚他作為收藏家、畫家的博大與才華。張岱是這麼說的：「少精畫理，以舅氏朱石門多藏古畫，朝夕觀摩，弱冠時即馳名畫苑。」張岱尤其稱頌張聯芳的長幀大幅，技藝超絕，「氣韻生動」，認為他的造詣甚至超越元朝的山水畫大師。張岱引述晚明知名畫家董其昌讚美張聯芳之詞：「胸中讀萬卷書，腳下行萬里路，襟懷超曠自然。」張岱在結尾處順便介紹了陳洪綬，稱他身為張聯芳的女婿，畫風與技巧頗得其真髓。