張岱的父親張耀芳常說張岱的出世應驗了算命的靈驗：張岱把這件事以據實的筆調記下，但又予人諱莫如深之感，彷彿他自己的一生的確命懸於此：「先君言乩仙供余家壽芝樓，懸筆掛壁間，有事輒自動，扶下書之，有奇驗。娠祈子，病祈葯，賜丹詔取某處，立應。先君祈嗣，詔取丹於某簏臨川筆內，簏失鑰閉久。先君簡視之，鐄自出觚管中，有金丹一粒，先宜人吞之，即娠余。」
不過，張岱的母親對懷胎一事則另有一套說辭。她後來告訴張岱，她在懷張岱之前就開始念「白衣大士咒」，祈求觀世音菩薩保佑。生產過程不順，但張岱母親依舊繼續持咒，以至於在張岱心裡，他來到這個世界時，也進入了母親念經之中。即使母親在萬曆四十七年（1619）去世，但張岱覺得誦經之聲仍未絕：「雖遭劫火，燒之不失也。」張岱到了晚年還說：「常常於耳根清凈時，恍聞我母念經之聲。」母親的故事已經成為張岱生命的一部分，「振海潮音，如雷貫耳」。就算事隔多年，只要張岱一想到母親的聲音，母親的身影就浮現心中。
張岱與母親相處的記憶又是不同，但也點滴心頭。張岱年紀還小的時候，母親帶他到離家西北方五十餘里省城杭州的佛寺進香。張岱幼年多病，肺積水，須服用母親親戚調配的珍貴藥方，或許這正是此行的目的。這座廟建於10世紀，當地人稱之為「高麗寺」，以紀念高麗王子供奉稀世佛經。這部佛經也一直藏在八角藏輪之中：香客相信在轉動藏輪時，就跟自己在念經一樣，都會得到保佑。張岱始終都記得母親動作的順序：「出錢三百，命輿人推轉輪藏，輪轉呀呀，如鼓吹初作，後旋轉熟滑，藏轉如飛，推者莫及。」
張岱的母親本家姓陶，娘家就在紹興城東的會稽。陶家嫁女兒時，只消往西北走到山陰，張家就住在此地的龍山。紹興是個富庶的大城，所以張家跟幾戶會稽的人家成婚，對雙方都有好處。張家藉此可避免近親通婚的危險，又能在當地建立人脈、金脈。這種關係網路對每一個家族成員都很重要，因為律例禁止在籍任官，以避免貪贓枉法、徇私舞弊之情事：所以，張岱一族都不可能在浙江任官，自然也不可能在紹興做官了。
依此律例推斷，若是碰上同鄉的主考官，就算他已經離鄉數十年，也不可能被錄取。不過紹興人當然可以延請當地文人來教書，紹興人到了外省也會跟老家在紹興的官員、商賈往來或做生意，或者投宿由紹興人經營、主要給紹興人住的客棧，在此吃紹興菜、喝紹興酒，放心用紹興話交談。通常他們出門旅行也會帶著紹興女子做伴，一離家就是好幾年的時間，把元配、年邁雙親和幼子留在老家。
因為深深了解到嫁入山陰張家的女人，在歷代不同階段中都扮演了重要角色，張岱不僅鋪陳男性先祖的科考之路，更同樣用心地記錄這些女性。高祖張天復娶了劉氏，自己也在嘉靖二十二年（1543）中舉，嘉靖二十六年（1547）成進士。丈夫金榜題名，劉氏自然很高興，但她也留心丈夫仕途的起落與命運的興衰。劉氏相信，尋常之家有此成就已經夠了，「知足」最是關鍵。
嘉靖三十七年（1558），張天復新官上任，督學湖南，長子文恭（時年二十歲）又高中舉人。對劉氏而言，人生至此應該別無所求了，於是勸夫婿作歸隱之計。張天復不答應，而且又升了官，到雲南上任。結果因為行事剛正，仕途受挫，遭人設計貪污索賄，而被處以死刑。幸好有兒子文恭獻計，周旋於公堂才告脫困。隆慶五年（1571），張文恭中了狀元，讓家人非常意外。劉氏非但沒有流露欣喜之情，還不斷喃喃自語：「福過矣！福過矣！」張天復蒙羞歸隱，終日以酒澆愁，而張文恭在北京也招人所忌，被迫辭官返鄉，彷彿印證了劉氏的擔憂。根據張岱的記述，張文恭在北京中了狀元，消息傳回紹興，父親張天復大擺宴席以示慶賀，有一日下了大雨，張天復淋了雨而生病——可能是腺體感染，擴散至頸部——一病不起，享年六十二歲，可見生命無常。
張文恭高中舉人的那一年（嘉靖三十七年），娶了王氏為妻。張岱斟酌字句，說曾祖母王氏「天性儉約，不事華靡」，不過，要能合乎夫婿簡樸持家的作風，她還非得如此不可。王氏的公公張天復公務繁忙，時常奔波在外，而張文恭自持極嚴，就算幾個孩子陸續出生，他的作風還是不變。張岱說「曾祖家居嗃嗃」，張文恭給兩個兒子、媳婦，還有兩個異母弟、弟媳定下嚴格的規矩。「黎明擊鐵板三下，家人集堂肅拜，大母輩頮盥不及，則夜纏頭護䯰，勿使鬖髿。家人勞苦，見鐵板則指曰：『此鐵心肝焉。』」
平日晚上家人在一起的時候，張文恭要兩個兒子都得在場，燃香靜思，一直到深夜才准就寢。有時，張文恭的做法不免令家人心生不滿。有一回張文恭作壽，長媳與其他年輕女眷刻意打扮，穿戴珠玉。張文恭見了大怒，要她們把衣服換掉、首飾也取下，然後要她們把衣服拿到大廳階前燒掉。等到女眷換上素布衣，張文恭才准她們來拜壽。
張文恭嚴苛至此，王氏也有自己一套儉省之道，所以族裡也沒人會說王氏揮霍。她每天都編織網巾，等累積到一定數量之後，就要家僕帶到市場兜售，每頂網巾賣數十文錢。根據家族流傳的說法，城裡人每見張家家僕往市場去，便會走告「此狀元夫人所結也」，並爭相搶購。
張文恭的耿介不僅感染家人，也影響了他的仕途。晚明的政治常因內廷正宮、嬪妃與太子之間的緊張而撕裂。朝廷有閹官把持，朝臣若是稍有閃失，就有可能招來殺身之禍。在嘉靖三十幾年，當時張文恭還是個少年，就看不過忠良遭到殘殺，於是公開設立靈位於衙署，並為文抨擊。 張文恭中了狀元之後，在京城歷任數職，還入了翰林院。萬曆元年（1573），張文恭上疏，直言宮女結黨為奸，祈請皇上在內廷讀「女傳」，並選編《詩經》的《周南》與《召南》兩篇，頒行於內廷妃嬪、宮女之間。據推斷，《詩經》的這兩篇成於公元前8世紀左右，比孔子還早，討論婚姻的意義與儀式，以及男女情慾的傳達（和壓抑）。歷經學者兩千多年來的釋義訓詁，表面顯見的狎邪詩句已經與齊家治國的道德行為分不開。張文恭的上疏雖然遭到駁回，但是後來立太子時，他還是當了太子的經筳講官。根據正史記載，文恭因為自覺無能徹底洗刷先父張天復所受的不白之冤，因而憂憤而卒。
張家所結最有經濟、政治價值的一門親事是與會稽朱家聯姻。這樁婚事另有緣由，張岱刻意詳細描述。嘉靖三十五年，張文恭十八歲，在龍山準備鄉試，跟會稽朱家的朱賡共讀。兩人在七月七日這天立誓，日後成婚生子，若為異性則結成夫妻，以示兩家永結同心。指腹為婚不僅形諸文字，還縫在暑衣里，妥善保存。張岱後來記下：「所割襟，岱猶及見之，其色灰蠡，蓋重浣白布也。」 張文恭於嘉靖三十七年（1558）的鄉試中舉，不久之後就娶了王氏，很快便產下一子。朱賡也大約在此時娶親，生有一女（就是張岱後來提到的朱恭人）。兩人後來雙雙登科，展開官宦生涯，彼此保持密切聯繫。兩家小孩在隆慶萬曆之交成親，並在萬曆二年（1574）生下一子，這就是張岱的父親。
根據張岱的描述，朱賡個性古怪，相信自己是南宋文人、政治家張無垢的附身，而且還有好幾則奇聞軼事來左證他的說法。這位12世紀的文人透過降乩，與朱賡談宿世因緣，還指點他在某寺存有佛經殘卷一部，結果真的在該寺樑上發現一部佛經。從字體來看，這部殘經寫於宋代，後二卷付之闕如。朱賡把殘缺的部分補全，「如出一手」。張岱記下這則怪事，難道是要貶抑朱家這顯赫的先人嗎？可能性不大。或許這只是張岱表達生命無常的一種方式吧。
等到張文恭的孩子也當了父親，他開始扮演起祖父的角色。張岱以仲叔張聯芳（字爾葆）為例，描寫張文恭如何介入教養孫子。「仲叔生而頭仄向左，文恭公憂之，乃以大秤錘懸髻上，墜其右，坐鄉塾，命小傒持香伺左，稍偏則焠其額。行之半年，不復仄。」
張岱還提到張文恭如何糾正張岱的三叔張炳芳（號三峨）品行不端：「三叔幼時佻傝，與群兒嬉，見文恭公，一跳而去，走匿諸母房，不能即得也。文恭公惡之，乃以薄瓦磨礱，裁如履趾，綴之屨下，見文恭公一跳，其瓦底碎，即縛而笞之。」
從這類例子來看，脾氣暴躁的張文恭四處潛行時，張家的女眷便成了孩子們的庇護之所。有時，女眷還可能影響事態的發展。有個例子是關於張岱的父親和仲叔張聯芳。這件事應該是發生在萬曆六年（1578），也就是兩兄弟出生後，劉氏去世（萬曆十年）之前。當時，張岱的父親年約四五歲，張文恭假滿奉召入京復職。張岱是這麼說的：「仲叔少先子一歲，兄弟依倚。文恭公以假滿入都，仲叔方四齡，文恭公鍾愛先子，攜之北上，仲叔失侶，悲泣不食者數日。時劉太安人在堂，遣急足追返，迨先子歸，而仲叔始食。嗣是同起居食息，風雨晦明者，四十年如一日。」
張文恭的兒媳