離婚後的張廷重在一九三四年再娶曾做過袁世凱內閣外交總長和國務總理的孫寶琦的女兒孫用蕃。孫用蕃是姨太太所生，為了在眾多兄弟姐妹中爭寵，養成了精明幹練而強出頭的個性，她嫁給張廷重時，已三十六歲，其父孫寶琦也已過世四年了。據張子靜說：「後來我們才知道，這位老小姐早已有阿芙蓉癖，因此蹉跎青春，難以和權貴子弟結親，只是婚前我父親並不知道她有『同榻之好』。」
對於父親的再婚，張愛玲的感受相當激烈，她在《私語》一文中說：我父親要結婚了。我姑姑初次告訴我這消息，是在夏夜的小陽台上。我哭了，因為看過太多的關於後母的小說，萬萬沒想到會應在我身上。我只有一個迫切的感覺：無論如何不能讓這件事發生。如果那女人就在眼前，伏在鐵欄杆上，我必定把她從陽台上推下去，一了百了。這時寄宿在聖瑪麗亞女校的張愛玲，很少回父親和繼母的家。偶爾回去，看到和自己處境完全一樣，但卻無處可逃的弟弟，受到虐待，她會同情地哭了起來。遭到繼母嘲笑而無處訴說時，她在鏡子中面對自己哭泣的臉，咬著牙發誓「有一天我要復仇」。雖是如此，她仍舊無法逃出繼母的陰影，她在《童言無忌》中說：「有一個時期在繼母治下生活著，揀她穿剩的衣服穿，永遠不能忘記一件黯紅的薄棉袍，碎牛肉的顏色，穿不完地穿著，就像渾身都生了凍瘡；冬天已經過去了，還留著凍瘡的疤——是那樣的憎惡與羞恥。」
因此當時張愛玲在老師汪宏聲的眼裡，是「瘦骨嶙峋」，「不燙髮」，「衣飾也並不入時」，坐在最後一排最末一個座位上，「表情頗為板滯」。老師當著全班朗讀表揚她的作文，她也仍無表情。平常「十分沉默」，「不說話，懶惰，不交朋友，不活動，精神長期的萎靡不振」。她是出名的欠交課卷的學生，教師問起時，她的口頭禪是「我忘了」。上課不聽講，總不停地在紙上畫著，彷彿在記筆記，其實在畫速寫。但考試成績總是A或甲，文才頗高，這在教師眼中，也是很有名的。
然後就在張愛玲高中畢業時，「八一三」日軍攻擊上海閘北，為時三個月的上海抗戰開始了。張愛玲以家靠近蘇州河，激烈的槍聲睡不著覺為口實，跑到臨時回國的母親的公寓住了兩星期。而繼母則以她不知情，張愛玲眼中根本沒有她為由，打了張愛玲一巴掌。當張愛玲本能地還手時，不料卻引來父親的一陣毒打，並被軟禁起來。我父親揚言說要用手槍打死我。我暫時被監禁在空房裡。我生在裡面的這座房屋忽然變成生疏的了，像月光底下的，黑影中現出青白的粉牆，片面的，癲狂的。
Beverley Nichols有一句詩關於狂人的半明半昧：「在你的心中睡著月亮光」。我讀到它就想到我們家樓板上的藍色的月光，那靜靜的殺機。
數星期內我已經老了許多年……頭上是赫赫的藍天，那時候的天是有聲音的，因為滿天的飛機。我希望有個炸彈掉在我們家，就同他們死在一起我也願意。她在被監禁中度過原本該是青春燦爛的十七歲生日，「我生了沉重的痢疾，差一點死了。我父親不替我請醫生，也沒有葯。病了半年，躺在床上……」直到陰曆年的一個隆冬的晚上，終於可以下床走路的她，趁著看守交接的空當，從大門逃了出去。當時的心情是雀躍的，她說：當真立在人行道上了！沒有風，只是陰曆年左近的寂寂的冷，街燈下只看見一片寒灰，但是多麼可親的世界呵！逃到母親家的張愛玲，在面對日常生活的瑣事，她可說是有如白痴，於是母親教她煮飯、洗滌，從走路姿勢、微笑的方法，到看人的眼色，她都得從頭來過，這對她而言豈只是艱難，更令她逐漸失去了精神的平衡。而母親此時的經濟能力有限，在無力承擔她和弟弟的教育費之下，母親讓隨後逃出的弟弟再返回父親家。同時母親要她選擇，要麼早早嫁人，用學費來裝扮自己；若要繼續讀書，那就沒有餘錢兼顧打扮，花樣年華的張愛玲選擇了後者。對從小就常常「缺席」的母親，張愛玲「一直是用一種羅曼蒂克的愛來愛著」的，但是和母親一起生活後：在她的窘境中三天兩天伸手問她拿錢，為她的脾氣磨難著，為自己的忘恩負義磨難著，那些瑣屑的難堪，一點點地毀了我的愛。同時看得出我母親是為我犧牲了許多，而且一直在懷疑著我是否值得這些犧牲。我也懷疑著。常常我一個人在公寓的屋頂陽台上轉來轉去……我覺得我是赤裸裸地站在天底下了，被裁判著像一切的惶惑的未成年的人，困於過度的自誇與自鄙。
這時候，母親的家不復是柔和的了。她再度感到無家可歸。
不久她離開上海到香港大學求學，而母親也偕同美國男友去了新加坡，在那裡搜集來自馬來西亞的鱷魚皮，加工製造手袋、腰帶等皮件出口。一九四一年底，新加坡淪陷，其男友死於炮火，張愛玲的母親逃難到印度，曾做過尼赫魯兩個姐姐的秘書。而在香港淪陷後不久，張愛玲回到上海，她和母親失去聯繫，她與姑姑同住。
此時姑姑剛在年初被英商怡和洋行裁員，到電台工作了一段時間後，在上海大光明戲院做翻譯工作。她無力負擔張愛玲再轉入上海聖約翰大學讀完最後半年的學費。於是張愛玲因學費問題而回到逃離四年多的父親的家和父親商談。但這一次父女相見，卻成為他們最後真正的訣別。張子靜說：「那是姐姐最後一次走進家門，也是最後一次離開。此後她和我父親就再也沒見過面。」
後來母親曾在難挨的困境中回到上海，那是張愛玲已經成名後，但又被上海小報攻訐為「文化漢奸」的一九四六年，當時張愛玲不僅喪失了發表文章的機會，更遭受丈夫胡蘭成因漢奸逃難又外遇的精神創傷。在如此雙重的打擊下，張愛玲對母親的艱難處境，想必有著感同身受的諒解。
據張子靜的回憶說：「我母親回國那天，我表哥陪我姑姑及我姐姐去碼頭接船。表哥看到我母親走下船，戴著墨鏡，很瘦，形容憔悴。我姑姑在一旁說：『哎唷，好慘！瘦得唷！』我姐姐在一旁不作聲，只是眼眶紅了。」
但一九四八年，母親再次離開中國，臨走時帶走了張愛玲的一張照片，從此直到一九五七年她孤獨地在英國病逝，她沒有再回到中國，當然也沒有任何機會再和張愛玲見面。而一九五二年張愛玲向香港大學申請復學獲准，七月持港大證明從廣州坐火車經深圳赴香港，以繼續完成學業為由離開大陸。次年張愛玲的父親在上海因肺病去世，享年五十七歲。
一九五五年十一月張愛玲搭「克利夫蘭總統號」郵輪離港赴美，從此到一九九五年中秋節前在美國洛杉磯去世，四十餘年間，她再沒有見過那「像朵雲軒信箋上落了一滴淚珠」的上海月亮。張愛玲不幸的童年，卻成了她創作上的大幸。因為童年的「缺失性」經驗所引起異常認知和想像力的活躍，都轉化成為她創作力的泉源。童年的經驗對她而言是刻骨銘心的，雖然因為成長和生活的變化已經「自組織」和「再創造」過，在記憶和回憶之間更有著遺忘的篩選。但在相關的情感、心境為中介之下，在偶然機遇的觸發下，它就直接地進入作家的筆下。這正如作家巴金在談到他寫《家》時的情形，他說：「我一個字一個字地寫下去，我好像在挖開我的記憶的墳墓，我又看見了過去使我心靈激動的一切。在我還是一個孩子的時候，我就常常目睹一些可愛的年輕的生命遭摧殘，以致於到悲慘的結局。那個時候，我的心由於愛憐而痛苦，而同時又充滿憎恨和詛咒。」
巴金只是目睹，對張愛玲而言卻是切膚之痛，因此當她發而為文時，那就不僅是詛咒而已，簡直是鞭笞。鞭笞這個被封建主義的腐朽和現代文明兩相衝擊而顛覆了的家族。
在這沒落的貴族中，論者梁鴻指出，「祖」雖有時仍能顯示其權威，但實質上已經「缺席」。張愛玲晚年在《對照記》中，雖然花很多篇幅去回憶她的祖父母，但她卻說：我沒趕上看見他們，所以跟他們的關係僅只是屬於彼此，一種沉默的無條件的支持，看似無用，無效，卻是我最需要的。他們只靜靜地躺在我的血液里，等我死的時候再死一次。祖父、祖母甚至李鴻章帶給張愛玲的，只是貴族的血液而已，雖然這種身分是她需要的，但跟隨而來的卻是更多「最後貴族」的腐爛窒息的氣味。在張愛玲的《花凋》、《茉莉香片》中祖父祖母處於缺席位置；在《金鎖記》、《傾城之戀》中的老太太，雖仍掌握著代表權力的鑰匙，但父輩和孫輩在她們面前貌似尊重，背後卻各行其是。何以如此，只因這沒落的舊式大家庭都是逃往租界避難的，它意味著某種斷裂和接受。斷裂的是他們將失去了祠堂、宗廟，他們沒有了祖先的象徵，也就失去了使他們氣定神閑、驕傲自大的依靠；而接受的是中西文化交融最快、最繁榮，各種新生事物最多的十里洋場，他們被完全地隱在歷史的背後，遭受著被遺棄的痛苦。學者宋家宏認為《茉莉香片》是張愛玲小說中「自敘傳」色彩最為濃厚的一篇。儘管有論者指出其主人公聶傳慶是張愛玲柔弱的弟弟張子靜，但就如張愛玲一貫的拼貼做法，其間更有著她自身的投影