一九三八年九月，法國郵船阿多士Ⅱ號正駛向中國。楊絳和錢鍾書告別了法國的友人，與女兒錢瑗一起，乘坐在這艘輪船上。
他們出國乘英國郵船二等艙，伙食非常好。回國乘三等艙，伙食差得多了。圓圓剛斷奶兩個月，船上二十多天，幾乎頓頓吃土豆泥。上船時圓圓算得上一個肥碩的娃娃，下船時卻成了個瘦弱的孩子。對此，楊絳深恨自己當時疏忽，沒為她置備些奶製品，輔佐營養。自己好不容易喂得她胖胖壯壯，到上海她卻不胖不壯了。
在歸國的輪船上，楊絳夫婦遇到了外交官、詩人冒效魯（1909～1988年），互相唱和。冒效魯吟詩如下：
憑欄錢子睨我笑，
有句不吐意則那。
顧妻抱女渠自樂，
絲絲亂髮攢鴉窩。
夜深風露不相容，
綠燈曼舞揚清歌。
喧呶聚博驚座客，
傾囊買醉顏微酡。
描繪錢鍾書的神態和船上的情景，可謂呼之欲出。楊絳懷裡抱著嬰兒，錢鍾書滿頭亂髮，像烏鴉做的窩……
錢鍾書已有約定，要回清華教書。在船上楊絳已把他的書本筆記和衣物單獨分開。
阿多士Ⅱ號郵船抵達香港，錢鍾書就隻身上岸，然後乘海船到安南（今越南）海防，由滇越鐵路經河口，輾轉趕赴設在昆明的西南聯合大學。
對於錢鍾書的隻身遠去，楊絳很不放心。圓圓眼看著爸爸坐上小渡船離開大船，漸去漸遠，就此不回來了，她直發獃。她還不會說話，楊絳也無法和她解釋。
抗日戰爭爆發後，北大、清華、南開三所大學南遷昆明，聯合組成「西南聯合大學」。母校清華聘請錢鍾書任教授，文學院的院長馮友蘭從中起了很大作用。馮友蘭在給清華大學校長、西南聯大常委梅貽琦的上書中指出，應該給錢鍾書教授頭銜，月薪三百元，其待遇不低於王竹溪、華羅庚。按清華舊例，剛剛回到國內的留學生只能當講師。而錢鍾書連升二級，直接任教授，這在當時也是比較少見的。
在回國的路程中，楊絳則帶著女兒繼續北上，要到上海省視父親。船到上海，她由錢鍾書的弟弟和另一親戚接到錢家。他們到辣斐德路（今復興中路）錢家，已是黃昏時分。楊絳見到了公公（她稱爹爹）、婆婆（她稱唔娘）、叔父、嬸母以及妯娌、小叔子、小姑子等。
楊絳在錢家過了一夜就帶著圓圓到她爸爸處去，見了爸爸和姐妹等。她的女兒圓圓大約感覺到都是極親的人，就沒有「吼」，也沒喊「non non」。當時，錢家和她爸爸家都逃難避居「孤島」，居處都很逼仄。她和圓圓有時擠居錢家，有時擠居在自己的爸爸家。據楊絳回憶：「一九三八年十月，我回國到上海，父親的長須已經剃去，大姐姐小妹妹也已經回覆舊時的裝束。我回國後父親開始戒掉安眠藥，神色漸漸清朗，不久便在震旦女子文理學院教一門《詩經》，聊當消遣。」
這時上海已淪陷為「孤島」——這是一九三七年十一月十二日，「八一三」抗戰結束，國民黨軍隊撤離上海，日本侵略者進駐上海造成的。上海淪陷後，日寇在其所佔領的南市、閘北、虹口、楊浦、浦東等地到處設立關卡，沿蘇州河各橋口更是崗哨林立，戒備森嚴，許多地段被日軍闢為軍事警戒區。當時，上海公共租界其餘部分和法租界，因英、美、法等國是中立國而未被日軍佔領，但是處於日軍的四面包圍之中，故有「孤島」之稱。
楊絳的娘家、婆家都在法租界內，錢家在辣斐德路，楊家在今錦江飯店附近。楊絳兩頭居住，即便在錢家住的時候，她也幾乎每天都要到父親那裡去轉一下，好在兩家相距不遠。她的三姐姐和七妹妹也經常回娘家，對此，父親高興地說：「現在反倒擠在一處了！」
「孤島」生活是苦寂的，但是楊絳感到：「我們不論有多少勞瘁辛苦，一回家都會從說笑中消散。」
楊絳對自己的父親也有了更深的了解，她的女兒圓圓亦很受外祖父的萬般寵愛，請看以下的追憶：
父親在上海的朋友漸漸減少。他一次到公園散步回家說，傳楊某（父親自指）眼睛瞎掉了。我吃驚問怎會有這種謠言。原來父親碰到一個新做了漢奸的熟人，沒招呼他，那人生氣，罵我父親眼裡無人。有一次我問父親，某人為什麼好久不來。父親說他「沒臉來了」，因為他也「下海」了。可是抗戰的那幾年，我父親心情還是很愉快的，因為愈是在艱苦中，愈見到自己孩子對他的心意。他身邊還有許多疼愛的孫兒女——父親不許稱「外孫」或「外孫女」，他說，沒什麼「內孫」「外孫」。他也不愛「外公」之稱。我的女兒是父親偏寵的孫女之一，父親教她稱自己為「公」而不許稱「外公」。缺憾是母親不在，而這又是唯一的安慰，母親可以不用再操心或勞累。有時碰到些事，父親不在意，母親料想不會高興，父親就說，幸虧母親不在了。
一九三九年秋，楊絳的弟弟從國外回國。這時，楊家已在蘇州靈岩山「綉谷公墓」購得一塊墓地，她父親帶著楊絳姐妹和弟弟一起回蘇州，安葬母親。
楊絳乘此機會回到了闊別多年的蘇州故居，眼中一片狼藉，劫後的慘景，不堪回首。楊絳說：
我二姑母買的住宅貼近我家後園，有小門可通。我到蘇州，因火車誤點，天已經很晚。我們免得二姑母為我們備晚飯，路過一家菜館，想進去吃點東西，可是已過營業時間。店家卻認識我們，說我家以前請客辦酒席都是他們店裡承應的，殷勤招待我們上樓。我們雖然是老主顧，卻從未親身上過那家館子。我們胡亂各吃一碗麵條，不勝今昔之感。
我們在二姑母家過了一宵，天微亮，就由她家小門到我家後園。後園已經完全改了樣。鍾書那時在昆明。他在昆明曾寄我《昆明舍館》七絕四首。第三首「苦愛君家好巷坊，無多歲月已滄桑，綠槐恰在朱欄外，想發濃陰覆舊房」。他當時還沒見到我們劫後的家。
我家房子剛修建完畢，母親應我的要求，在大杏樹下豎起一個很高的鞦韆架，懸著兩個鞦韆。旁邊還有個盪木架。可是盪木用的木材太軟，下圓上平，鐵箍鐵鏈又太笨重，只可充小孩的蕩船用。我常常坐在盪木上看書，或躺在木上，仰看「天澹雲閑」。春天，閉上眼只聽見四周蜜蜂嗡嗡，睜眼能看到花草間蝴蝶亂飛。杏子熟了，接下等著吃櫻桃、枇杷、桃子、石榴等。橙子黃了，橘子正綠。鍾書吃過我母親做的橙皮果醬，我還叫他等著吃熟透的脫核杏兒，等著吃樹上現摘的桃兒。可是想不到父親添種的二十棵桃樹全都沒了。因為那片地曾選作鄰近人家共用的防空洞，平了地卻未及挖坑。鞦韆、盪木連架子已都不知去向。玉蘭、紫薇、海棠等花樹多年未經修剪，都變得不成模樣。籬邊的玫瑰、薔薇都乾死了。紫藤架也歪斜了，山石旁邊的芭蕉也不見了。記得有一年，三棵大芭蕉各開一朵「甘露花」。據說吃了「甘露」可以長壽。我們幾個孩子每天清早爬上「香梯」（有架子能獨立的梯）去摘那一葉含有「甘露」的花瓣，「獻」給母親進補——因為母親肯「應酬」我們，父親卻不屑吃那一滴甜汁。我家原有許多好品種的金魚；幸虧已及早送人了。乾涸的金魚缸里都是落葉和塵土。我父親得意的一叢方竹已經枯瘁，一部分已變成圓竹。反正綠樹已失卻綠意，朱欄也無復朱顏。「旱船」廊下的琴桌和細瓷鼓凳一無遺留，裡面的擺設也全都沒有了。我們從荒蕪的後園穿過月洞門，穿過梧桐樹大院，轉入內室。每間屋裡，滿地都是凌亂的衣物，深可沒膝。所有的抽屜都抽出原位，顛橫倒豎，半埋在什物下。我把母親房裡的抽屜一一歸納原處，地下還揀出許多零星東西：小銀匙、小寶石、小象牙梳子之類。母親整理的一小網籃古瓷器，因為放在舊網籃里，居然平平安安躲在母親床下。堆箱子的樓上，一大箱古錢居然也平平安安躲在箱子堆里，因為箱子是舊的，也沒上鎖，打開只看見一隻只半舊的木盒。凡是上鎖的箱子都由背後劃開，裡面全是空的。我們各處看了一遍，大件的傢具還在，陳設一無留存。書房裡的善本書丟了一部分，普通書多半還在。天黑之後，全宅漆黑，據說電線年久失修，供電局已切斷電源。父親看了這個劫後的家，舒了一口氣說，幸虧母親不在了，她只怕還想不開，看到這個破敗的家不免傷心呢。我們在公墓的禮堂上，看到的只是漆得烏光鋥亮的棺材。我們姐妹只能隔著棺木撫摩，各用小手絹把棺上每一點灰塵都拂拭乾凈。想不到棺材放入水泥壙，倒下一筐筐的石灰，棺材全埋在石灰里，隨後就用水泥封上。父親對我說，水泥最好，因為打破了沒有用處。別看石板結實，如逢亂世，會給人撬走。這句話，父親大概沒和別人講。勝利前夕我父親突然在蘇州中風去世，我們夫婦、我弟弟和小妹妹事後才從上海趕回蘇州，葬事都是我大妹夫經管的。父親的棺材放入母親墓旁同樣的水泥壙里，而上面蓋的卻是兩塊大石板。臨時決不能改用水泥。我沒說什麼，只深深內疚，沒有及早把父親的話告訴別人。我也一再想到父母的戲