這次全家離京，出乎預料，因而十分匆忙。忽有一天清早，決定返回南方，楊絳記得當時還在寓所的小院子里玩耍。
在去火車站的路上，楊絳遇見一個平素不怎麼熱絡的同學，她恨不能叫這位同學捎句話給班上，說自己「回南了」，小楊絳的心裡十分惆悵。
火車站月台上人頭攢動，在楊絳眼裡，為她父親送行的「有一大堆人——不是一堆，是一大片人，誰也沒有那麼多人送行，我覺得自己的父親與眾不同，很有自豪感。火車快開了，父親才上車」。這幕場景，時間雖然過去六十多年了，楊絳仍然記憶猶新。
這趟火車開了，唐須荌因為暈車，嘔吐得厲害，只好由楊蔭杭照料全家大小和許多行李。一家人到天津下車，住了一兩天客棧，然後搭乘「新銘」號輪船到上海，再換「拖船」回無錫。所謂「拖船」就是由小火輪拖帶的小船，一隻火輪船可以拖帶一大串小船。一路上勞頓不堪，母親唐須荌反覆叮嚀小孩：「上海碼頭亂得很，『老小』要聽話。」
楊絳的父母在無錫沙巷預先租下房子，避免擠到老家去住。這時全家人除前幾年二姐患副傷寒不治身亡外，還有大姐、三姐、兩個弟弟和一個妹妹，共八口人。新租的房子的廚房外面有一座木橋，過了橋就是自己家的後門。楊絳覺得新奇得很，因為可以不出家門，就能站在橋上看來往的船隻。
沙巷口有一座廟，叫大王廟。原先不知是祭祀什麼大王的，後來改為學校，就叫大王廟小學。學校只有一間大教室，雙人課桌四五直行，學校的四個班級都在這一間大教室里，男女學生大約有八十人。楊絳和兩個弟弟是在學期半中間時插班進去的，她原是初小三年級，在這裡就插入最高班。
大王廟小學的教職員只有兩人：校長和一位姓孫的老師。孫老師剃一個光葫蘆瓢似的頭，學生背後稱他「孫光頭」。他拿著一條藤教鞭，動不動就打學生，而且最愛打腦袋。個個學生幾乎都挨過他的打，不過他從來不打楊家的小孩子，可能覺得他們是「特殊」的學生吧，其實楊絳和她的弟弟不但是「做官」人家的子女，而且也十分乖巧。可是，其他同學卻非常恨孫老師：在裡面有個馬桶的「女生間」的牆上，不知是誰畫了一幅「孫光頭」的像，大家都對著那幅畫像拜拜，楊絳起初以為是討好孫老師，可她們說，為的是要「鈍」死他，「鈍」在無錫方言中就是叫一個人倒霉的意思。
楊絳對大王廟小學的學生生涯曾有回憶，她說：「在大王廟讀什麼書，我全忘了，只記得國文教科書上有一部是：『子曰，父母之年，不可不知也……』，『孫光頭』把『子曰』解作『兒子說』。念國文得朗聲唱誦，稱為『啦』（上聲）。我覺得發出這種怪聲挺難為情的。」楊絳還記得她們在學校玩遊戲的情形，十分有趣：
……我和女伴玩「官、打、捉、賊」（北京稱為「官、打、巡、美」），我拈鬮拈得「賊」，拔腳就跑。女伴以為我瘋了，拉住我問我幹什麼。我急得說：
「我是賊呀！」
「嗨，快別響啊！是賊，怎麼嚷出來呢？」
我這個笨「賊」急得直要掙脫身。我說：
「我是賊呀！得逃啊！」
她們只好耐心教我：「是賊，就悄悄兒坐著，別讓人看出來。」
又有人說：「你要給人捉出來，就得挨打了。」
我告訴她們：「賊得乘早逃跑，要跑得快，不給捉住。」
她們說：「女老小姑則」（即「女孩子家」）不興得「逃快快」。逃呀、追呀是「男老小」的事。
我委屈地問：「女孩子該怎麼？」
一個說：「步步太陽」（就是古文的「負喧」，「負」讀如「步」）。
一個說：「到『女生間』去踢踢毯子。」
大廟東廡是「女生間」，裡面有個馬桶，女生在裡面踢毽子。可是我只會跳繩、拍皮球，不會踢毯子，也不喜歡悶在又狹又小的「女生間」里玩。
諸如此類，留給楊絳的印象還是很深的。直到上世紀八十年代，她還時常提起：「我在大王廟上學不過半學期，可是留下的印象卻分外生動。直到今天，有時候我還會感到自己彷彿在大王廟裡。」