一九六七年夏天，外文所的「牛鬼蛇神」陸續得到「解放」。被解放的從「牛棚」出來叫「下樓」。楊絳是所里首批下樓的二人之一。
當然，從「牛棚」「下樓」，還得作一番檢討。楊絳「認真」作完檢討，滿以為革命群眾提些意見就能通過，不料他們向她質問「四個大妖精」的罪行。
楊絳呆了半晌，丈二和尚摸不著頭腦。哪裡跳出來「四個大妖精」呢？有人把她的筆記本打開，放在她眼前，叫她自己看。
楊絳看了半天，才認出「四個大妖精」原來是「四個大躍進」之訛，想不到怎麼會把「大躍進」寫成「大妖精」，她腦子裡一點影子都沒有。在她的筆記本上，前後共有四次「四個大躍進」，只第二次寫成「四個大妖精」。這可能是楊絳開會時，由於連日疲勞戰術，眼目惺忪，一不小心走神將「大躍進」寫成了「大妖精」。對此，嚴肅的革命群眾是不能容忍的。
這時，楊絳即便是長了一百張嘴，也不能為自己辯白。有人甚至把公認為反動的「潛意識論」也搬來應用，說她下意識蔑視作報告的首長。假如他們「無限上綱」——也不必「無限」，只要稍為再往上提提，說她蔑視的是「大躍進」，也許就把她嚇倒了。可是作報告的首長正是楊絳敬佩而愛戴的，從她的上意識到下意識，絕沒有蔑視的影蹤。他們強加於楊絳的「下意識」，她可以很誠實地一口否認。
楊絳只好再作檢討。一個革命派的「頭頭」命令她把檢討稿先讓他過目。楊絳以為檢討得很好，他卻認為「很不夠」。他說：
「你應該知道，你筆記上寫這種話，等於寫反動標語。」
楊絳抗議道：
「那是我的私人筆記。假如上面有反動標語，張貼有罪。」
「頭頭」不搭理。楊絳也不服氣，不肯重作檢討，於是自己解放了自己。事後，楊絳說：「不過我這件不可饒恕的罪行，並沒有不了了之。後來我又為這事兩次受到嚴厲的批評；假如要追究的話，至今還是個未了的案件。」聽來使人不禁感到啼笑皆非。
在楊絳的晚年，她痛陳「四個妖精」與「堂吉訶德」的淵源關係：
「我說四個妖精都由堂吉訶德招來，並不是胡賴，而是事實。我是個死心眼兒，每次訂了工作計畫就一定要求落實。我訂計畫的時候，精打細算，自以為很『留有餘地』。我一星期只算五天，一月只算四星期，一年只算十個月。一年三百六十五天，只有二百個工作日，我覺得太少了，還不到一年三分之二。可是，一年要求二百個工作日，真是難之又難，簡直辦不到。因為面對書本，埋頭工作，就導致不問政治，脫離實際。即使沒有『運動』的時候，也有無數的學習會、討論會、報告會等等，佔去不少時日，或把可工作的日子割裂得零零碎碎。如有什麼較大的運動，工作往往全部停頓。我們哪一年沒有或大或小的『運動』呢？
「政治學習是一項重要的工作。我也知道應該認真學習，積極發言。可是我認為學習和開會耗費時間太多，耽誤了業務工作。學習會上我聽到長篇精彩的『發言』，心裡敬佩，卻學不來，也不努力學。我只求『以勤補拙』；拙於言辭，就勤以工作吧。這就推我走上了『白專道路』。
「『白專道路』是逆水行舟。凡是走過這條道路的都會知道，這條路不好走。而翻譯工作又是沒有彈性的，好比小工鋪路，一小時鋪多少平方米，欠一小時就欠多少平方米——除非胡亂塞責，那是另一回事。我如果精神好，我就超額多干；如果工作順利，就是說，原文不太艱難，我也超額多干。超額的成果我留作『私蓄』，有虧欠可以彌補。攢些『私蓄』很吃力，四五天攢下的，開一個無聊的會就耗盡了。所以我老在早作晚息攢『私蓄』，要求工作能按計畫完成。便在運動高潮，工作停頓的時候，我還偷功夫一點一滴的攢。《堂吉訶德》的譯稿，大部分由涓涓滴滴積聚而成。我深悔一心為堂吉訶德攢『私蓄』，卻沒為自己積儲些多餘的精力，以致妖精乘虛而入。我做了牛鬼蛇神，每夜躺著想這想那，卻懵懵懂懂，一點沒想到有妖精鑽入筆記。我把這點疏失歸罪於堂吉訶德，我想他老先生也不會嗔怪的。」
「下樓」後，楊絳想試探自己的身份，恰巧那時正在發放《毛澤東選集》和他老人家的像章，她居然也得了一份，據此，她自認為自己已經歸屬於革命群眾之列了。
楊絳下了樓，心裡一直惦記著自己的《堂吉訶德》翻譯稿。她曾想盡辦法，試圖把「堂吉訶德」救出來。她向沒收「黑稿子」的「頭頭」們要求暫時發還她的「黑稿子」，讓她按著「黑稿子」，檢查自己的「黑思想」。他們並不駁斥她，只說沒收的「黑稿子」太多，她的那一份找不到了。
楊絳每天收拾女廁所，費不了多少時間，其他人往往還沒掃完院子。她覺得單獨一人傻坐在辦公室里不大安全，所以自願在群眾的辦公室外面掃掃窗檯，抹抹玻璃，藉此消磨時光。從堂吉訶德「被俘」後，她就想藉此尋找「他」的蹤跡。可是她的這位英雄和古代小說里的美人一樣，侯門一入深似海，她每間屋子都張望過了，也沒見到「他」的影子。
過年以後，有一次楊絳他們奉命打掃後樓一間儲藏室。她忽然從凌亂的廢紙堆里發現了那包《堂吉訶德》譯稿。她好像找到了失散多年的兒女，忙抱起放在一隻凳上，又驚又喜地告訴別人：
「我的稿子在這裡呢！」
楊絳打算冒險把稿子偷走。出門就是樓梯，下樓沒人看守；抱著一個大紙包大模大樣在樓梯上走也不像做賊，樓下的女廁所雖然不是她打掃的，究竟是個女廁所，她可以把稿子暫時寄放，然後再抱回家去。當然會有重重險阻，她且走一步是一步。當時監視他們的是個老幹部。楊絳等他一轉背，就把稿子搶在手裡，可是剛舉步，未及出門，同是「牛鬼蛇神」的一個人指著她大喝一聲：
「楊季康，你要幹什麼？」
監視的幹部轉過身來，詫異地看著楊絳。
楊絳生氣說：
「這是我的稿子！」那位幹部才明白她的用意。他倒並不責問，只軟哄說：
「是你的稿子。可是現在你不能拿走，將來到了時候，會還給你。」
楊絳說：「扔在廢紙堆里就丟了。我沒留底稿，丟了就沒了！」
看管者答應好好兒保藏，隨楊絳放在哪裡都行。楊絳先把稿子放在書櫃里，又怕佔了太好的位置，別人需要那塊地方，會把稿子扔出來。所以她又把稿子取出，小心地放在書櫃頂上，嘆了口氣，硬硬心腸，撇下不顧。
軍、工宣隊進駐學部以後，「牛鬼蛇神」多半恢複人身，重又加入群眾隊伍，和他們一起學習。這時，楊絳請學習小組的組長向工人師傅要求發還她的譯稿，因為她自知人微言輕，而他們也不懂得沒收稿子的緣由。
學習組長說：「那是你的事，你自己去問。」
對方要麼置之不理，要麼嘴裡答應卻不發還。直到下放幹校的前夕，原先的組秘書當了學習組長。楊絳在晚上學習的時候，遞了一個條子給他。第二天早上，他問明情況，立即找來，交給了楊絳。
楊絳好像找回了失散多年的兒女，連忙抱在懷裡，藏回家去。她無法抑制內心的激動：
「落難的堂吉訶德居然碰到這樣一位扶危濟困的騎士！我的感激，遠遠超過了我對許多人、許多事的惱怒和失望。」
秋涼以後，革命群眾把楊絳同組的「牛鬼蛇神」和兩位本所的「黑」領導安頓在樓上東側一間大屋裡。屋子有兩個朝西的大窗，窗前掛著蘆葦帘子。經過整個夏季的暴晒，窗帘已陳舊破敗。他們收拾屋子的時候，打算撤下帘子，讓屋子更軒亮些。
楊絳出於「共濟」的精神，大膽獻計說：
「別撤帘子！」
他們問：「為什麼？」
楊絳回答：「革命群眾進我們屋來，得經過那兩個朝西的大窗。隔著帘子，外面看不見裡面，裡面卻看得見外面。我們可以早做準備。」
他們觀察實驗了一番，證明楊絳說的果然不錯。那兩個大破帘子就一直掛著，沒有撤下。
楊絳的這番話，體現了中國式的「政治智慧」。不過，這樣的知識分子一多，像魯迅所說的中國文學的「瞞和騙」的局面，仍將維持下去。要打破這種局面，就必須把「帘子」撤下來！
楊絳呆的那間屋子裡沒有暖氣片，所以給他們裝了一隻大火爐。他們自己去拾木柴，揀樹枝。她和文學所的木工老李較熟；她到他的木工房去借得一把鋸子，大家輪著學鋸木頭。他們做小煤餅子，又搬運煤塊，輪流著生火和封火；封滅了第二天重生，檢查之類的草稿正可用來生火。學部的暖氣並不全天供暖，他們的爐子卻整日熊熊旺盛。兩位領導都回家吃飯，他們幾個「老先生」各帶一盒飯，先後在爐子上烤熱了吃，比飯堂里排隊買飯方便得多。他們飯後各據一隅，拼上幾隻椅子權當卧榻，疊幾本書權當枕頭，胡亂休息一會兒。起來了大家一起說