一九六六年，正當全中國人民克服嚴重的經濟困難、艱難地完成調整國民經濟的任務、開始實行第三個五年計畫的時候，在毛澤東的親自發動和領導下，「無產階級文化大革命」的風暴以遮天蔽日之勢席捲中國大地。
一九六六年八月一日至十二日，毛澤東主持召開中共八屆十一中全會，其中心議題是討論和通過《關於無產階級文化大革命的決定》（史稱《十六條》）。這個《決定》指出，「在當前，我們的目的是斗垮走資本主義道路的當權派，批判資產階級的反動權威」，「要充分運用大字報、大辯論這些形式進行大鳴大放……揭露一切牛鬼蛇神」，要「敢字當頭」，「不要怕出亂子」，「不能那樣文質彬彬，那樣溫良恭儉讓」。
就在《十六條》通過的次日，即八月九日，楊絳就在「如火如荼」的運動中被「揪出來了」。三天之後，她的丈夫錢鍾書也被「揪出來了」。那時，他們倆同在一個學部，楊屬外國文學所，錢則屬文學所，兩所運動的過程大致相仿。
在外文所，雖然沒有一張揭發楊絳的大字報，不過她覺得事情已經不妙。有一次大會前群眾傳看一份文件，傳到她近旁時就跳過了她，好像沒有她這個人。再有一次大會上，忽然有人發問：
「楊季康，她是什麼人？」
會後就有人通知她：「以後開會，你不用參加了。」
楊絳就這樣給「揪出來了」 。一同被揪出來的李健吾、卞之琳、羅念生、鄒荻帆等，坐在空落落的辦公室里「待罪」。
「待罪」之時，報上發表了《五一六通知》。楊絳等人對照這個文件細細研究，竊竊私議，滿以為按這個指示的精神，革命群眾應該請他們重新歸隊。
忽然有一天被召去開大會，不料會上群眾憤怒地控訴他們的種種罪行，並公布今後的待遇：
不發工資，存款全部凍結，每月發給生活費若干元；
每天上班後，身上掛牌，牌上要寫明姓名、身份和自己招認並經群眾審定的罪狀；
組成勞動隊，行動聽指揮，並由「監管小組」監管。此外，還有一系列禁令，如不許喝牛奶，不許吃魚肉蛋禽，只許吃窩窩頭、鹹菜和土豆，不準戴草帽，不準撐遮陽傘，不準穿皮鞋等等。
至於錢鍾書究竟為何被揪出來，他自己也莫名其妙。楊絳問他時，他說「大概是人家貼了我幾張大字報」——簡直是黑白顛倒、狗血噴人。錢鍾書身為《毛澤東選集》英文編譯委員會成員，書桌上竟然沒有「毛選」四卷，並且說把這些東西放在書桌上，「會弄髒了桌子」……這罪名在當時大得可怕。
一天晚上，楊絳回家問她的丈夫：
「你們怎麼樣？」
當然，學部各所都是絲毫不差的，他們倆的遭遇也相彷彿。他的專職是掃院子，她的專職是掃女廁。他們夫婦草草吃過晚飯，就像小學生做手工那樣，認真製作自己的牌子。楊絳所在的外文所規定牌子圓形，白底黑字。錢鍾書所在的文學所規定牌子長方形，黑底白字。下面的情形，據楊絳在《丙午丁未年紀事——烏雲與金邊》一文的記載是這樣的：「我給默存找出一塊長方的小木片，自己用大碗扣在硬紙上畫了個圓圈剪下，兩人各按規定，精工巧制；做好了牌子，工楷寫上自己一款款罪名，然後穿上繩子，各自掛在胸前，互相鑒賞。我們都好像阿麗思夢遊奇境，不禁引用阿麗思的名言：『curiouser and curiouser!』。我們似乎可以聽出兩人苦澀的淺笑。」
接下來的事情使他們感覺愈來愈出奇，夫婦倆度日如年。學部當時還沒有供全體員工開會的大禮堂，只有一個大席棚。有一天大雨傾盆，寒意刺骨。到處造反的紅衛兵把各所「揪出來」的牛鬼蛇神都召到大席棚里，押上台去「示眾」，還給他們都戴上報紙做成的尖頂高帽。
在群眾憤怒的斥罵聲中，楊絳偷眼看見「同夥」帽子上都標著名目，如「黑幫」、「國民黨特務」、「蘇修特務」、「反動學術權威」、「資產階級學術權威」等等，不一而足。散會後，楊絳給推推搡搡趕下台，尖頂高帽都需繳還，她看了一眼自己剛才脫下的高帽子，發現帽子上的名目經過規範化，自己從「資產階級學者」升級為「資產階級學術權威」，和丈夫錢鍾書一樣了。從此，他們成了「落水狗」，人人都可以欺凌戲侮，稱之為「揪斗」。
楊絳被批鬥、揪斗，不止這一次，有時單獨，有時和錢鍾書一起，成為「家常便飯」。其中有一件事非同小可，前面已經提到過錢鍾書的罪名，對此，楊絳在《幹校六記》中的敘述更為詳盡：
文化大革命初期，有幾人聯名貼出大字報，聲討默存輕蔑領導的著作。略知默存的人看了就說：錢某要說這話，一定還說得俏皮些；這語氣就不像。有人向我通風報信；我去看了大字報不禁大怒。我說捕風捉影也該有個風、有個影，不能這樣無因無由地栽人。我們倆各從牛棚回家後，我立即把這事告知默存。我們同擬了一份小字報，提供一切線索請實地調查；兩人忙忙吃完晚飯，就帶了一瓶糨糊和手電筒到學部去，把這份小字報貼在大字報下面。第二天，我為此著實挨了一頓斗。
就在這次專門提到的鬥爭會上，楊絳受到「革命群眾」的審問。
群眾問：「給錢鍾書通風報信的是誰？」
楊絳說：「是我。」
群眾又問：「打著手電筒貼小字報的是誰？」
楊絳說：「是我——為的是提供線索，讓同志們據實調查。」
台下一片怒斥聲。有人說：「誰是你的『同志』！」
楊絳就乾脆不稱「同志」，改稱「你們」。
那天，楊絳一口擔保，錢鍾書的事自己都知道。當時，群情激奮，楊絳也十分氣憤。有人遞來一面銅鑼和一個槌子，下令她打鑼自報罪名。她正是火氣衝天，沒處發泄；當下接過銅鑼和槌子，下死勁大敲幾下，藉以發泄無比的憤恨。
這一來可翻了天了——台下鬧成一片，造反派要驅楊絳到學部大院去遊街。一位中年老幹部不知從哪裡找來一塊污水浸霉發黑的木板，繫上繩子，叫她掛在頸上。木板是滑膩膩的，掛在脖子上很沉。楊絳戴著高帽子，舉著銅鑼，給群眾押著先到稠人廣眾的食堂去繞一周，然後又在院內各條大道上遊街「出醜」。造反派命她走幾步就打兩個鑼，叫一聲「我是資產階級知識分子」！
一向和顏悅色，說話慢條斯理，舉止溫文爾雅，被人視為「文弱書生」的楊絳，這天一反常態，大聲叫喊，她情願以這一特殊方式，抗議對自己、對錢鍾書的種種侮辱，表現了中國知識分子的錚錚傲骨。她的同事葉廷芳在一篇文章中實錄其事，讀來驚心動魄：那場突如其來的傾盆大雨迫使一個個所謂的「走資派」和「反動學術權威」低下他們高貴的頭，面對一張張大字報的滿篇不實之詞，人們只能咽下痛苦的淚水，敢怒而不敢言。但在學部大院內卻發生一起例外：一張「揭發」「反動學術權威」錢鍾書的大字報被另一個「資產階級權威」提出質疑；她寫了一張小字報貼在那張大字報的一角，對大字報中的不實之詞進行澄清。此人不是別人，正是上述的「弱女子」楊絳。不用問，她的「膽大包天」不可能不受到懲罰。她馬上被揪到本單位大會議室，與其他「牛鬼蛇神」一起示眾。他們一個個被勒令屈辱地低著頭，出乎人們意料，偏偏楊絳拒絕服從，她滿面怒容地昂著頭！人們斥問她為什麼如此頑固！她怒不可遏地跺著腳大喊：「就是不符合事實！就是不符合事實！……」那形象真像一頭憤怒的猛獅。楊絳的這一大無畏之舉，使在座的「革命群眾」中的年長和年輕的同事心中引起共鳴或靈魂震撼。從此我對她刮目相看，覺得在她的柔弱的外表之內，蘊含著剛正不阿的精神情操和對丈夫的真摯、深厚的愛 。對丈夫的摯愛，楊絳一口擔保錢鍾書絕無此事。後來當紅衛兵實地調查時，也查無實據。對此，時隔多年，楊絳以不乏幽默的筆調調侃道：「我想這有何難，就難倒了我？況且知識分子不都是『資產階級知識分子』嗎？叫又何妨？我暫時充當了《小癩子》里『叫喊消息的報子』；不同的是，我既是罪人，又自報消息。當時雖然沒人照相攝入鏡頭，我卻能學孫悟空讓『元神』跳在半空中，觀看自己那副怪模樣，背後還跟著七長八短一隊戴高帽子的『牛鬼蛇神』。那場鬧劇實在是精彩極了，至今回憶，想像中還能見到那個滑稽的隊伍，而我是那個隊伍的首領！……我心想，你們能逼我『遊街』，卻不能叫我屈服。我忍不住要模仿桑丘·潘沙的腔吻說：『我雖然遊街出醜，我仍然是個有體面的人！』。」
還有一次，文學所所長何其芳等「黑幫」在北京吉祥大戲院的大舞台挨斗，他們披戴了各種辱罵性的名號，被一一押到台上。楊絳夫婦在陪斗之列，暫時棲身台下。
那天楊絳異常睏倦，只好低著頭打起了瞌睡。台上的檢討和台下的斥罵連成一片，她卻置若罔聞。忽有人發現，大喝一聲：
「楊季康，你再打瞌