史紹賓在《人民日報》亮出的一連串「鐵證」與「剖析」，如同密集的排炮射向吳晗，同時射向已死去四年、遠在台灣孤島的胡適的屍首，儘管有些意淫的味道，但感覺應該是與射向身陷囹圄但尚在喘氣的吳氏是一樣爽的。許多年後，據中國社科院歷史研究所歷史學家王春瑜回憶說：尹達當年曾對他們幾個年輕的研究人員說：「『文革』是什麼？就是讓我們洗澡，互相都看見了，原來你有一個鳥，我也有一個鳥！」
按時間推算，尹達說這個話的時候，應是在「文革」中期之後，也就是他被歷史所的造反派從「中央文革小組」大本營揪回所內，接受群眾批判並在中央政治集團內部失勢之後的事。因歷史所有造反派公開張貼大字報，揭露尹達所說的「鳥」事，並謂此話是「惡毒攻擊文化大革命」而廣為人知。
但在初向吳晗亮劍揮棒和發射排炮的時候，正春風得意的尹達所言之「鳥」尚未露出，露出的是已被打倒和即將被打倒、手握重權、言行舉止關涉國家安危的高官大吏的人頭。當然，還有一部分無職無權，只有一肚子學問，言行舉止輕如鴻毛的知識分子。但後者並不是重點，而前者才是最早被展示、閹割的對象。
就在吳晗投靠胡適「鐵證」亮出的當天下午四時，中央人民廣播電台緊急插播了新華社電訊：
中共中央決定：由中共中央華北局第一書記李雪峰同志兼任北京市委第一書記，調中共吉林省委第一書記吳德同志任北京市委第二書記，對北京市委進行改組。李雪峰、吳德兩同志業已到職工作。北京市的社會主義文化大革命的工作，由新市委直接領導。
翌日，《人民日報》發表社論，指出：前北京市委的領導，貫穿著一條反黨反社會主義的黑線。「在社會主義文化大革命中，揭露了『三家村』反黨反社會主義的反革命集團。這個反革命集團的根子，就是前北京市委。……不管他是什麼人，不管他的職位有多高，資格有多老，都要全黨共誅之，全國共討之。他們得到的結果，只能是身敗名裂。」
隨著以彭真為首的北京市委領導班子徹底倒台和身敗名裂，吳晗的命運也急轉直下。除已經身染的「海瑞」、「三家村」等「現行反革命分子」罪過，又因史紹賓「鐵證」的出籠，牽涉出早年的家庭出身和胡適的瓜葛，吳晗的頭上又驟然增加了「反革命老手」、「美帝國主義的奴才的奴才」等幾頂沉重的鋼盔。自此，吳晗徹底失去人身自由，整日接受「組織」審查和革命群眾遊街批鬥。
他面臨的不只是「身敗名裂」，而是時刻有被「誅之」的危險。
吳晗的養子、當時只有7歲的吳彰後來回憶道：「我永遠忘不了他們把爸爸綁跪在烈日下的枯樹榦上，往他脖子里灌曬得滾燙的沙子。他們掄起皮帶抽他，揪他的頭髮，擰他的耳朵，用各種想得出來的法子侮辱他。爸爸三天兩頭被拉去游斗，學校要斗，區里要斗，縣裡要斗，這裡要斗，那裡也要斗……以後我們聽說，爸爸戴著手銬被押到人民醫院看病，他滿頭的白髮都被揪光了，還大口大口地吐著鮮血。」
在批鬥之初，吳晗全家住在北長街一處市政府撥給的寬敞明亮舒適豪華的住宅里，隨著批鬥的升級，吳氏一家被掃地出門，進入只有十幾平方米的黑屋子居住。除了吳晗被整日拉出去轉著圈遭受棍棒伺候，「文革」中誕生的紅衛兵還勒令身體恢複得剛剛能走路的吳妻袁震，每天拿著掃帚到北長街打掃馬路，並隨時把吳、袁夫婦二人綁在一起拉出去批鬥與侮辱。當時住在北長街的許多人親眼所見，在酷暑烈日下，吳晗被紅衛兵與街道內一些不知道什麼身份的北京土著，擰著脖子反剪雙手拖到馬路上，被強行按跪在粗硬的瓦礫上，用皮鞭棍棒等施以毒打。毒打過後，吳晗每次爬起來，青紫色的膝蓋早已磨爛，全身皮開肉綻，鮮血順著大腿一道道淌下。而吳晗一旦得到赦令，一瘸一拐地回到只供容身的小黑屋裡，擦去身上的血跡，便將毛主席親自簽名送他的那本《毛澤東選集》著作捧在手裡，以虔誠、崇拜加迷惑不解的複雜心境反覆誦讀。只是他越看越覺得自己委屈，越看越感到心緒茫然。他不斷在內心自問，自己儘管沒有當年的蘇秦、張儀之才，但作為一個不咸不淡、多少有些名聲的革命「鬥士」，在國共兩黨之間合縱連橫地捭闔了這麼多年，何以最後「斗」出了這麼一個名堂？
當時的吳晗尚未意識到，這個「名堂」對他來說已經是夠幸運的了，比他資格更老，官帽子更大，權勢更不得了的高官大員更感到冤枉和委屈。開始批鬥彭真的時候，彭更是不服氣，自己乃一介老革命幹部，為何要把我打翻在地，還要踏上一萬隻腳？於是，彭真在批鬥會上強烈辯解道：「『毛主席萬歲！』這五個字是我最先提出來，也是最早喊出來的。」按照一般的邏輯，難道一個最早發明「毛主席萬歲」的人會反對毛主席嗎？彭真想不通，並為自己在政治上受到的不公待遇和肉體遭受的折磨大喊冤枉。但時勢比人強，特殊時期自有特殊的邏輯和對事對人的方式方法，何況即是每天「萬歲不離口，語錄不離手」之人，也不見得就是真心忠於毛主席和毛澤東思想。而「當面哈哈笑，背後下毒手」的多頭巨人也不是沒有，且在歷史上、特別是在推崇和講究權變詭吊之術的中國人群中，弒君弒父者可謂屢見不鮮，觸手可及，五步之內必有謀此詐術者。
當然，這時的彭真想不通，而吳晗同樣是整不明白。但不管你明白還是糊塗，都必須面對現實和這個越來越凶多吉少的「名堂」。
1968年3月，公安部長謝富治下令將吳晗逮捕入獄。一個月後，妻子袁震被送往郊區勞改隊勞動改造並接受「群眾專政」。吳、袁夫婦由此開始了更加酷烈與凄慘的厄運。
1969年春，身體幾不能站立的袁震被允許回家看病，就在她回到家的當晚，住在同院的北京市委書記處書記萬里聞訊，特地送來一碗袁氏最愛喝的紅豆稀粥以示慰問，想不到這碗稀粥竟成了「最後的晚餐」。身體早已垮掉的袁震當天夜裡病情加重，臉色青紫，大口喘氣，全身抽搐。其時只有10歲的養子吳彰與養女小彥，立即用平板車把母親拉到醫院，由於袁是吳晗的家屬，同時又是沒摘帽的右派分子，院方將其視為階級敵人而拒絕接收搶救。熬到翌日凌晨，躺在醫院大廳一角冰冷水泥地上的袁震，於慘淡的星光映照中，撇下了兩個未成年的孩子撒手歸天。據說，直到女兒小彥去太平間為其更衣時，袁震的雙眼還半睜半閉，面頰上殘留著幾滴清淚——她死不瞑目，因為她不知道自己走後，夫君吳晗與兩個孩子的命運會將如何？
1969年10月11日，突然有人來到吳家門外招呼吳彰與小彥去看他們的爸爸，姐弟倆聞訊異常興奮，一蹦三跳地躥了出來。當二人來到大門口時，一陣陰風撲面而來，停在門前的汽車竟是醫院的牌子，姐弟倆心頭立即掠過一絲不祥之兆。果然，來人對他們冷冷地說：「你爸爸今天早晨死了，屍體就在車上。」
猶如晴空一聲霹靂，小彥癱坐在地，先是號啕大哭，繼而雙手抱住來人的腿追問：「我爸爸（活著的時候）怎麼不想看看我們呀？」
來人將小彥的手扒開，道：「昨晚他提出要見你們，我們不知道你們住在哪兒。」姐弟倆聞聽哭聲更高，小彥昏倒在地人事不省。在場的醫生忙把她抱起來救治，望著這位瘦小的姑娘臉白如紙的面容，醫生禁不住流下了同情的熱淚。
這時，車後走過一個身穿黃軍裝的大漢，對姐弟倆厲聲斥責道：「你爸爸是個壞人，如果不和他劃清界限，沒有你們的好果子啃……這件事不許告訴任何人，否則饒不了你們的！」說罷，招呼眾人上車。
裝載吳晗屍體的汽車隨著騰起的滾滾塵土疾駛而去，吳彰和小彥都未能看一眼斷氣的爸爸。吳晗留給這對姐弟倆的唯一紀念品，就是他在獄中穿過的一條血跡斑斑的褲子。
吳晗死在1969年10月11日，距姚文元那篇評《海瑞罷官》文章發表正好四年。
對於吳氏一家來說，事情遠沒有結束。由於袁震與吳晗之死，女兒小彥刺激過大，一度精神失常。未久，小彥以「影響首長安全」的罪名被捕入獄。在獄中，小彥的門牙被獄警打掉，額頭上打開了一道口子，整日流血不止。1976年9月23日，已被折磨得難以忍受的小彥跳樓自殺。