隨著運動的逐步升級，我漸漸對這場「革命」產生疑問。
按當時的階級劃分，我是「幹部子弟」，屬於「紅五類」之列，所以文化大革命一開始我就參加了紅衛兵，什麼「破四舊」、「抄家」、「橫掃一切牛鬼蛇神」、辯論對聯「老子英雄兒好漢」等等我都參加過，當時抄出很多值錢的東西，誰也沒有往口袋裡裝過一樣，真是「一顆紅心鬧革命」。
那時我和我兩個姐姐的關係不好，我覺得她們資產階級思想嚴重，大小姐作風，原因就是每天都化妝。記得大串聯時我們一起到了廣州，住在廣州軍區一位副政委家裡，有一天早晨，我突然對她們大聲呵斥道：不許你們化妝！她們一下子都愣住了。其實那時她們也談不上化妝，根本就沒有什麼化妝品，也就是對著鏡子梳梳頭，抹點擦臉油兒，打扮打扮，這本是女孩子的天性，而我卻認為是資產階級思想作怪，可見我當時是多麼「左」，也是多麼無知。
隨著運動的逐步升級，我漸漸對這場「革命」產生疑問。
那時各種紅衛兵組織非常多，這個「總部」，那個「司令部」的，經常發布一些「通令」，而且印刷的非常好，就像現在的布告，貼得滿街都是。這些「通令」極有權威，誰要是不執行，就會遭到紅衛兵的嚴厲「鎮壓」。那個時候，別說是普通老百姓，就是政法機關、部隊都怕紅衛兵。外電把紅衛兵比成「洪水猛獸」，從某種意義上講是很形象的。
有一天我突然發現一張「通令」上赫然寫著圍棋也是「四舊」，是封建帝王將相、士大夫和資產階級臭老爺們消遣的工具，必須堅決取締云云。
這「通令」就像迎頭澆下的一盆冷水，使我的心涼了半截。我無論如何也想不通，陳老總大力提倡、毛主席和周總理也都支持的圍棋項目，怎麼轉眼之間就變成了「封、資、修」的「四舊」呢？
雷溥華先生的死是對我的又一個打擊。當我得知雷老被打成「牛鬼蛇神」，遭到毒打，後不明不白死去時，幾乎驚呆了。這麼一位正直、善良、從未傷害過任何人的老人，竟會是什麼「牛鬼蛇神」，誰能相信呢？！回想起雷老對我的關心和教誨，心裡就像被剜了一刀似的……從此我再也不去參加任何打擊「牛鬼蛇神」的「革命行動」了。
終於，我最感恐怖的事發生了，我的父母也被打成「黑幫」。那天我回家看見家門口刷滿了大字報，讓我爸爸媽媽交代和劉仁的「黑關係」，交代他到我們家都講了哪些「黑話」，做了哪些「黑指示」，布置了哪些「黑任務」。可悲的是我也認為劉仁是個大黑幫，因為當時報紙上都這麼講，北京市委背著毛主席把北京搞成了「獨立王國」，還揭露出大量「事實」，不由得你不信。只有一點我還可以慶幸，那就是怎麼也回憶不出他說過什麼「黑話」，既然沒有，也就不能亂編。
劉仁到我家來都是來看我下棋，從來沒有單獨和我爸爸媽媽待在一起過，如果有什麼黑指示，我也應該聽到。於是我就反覆回憶他所說過的話，是不是裡面有什麼，比如「吃飯了嗎」是不是聯絡暗號，就像《紅燈記》里李玉和問賣木梳的「有桃木的嗎」一樣。那時幼稚得不得了，弄張報紙，也要橫過來倒過去地看，總想發現點問題，比如反動標語之類的。即使這樣，我也沒發現劉仁有什麼黑話。
緊接著我們家被抄，我爸爸被剃成「陰陽頭」，胸前掛著「黑幫分子聶春榮」的大木牌，被造反派押到陽台上，彎腰站著。我看見爸爸臉上的肌肉痛苦地抽搐著，黃豆大的汗珠一滴滴落在腳前的水泥地上……這痛苦的一幕我永遠也忘不了。
有一天我爸爸和我談話，問我相信不相信爸爸媽媽都是好人，是革命的，是跟毛主席的。我回答相信，可心裡也很矛盾，看人家貼了那麼多大字報，我是紅衛兵，對毛主席無限信仰，無限熱愛，文化大革命又是毛主席親自指揮的，如果不是因為是自己的父母，我肯定認為他們是「黑幫」。我爸爸接著說，他們之所以成為「黑幫」，跟他們工作中可能得罪了一些人有關，但主要還是劉仁到過我們家。在那些造反派的眼裡，你不是黑幫劉仁怎麼會到你家裡來呢？而劉仁到我們家裡來就是因為看我下棋，這一下我成了「罪魁禍首」。我姐姐也抱怨我給家裡添了多大的「亂子」，叫我以後絕對不能下棋了。當時說得我心裡還很不愉快很生氣。最後我爸爸叫我去找一下李立三，把這個情況向他反映一下，爭取得到解放。因為當時領導北京新市委的李雪峰是華北局第一書記，而李立三是華北局書記處書記，想通過李立三向李雪鋒打個招呼。我一想，這事是我惹起的，只能我去，於是就去找李立三。
我剛拐進李立三家的衚衕口，就看見牆上刷滿了大字報，比我們家可厲害多了，說他歷史上就曾反對毛主席的革命路線，是「立三路線」的代表，這可更不得了。我正在猶豫，就聽見他家院里傳來造反派的喊聲，很不正常，像是在開批鬥會。我沒敢進去，我想不能再找黑幫了，否則會犯更大的錯誤。回家後我告訴爸爸說沒見到，具體的都沒敢講。
在這之後，我在勞動人民文化宮見到李立三，他正在散步，我發現他後正想躲，他卻看見了我，老遠地就叫我小聶。我當時心裡很害怕，和他說了兩句馬上就走了。沒想到這是我最後一次見到李立三，現在想起來感到非常內疚。
從「文革」開始以來，我所熟悉的許多叔叔、伯伯陸續被打成了「黑幫分子」，除了劉仁、李立三，還有張勁夫、金明、宋汝棼等等，就連我所敬愛的陳老總也被造反派揪斗過，我想我這人真絕，怎麼認識這麼多「黑幫」！加上我爸爸媽媽也成了「黑幫」，我對「黑幫」就開始有些懷疑了，而且也沒有那麼大的仇恨了。但文化大革命剛開始時，一聽說「黑幫」，反對毛主席，真是仇恨得不得了。
父母既成了「黑幫」，按照「老子反動兒混蛋」的邏輯，我也從「紅五類」變成了「狗崽子」，社會地位的急劇變化使我飽嘗了世態的炎涼，也使我萬念俱灰，心中一片茫然。那時候我最怕回家，家裡人那愁雲密布的臉和屋裡沉悶的空氣，壓得我幾乎喘不過氣來，所以只要有地方去，我就不回家。
萬幸的是，不知是因為「革命任務」太忙，還是其他什麼原因，有一段時間造反派們居然沒有光顧北京棋社，結果那裡成了我的絕妙的「避風港」。棋社的人幾乎個個是下棋出身，「臭氣」相投，對什麼「下棋是四舊」
等等的說法，只作耳邊風，因此，儘管社會上鬧得天翻地覆，棋社裡照樣可以安然下棋。於是我就成了棋社每日必到的常客。只有坐在棋桌旁，在噼啪作響的棋子聲中，我才能暫時忘掉心中的凄苦，感到活著還有一些樂趣。
可惜好景不長，「革命的鐵掃帚」到底還是伸進了這個幽雅的小院，棋社被查封了。失去棋社這塊「寶地」後，我在很長時間裡就像丟了魂似的，整天毫無目的地東遊西逛。
最為奇怪的是，學校說我是「聯動」，還說我是個小頭目什麼的，讓我交代，並把大字報刷到我們家門口。那時我爸爸媽媽的大字報經過風吹雨打，已經脫落了，這一下全換上我的了。我根本就不知道「聯動」是什麼東西，到現在都不知道，我怎麼交代？憤怒之極，我乾脆連學校也不去了，成了徹底的「逍遙派」，整天在社會上「晃蕩」。別人逍遙學會了圍棋，我逍遙則學會了打橋牌，並成為我終生最大的業餘愛好。
後來我爸爸媽媽分別被各自單位的造反派關押了起來，美其名曰「審查」。家裡斷絕了經濟來源，生活頓感拮据。父母單位發的一點生活費，除去要交的房租水電費，每月只剩下三十多元錢，這點可憐的錢卻要養活爺爺、姥姥和我們五個孩子，其艱難程度是可想而知的。萬般無奈，只好賣東西。俗話說，坐吃山空，家裡值點錢的東西很快就賣光了，我也開始嘗到挨餓的滋味。
我自小就嘴饞，尤其愛吃肉，在我那個年齡又正是能吃、長身體的時候，可家裡那苦行僧似的伙食不但見不到肉星兒，而且還吃不飽。有時實在忍受不住，就只得去棋友家「蹭飯」，但「蹭飯」終究沒有把握，如果碰上人家不在或已經吃過了，那就只好咽咽唾沫，自認晦氣了。
記得有一天，我為飢餓所迫，竟跑到我的母校力學衚衕小學，想把我在參加1962年全國兒童比賽獲得的獎盃要回來，賣錢買東西吃，結果被人家當成了「小瘋子」而毫不客氣地趕將出來。當初這個獎盃還是陳老總囑咐我送給母校，以表示對培養教育我的老師們的感謝。如果不是逼急了，我也不會想出這條「下策」。
棋社被封后，沒處下棋了，有好事者就撮合我和吳玉林到幾位愛好者的家裡下「十番棋」。當時還沒有出場費一說，但所去的那家要準備一桌豐盛的飯菜。我一聽正中下懷，欣然同意。
吳玉林比我大五六歲，1964年就到了專業隊，當時和我的水平差不多。
我們實際上沒有下滿「十番棋」，下到五六盤，我大贏，只輸過一盤，沒法再下了。後來高旭光又找我下，他