1976年可謂是個「多事之秋」，隨著唐山大地震，中國的政治生活也發生了一系列強烈「地震」：毛澤東去世、「四人幫」倒台……毛澤東去世時我正在鄭州參加全國圍棋賽的預賽。河南省委書記劉建勛對圍棋很支持，河南圍棋能搞起來，出了劉小光，就是因為他把羅建文等人弄到河南，培養出了這些人。當時他也想把我調去，我也很想去，河南總比黑龍江離家近，再說劉建勛和我們家是世交，同我的關係也不錯。可惜沒有辦成。後來說劉建勛和「四人幫」有牽連，我是完全不能相信的。我跟他一塊下棋、閑聊時，他罵「四人幫」多了，而且罵得很難聽，特別是對江青，王八蛋都罵出來了。他親口對我講過一件事，有一次在人民大會堂吃飯，江青帶著浩亮、劉慶棠等人遠遠地進來，江青開始講話，一派胡言。
劉建勛說，當時他聽了都在那兒發抖，這不是公開給毛主席丟人嗎！他對江青恨透了。
我還認識一個叔叔蘇民，是黑龍江省軍區副政委，彝族人。他夫人叫張玉，在延安時和我媽媽一個班，同班的還有李伯釗、江青、葉群等人。由於這種關係，我在哈爾濱時，也就是1974年之後，每星期他都接我到他們家吃飯，過周末。那時他膽子也真大，經常罵江青和張春橋。我對「四人幫」那麼反感，就和他們有關。可後來他也被打成「四人幫」的爪牙，我就無法理解。其實我看這裡面有冤案，他主要是沒看清毛遠新。當時毛遠新是瀋陽軍區政委，還兼毛主席的聯絡員。
由於毛澤東的去世，1976年的全國比賽也終止了。
1977年我仍然代表黑龍江隊參加全國比賽，在個人賽中我再次獲得冠軍。陳祖德因參與清查「四人幫」的活動，沒有參賽。
在團體賽中卻出了問題，有人指責我們黑龍江隊作弊。事情的經過是這樣的。由於比賽是在哈爾濱舉行，所以組委會的主要負責人是由黑龍江省體委主任擔任的，許多具體工作也由黑龍江體委組織落實。當時王加良負責編排比賽程序，據說他在這方面很有一套。在抽籤之前他曾問我，把哪個隊排在你們一個組裡最有希望。我說福建隊。這次團體賽一共只有十二支代表隊，分六個小組進行預賽，只要小組出線，即可進入前六名。
按我們黑龍江隊的水平來說，除了我之外，其他四名選手很差，根本進不了前六名，這我心裡是非常清楚的，除非我們和比我們還弱的福建隊分在一個組。
抽籤結果真的就和福建隊分到一個組，開始我自己還覺得挺幸運。可是沒想到這一下引起全國圍棋界的意見，都來找我說，你怎麼作弊呀！憑良心講，我沒有作弊，抽籤儀式我都沒去，根本就不在場，而且我平生最討厭作弊。可是抽籤前我確實說過福建隊是我們最想碰到的對手，怎麼會這麼巧？真是有嘴也說不清了。
這件事後來鬧得很大，全國各代表隊都指責我們，甚至還刷了大字報，當然矛頭不是指的我，而是黑龍江省體委的負責人。後因查無實據，不了了之，我們也如願獲得了第六名。
事後我想可能是作弊了，至於在裁判長和各隊隊長都在場的情況下怎樣作弊我搞不清楚，也沒有證據，只是猜測而已。不管怎麼說，這件事就像吃了只蒼蠅，讓人心裡特彆扭。
1978年的全國比賽是在鄭州舉行的，這次陳祖德參賽，我輸給他。但他輸給別人幾盤，最後我以總分第一獲得冠軍，他得第二名。這個時期只有陳祖德對我構成威脅，其他人都差了一截。但這年馬曉春參加比賽，我看他不錯，收他做了徒弟，那時叫「一幫一，一對紅」。他那年剛滿十四歲。
另外還有一名年僅十歲的女孩張璇，我也注意到了。如今她已是八段棋手，成為女棋手中的佼佼者。
1979年趕上第四屆全運會，圍棋賽也列入全運會。這年我仍然代表黑龍江出戰。在個人賽中我一盤沒輸，獲得全勝冠軍。團體賽我們獲得亞軍，這有點出乎我的意料。
從1975年到1979年，可以說是我的全盛時期。在此期間，我一次又一次地擊退了優秀棋手們的挑戰，把全國冠軍的桂冠死死地抓在手中。在國家圍棋集訓隊的內部訓練賽中，我創造過二十三連勝的出色記錄。在對日本棋手的比賽上，亦有突出表現。於是，棋界人士把這五年稱作「聶衛平時代」。
然而在這期間，有一個對手最讓我頭疼，他就是四川隊的黃德勛。從1975年到1980年的全國團體賽上，我連輸他六盤，這也是創了紀錄的，所以有人稱他為「聶衛平的剋星」。
黃德勛年紀與我相仿，但資格比我老得多。他的棋兇猛好殺，極善計算，是「力戰型」的代表人物之一。按說1975年時他的實力和我已有一些差距，平時訓練比賽，他幾乎贏不了我，可是一在全國比賽中相遇，我就會糊裡糊塗地輸給他。頭兩次失利，我心裡十分惱火，因為都是在優勢很大的情況下輸掉的。尤其是1977年在哈爾濱舉行的全國比賽我對他的那局，簡直使我哭笑不得。
當時我決心報1976年的「一箭之仇」，所以執黑棋也下得非常謹慎，很快就把他逼入絕境。白棋一個大角被「點死」，勝負已成定局。可他緊鎖雙眉，抱頭苦思，就是不肯認輸。難道他還有什麼高招不成？我疑惑地又把局勢仔細地分析了一遍，確信他已「難逃法網」，就滿心歡喜地等他停鍾認輸了。就在這時，他忽然走了一步誰也沒料到的怪著，居然把這個角走成一個「後手死」，然後拚命纏繞攻擊我外圍的兩塊黑棋。其實這種怪誕的下法，對他來說是出於無奈，我還有不少勝機，但急躁之下，我到底還是昏頭昏腦地敗下陣來。
以後每逢全國比賽遇到他，我心裡就打鼓，越想贏越贏不了。以致在後來的比賽時，如果第二天是黃德勛，便會有人來給我打氣：「明天對黃德勛，你可得留神啊！」並且當天晚上的話題也全是圍繞著這件事，反而弄得我心裡更發毛。第二天果然又輸了。
對於我總是輸給黃德勛，棋界議論紛紛，有的人說我輕敵，有的人說黃德勛運氣好，還有的人說是棋風的關係，認為黃德勛的棋專克我的棋，換句話就是一物降一物。對此我也甚感不解。後來黃德勛在《圍棋》月刊上發表的一篇文章上，一語道破真情。他寫道：「聶衛平確實比我棋高一籌，但他背著冠軍的包袱，一方面急於求成，想很快取得優勢；另一方面，想利用技術全面的優勢，穩中取勝，這原是兩種互不相容的心理，撞在一起，槍法就有些亂了。而我沒有任何包袱，一上來就竭力拚殺，所以常常能亂中取勝。」細想一下，此話果真有道理，我確實是輸在心理上。
另外我還有一件輸給他的事，不為外人所知。1973年剛集訓時，有一次食堂吃餃子，我那時剛從農場回來，飯量特別大，而且我從小就喜歡吃餃子，所以一下子吃了七十個。這時黃德勛也說他吃了七十個。於是旁邊有人攛掇我們比賽，看誰吃得多，先吃到一百個。我當時也是年輕氣盛，看黃德勛個子比我小，肚子肯定沒我大，就答應了。我們吃一個，旁邊的人就給數一個，我吃到第九十四個時，他連吃了兩個，我實在吃不動了，當場認輸。事後我覺得很奇怪，他怎麼能吃九十六個呢？肯定是前七十個有水分。
這件事當時過去也就完了，可是十五年之後，1988年，方毅副總理在一次全國發獎大會上，開始還表揚我，說著說著突然之間對我提出嚴肅的批評。他說他在報紙上看到我跟人賭吃餃子，這怎麼可以呢？！他說：「你不能因自己的興趣就可以不注意自己的身體，你的身體並不單純屬於你個人，國家培養你不容易，你應該對國家負責。」方毅的話對我感觸很深，使我明白我自己不能隨心所欲地亂來。後來我很自律，比如我從來不賭博，凡是賭錢的東西我絕對不沾，包括打麻將，玩可以，只要帶錢，哪怕是一角錢，我也不打。再比如喝酒，你比我厲害就厲害，我也不比。一是自己注意身體保養，二是不要給國家造成不必要的負擔。
我和黃德勛的關係不錯，他贏了我非常得意，而且正是在我「獨往獨來」之時。我真正翻過身來是1981年，我克服了心理障礙，徹底擊敗了他，以後再也沒輸過他。這件事給了我一個教訓，切不可小看心理因素對棋局勝負的影響。