1979年，我的圍棋事業似乎達到了巔峰狀態。這一年裡，我不但在第五屆全運會上，第四次蟬聯了全國冠軍，還獲得了第一屆「新體育杯」賽冠軍和在東京舉行的第一屆「世界業餘圍棋錦標賽」冠軍。除此之外，在和日本九段高手的全部二十五局比賽中，我勝十六局，和兩局，負七局，為此我榮獲了國家體委頒發的體育榮譽勳章，並被評選為首屆全國「十佳」運動員。
根據我的比賽成績和競技狀態，當時棋界有很多人認為，今後的十年仍將是聶衛平的天下。就這種看法，曾有人問過我的感想。我回答：十年畢竟太長了，我不敢說就沒人能超過我，但是起碼五年之內，不會有人能夠威脅我。說這話的時候，真是躊躇滿志啊！
不料，就在我笑傲棋壇之際，一陣衝擊聶衛平的疾風已在我腳下捲起……1980年初秋，全國比賽在四川省樂山縣的凌雲寺東坡樓舉行。凌雲寺是著名的旅遊勝地，聞名中外的「樂山大佛」就在此處，可我卻沒能樂得起來。
在此之前，我們先到昆明參加了一個「雲子賽」，我又以全勝的戰績獲得了冠軍，所以對這次全國比賽是信心十足，大有「冠軍非我莫屬」之勢。
沒有想到第二戰對河南小將劉小光就馬失前蹄，頓時給我的衛冕投下一道不祥的陰影。
本來勝敗乃兵家常事，可我衛冕之心太切，一受挫折就急躁起來。第四局對馬曉春，竟然一反自己的棋風，主動去和對方亂拼亂斗，結果再度敗北。以後便「兵敗如山倒」，接連敗給了陳祖德、華以剛、黃德勛，最後連前六名都未能進入。
這真是一次名副其實的慘敗，不僅我做夢都想不到，而且整個棋界都感到震驚。《體育報》還將我的樂山慘敗列為1980年的十大體育新聞之一。輿論界的看法是：樂山之役，無疑標誌著聶衛平獨霸棋壇的時代已經過去，劉小光、馬曉春等新秀正在迅速崛起。當然還有更多的人在驚訝之餘，感到十分迷惑，紛紛猜測：聶衛平是怎麼搞的？是不是真的要「改朝換代」了？
其實真正的原因只有我自己心裡明白，只是不便說出口罷了。從樂山鎩羽歸來之後，我曾仔細地研究了自己的全部對局，不可否認，劉小光、馬曉春等青年棋手確實有了長足的進步，我們之間的差距大大縮小了，但我確信他們還沒到足以擊敗我的程度。我還是敗在我的失常表現上。我為什麼會如此失常呢？這要從我們新來的領隊胡昌榮說起。
胡昌榮是個很認真的人，學識也很淵博，我們經常在一起聊天。他也是久病成醫，有一次他對我說，他認為我內分泌有問題，建議我去醫院看看。我真的去了同仁醫院找了一個很有名的老中醫皖海洪看了，他說我是陽太盛，造成陰陽失調，需要調整。他讓我吃中藥。我說吃中藥沒問題，可我不喜歡吃需要熬的湯藥，一是我沒時間熬藥，二是我也不會熬。再說我經常到外地比賽，總不能到哪兒去都背個藥罐子呀！我提出能不能吃丸藥。他說丸藥沒有現成的，但是可以到藥房去做。於是我拿著他開的藥方，到各藥店去配，配齊了拿到藥房製成一大批丸藥。
我當時把藥方給胡昌榮看過，他說皖大夫下手特別重，但我必須遵醫囑，什麼都聽大夫的。開始我有點不太適應，可過了幾天之後就覺得離不開了，而且效果特別好，吃了它覺得腦子特別清楚，真是心明眼亮，下棋老贏，我還以為自己水平提高了呢，很是高興。
在去樂山前我先去了昆明，參加「雲子杯」全國邀請賽，我以為帶的葯足夠了。賽後我從昆明直接就到樂山，一到樂山我發現葯沒了。葯的勁兒很大，我也已經習慣，突然不用了，說得不好聽點，就像突然戒了毒似的，那幾天我簡直難受極了，晚上覺都睡不好，經常失眠，白天也沒精神。那次比賽我真是逮誰輸誰，而就在一個星期前，我在昆明是逮誰贏誰，一盤也沒輸。
這件事我始終沒有對外講過，我怕人家說我輸棋了，就找借口。現在我講出來的意思是說，人不是計算機，在比賽中，除了技術之外，人的情緒、思想、心態、疲勞程度，甚至健康狀況都能起很大的作用，如果調整不好，就會對比賽產生很大的副作用。
這次使我知道了葯的厲害，儘管對我確實有用，以後也不敢再吃了。
萬一再出現沒藥的情況怎麼辦，還是不吃為好。
這次比賽，由於我的慘敗，使劉小光和馬曉春分獲冠、亞軍，一下子就起來了。這有點像宮本直毅輸我的那盤棋，有時候老棋手就是要輸給年輕棋手才能把他們扶起來，就像用自己的肩膀讓他們踩一下就上去了，不管你願意不願意。這確實是很「殘酷」的，但這是競技場上的規律，不以人的意志為轉移。
不管怎麼說，樂山慘敗向我敲起了警鐘，要想奪回失去的冠軍絕非易事，今後等待著我的將是更為艱難的征途。
1981年，我又恢複了本來面貌，在溫州的全國比賽中，我勢如破竹地戰勝了所有的強手，以較大的優勢將冠軍重新奪了回來。但在賽程中卻輸給了實力相對較低的羅建文，我都看不懂是怎麼輸的。羅建文的棋風飄忽不定，變幻莫測。我在「輕靈轉身」方面向他學到過不少東西，可惜他的棋有時「輕妙」得有些過分，顯得力量不足。我常開玩笑地把他的棋稱為「輕骨頭」。如果羅建文把棋下得厚一些，他的棋一定很厲害。但不客氣地講，羅建文是個不太用功的天才。1980年以後，他的興趣曾一度轉到烹飪上，拿他自己的話來說，就是「烹調技術越高，棋下得越臭」，當然，這是他的自嘲。可有趣的是，在這次全國比賽中，他逮誰輸誰，連吃敗仗，卻偏偏贏了分獲冠亞軍的我和馬曉春，這也真夠絕的。於是他詼諧地宣稱，這是由於刀下不斬無名之輩的緣故。
接著，在「新體育杯」中，我以三比零的壓倒優勢擊敗了挑戰者曹大元。此外我還獲得北京棋院舉辦的第一屆「國手戰」冠軍。這樣，在一年之內，我把當時國內所有的圍棋比賽的冠軍，通通奪了過來，集三冠於一身，又成了棋壇的「霸主」。