第四屆擂台賽的首場比賽由俞斌對依田紀基。
上午舉行開幕式後，下午我就到鄧小平那裡打牌，順便告訴他擂台賽開始了。他聽後問道，現在形勢怎麼樣？我來時沒看棋，馬上打電話到圍棋會館去問，接電話的人反問你是誰？當時打電話的人很多，他可能都亂了套。我說你連我的聲音都聽不出來了，他說聽不出來，我只好說我是聶衛平。可這位老兄又來了一句，真的假的？我一聽有點冒火，這邊老爺子還等著答覆呢，我不客氣地說這還有假冒偽劣的？他這才聽出我的聲音，告訴我俞斌的形勢一直很好。我這才放了心，回來告訴了老爺子，然後開始打牌。
誰知終盤前不久，俞斌突然逆轉，等我打電話去問，已經輸了，就像病人剛報病危，還沒等你反應過來就死了。我只好如實告訴老爺子輸了。老爺子挺絕的，一邊打著牌一邊用四川話說，沒關係，再來嘛！
回到圍棋隊後，我還給下面的幾位棋手鼓勁兒說，老爺子說了，沒關係，再來嘛！沒想到依田連贏了六盤，反給我們再來了六下。這一下把我逼到了懸崖的邊上，比任何一屆都危險。
我和依田的那盤又輪到在日本下，當時正在漢城舉辦奧運會，「NEC」提出能不能延期，理由是他們想全天同步轉播比賽實況，可是同奧運會的轉播有衝突，他們希望把比賽推遲到奧運會之後。
他們把這個強烈的要求通知了中國圍棋協會，但這件事必須徵求我的意見，我說可以就可以，我說不可以就不可以。那時我的壓力非常大，別看日本圍棋那麼普及，電視台也經常實況轉播，但一般都是下午四點到六點，也就是進行到後半盤的時候。全天同步直播圍棋比賽還從來沒有過，可以說是破天荒的事。他們的真實意圖是期望依田把我一宰，這屆擂台賽就以七比零結束，給我們剃個光頭，把前三屆輸的全都撈回來了。而且當時依田連勝六盤後，氣勢那個盛啊，簡直要撲到你的身上咬你兩口，這種對手太可怕了！
在這種情況下我只有應戰，不能退縮。我同意他們延期和轉播，但有一條，必須把全天的錄像帶給我，我得看一看你是怎麼向日本人轉播的。
後來他們真的給了我一套，完全是比賽和講棋的場面。這個錄像帶我有空就看，前後看了十幾遍，太刺激了。這是後話。
賽前還發生了一件事，我在第一屆「富士通」圍棋賽中獲得第三名，需要去日本領獎。非常巧，領獎的時間正好在擂台賽的前兩天。擂台賽是「NEC」贊助的，我知道「富士通」和「NEC」是競爭上的死對頭，可我和兩邊關係都不錯，於是我就提出能不能將兩次活動並在一塊，一邊負責我去的機票，一邊負責我回來的機票，多停留的兩天一家負責一天，省得我來回跑，對他們也有利。誰知我的建議竟遭到兩家的同時反對，他們堅決表示絕不和對方合作，門戶之見如此之深是我沒料到的。我只好專門去領了一次獎，然後飛回北京，之後再飛東京，無形之中耗費了我不少精力。
對這屆比賽，國內沒給我那麼高的要求，盤數太多了，難免一點差錯都不出。可日本的輿論真絕了，非但不給自己鼓勁，反而給了我一個「鐵門」的稱號，意思是說他們永遠進不了門，剩七個人還得輸。甚至還說我不是人，是專門下來管著他們的神，太可怕了！這也可能是日本人慣用的一種激勵鬥志的辦法，但不管怎麼說，我下決心一定要把依田拿下來，其他的都能輸，就這盤不能輸。
依田當年二十二歲，我三十六歲，雖然他比我年輕十四歲，但一上來我就在氣勢上把他壓倒了，棋也一直處於絕對優勢。可就在快收官時，他突然鬼頭鬼腦地給我出了大麻煩，棋眼看就要發生逆轉。我當時渾身的汗一下子冒了出來，衣服都濕透了，就像到地獄裡走了幾圈似的，痛苦之極！我就坐在那兒不下，不落子，先讓自己冷靜下來，調整好自己的心態，然後再想應對的辦法。
我足足長考了幾十分鐘，把在旁邊觀戰的郝克強都「考」得坐立不安，知道我出了大問題，否則不會在大好的形勢下突然幾十分鐘不走棋。
也是老天有眼，這幾十分鐘讓我找到了化解的辦法，結果沒讓依田佔到什麼便宜。最後贏了他時我都快癱了，真是累呀！
賽後老郝對我說，你這點真讓人佩服，我們本來是不想讓他們轉播的。
我說怕什麼？為什麼他一定贏呀？我贏了不是宣傳我們了嘛。第二天日本報刊上說，依田終究過不了「鐵門」這道關，進不了球。
後來有記者問我一生中印象最深的棋，我永遠都說是這盤。
下一個棋手是淡路修三，他的棋風頑強，很不容易打垮他，日本人稱他為逆轉專家，他專會在形勢不好時出人家的毛病。
這次我沒給他機會，一鼓作氣拿下這盤。
在日本連贏兩盤後，郝克強、羅建文和我一起喝酒慶祝，喝得高興了就想唱歌發泄一下，可那家日本酒館的卡拉ＯＫ沒有中國歌，真是令人掃興。
從酒館出來，已經是深夜了，走在日本的街道上，我們突然大聲唱起「幾度風雨幾度春秋」來。為什麼那麼唱？這些年我們在擂台賽上也是幾度風雨幾度春秋，而且都是在危難時刻才顯了身手。這首歌還特高，唱不上去也扯著嗓子唱，就是要盡情地發泄剛才受到壓抑的情緒，別人一定以為我們是神經病。當時還有個台灣記者前後跟著採訪。
下一輪比賽移到廣州，由羽根泰正攻擂。
羽根和他後面的白石裕實際上是這次日方陣容中最軟的，過去他們兩個從來沒贏過我一盤，每次都是大敗，我以為能輕鬆拿下。事實上這盤棋到中盤時羽根已經大敗，我只要停招，不出毛病就可輕鬆取勝。
我在擂台賽上一貫冷靜，從不犯急躁冒進的毛病，可當時也不知怎麼鬼使神差，忽然產生一個很怪的念頭，為什麼不可以大贏他一把，露個臉？於是就開始和他「配合」了。這時如他單獨一人贏不了我，可有我「配合」，我想吃他，他就藉機往外跑，啪，啪，啪，連著幾手棋，一下子他把我吃了。一個簡單的對殺棋看錯了，輸了兩目半。
這盤棋輸得無法想像，下完後坐在棋盤前一片茫然，簡直不相信居然會輸了。可事實是無情的。
這一輸也就結束了這屆擂台賽，我覺得特別對不起廣東人。我這次來廣州住的是迎賓館的總統套房，來回車隊都是按總統的待遇接待，有警車開道，不得了啊！而且是頭一次在廣州搞比賽就輸了，以後還怎麼敢去？！
下完棋按慣例要和觀眾見面，我真是太難受了，恨不得找個地縫鑽進去大哭一場。結果還是被弄到電視機前，全國現場直播。這時棋迷們送來好多鮮花，絕大部分是送給我的，也有給羽根的，不多。棋迷們紛紛上來和我握手、歡呼，我當時都產生了錯覺，我到底是輸了還是贏了？輸了還給我獻花？廣東的觀眾真是太好了。人家說我當時都掉眼淚了，我是不是掉淚我記不清楚，我反正很激動，那場面太感動人了！
這次日本也跟來了許多記者，他們發回去的報道標題是終於發現我是人，不是神，也有犯錯誤的時候。
說來也很奇怪，我不犯錯誤的時候老也不犯錯誤，即使犯了錯誤，可人家犯的錯誤比我還大，怎麼都不輸。可該輸的時候，多麼好的棋也輸。
到此為止，我在擂台賽上連贏了十一場，這是第十二場。在此之後，我在擂台賽上連出過好多錯誤，都是低級錯誤，不該輸的棋輸半目，而且輸了好幾次，這可能也是天意。
本來李寧約我賽後去深圳出席他的一個告別會，給他捧捧場，棋一輸也沒法去了。當時李寧說你比賽結束了就來嘛。輸了才結束，不輸怎麼結束，他的話有點晦氣。
據我所知，下圍棋的人都有點迷信，所有的人都有，沒有沒有的。比如說你鞋穿哪個，襪子穿哪個都很有講究。如果那次輸了，肯定全淘汰。
贏了肯定把衣服供起來，下次再穿，迷信得很。
比如我就不能在賽前吃一種叫「嚇撲嚇撲」的日本菜，一吃肯定輸，從來沒贏過，非常靈驗。像1998年在韓國和王立誠下「亞洲杯」，頭天晚上不知為什麼安排的就是吃「嚇撲嚇撲」，你又不能說不吃，沒轍，吃就吃吧，果然第二天莫名其妙地出了很多大臭棋，冤極了！這種情況不是一次兩次，我也說不清楚。而吃火鍋牛肉就很少輸。中午我只吃點西瓜，如果吃東西，血液就到胃裡去了，大腦缺氧就會犯困。由於棋緊張，不會有餓的感覺。
這次比賽後有兩個人特別讓我感動。一個是胡耀邦，他在我輸棋的當天晚上就打電話來了。他那會兒已經不再擔任領導職務，正在長沙休養，離他去世還不到四個月。他在電話里說，知道你輸了，心裡肯定不好受，如果你有空的話，到我這兒來散散心。你說這話說得多棒！別的領導對我也很關心，但不像耀邦這樣推心置腹。遺憾的是我20日要去美國比賽，時間安排不過來。另外我要是知道他不久人世，哪怕晚上坐飛機過去，見一面第二天一早就走