陳祖德是我非常尊敬的一位棋手，他是第一位戰勝日本九段的中國棋手，也是「中國流」的首創者，他在中國圍棋史上的地位是不可否認的。
關於我們之間的關係社會上有些傳聞，其實我們的關係是很正常的，有些事被誇張或曲解了，在這裡有必要說明一下。
我和陳祖德曾經打過一架，而且雙方都動了手。那還是1973年在國家集訓隊的時候，那時我們住在一個宿舍里。本來我們的關係很不錯，他水平高，又是我少年時的崇拜對象，所以我一直把他當成「老大哥」。我有個朋友叫江鐵成，有一次他來找我玩，看見陳祖德有一本世界名著，就想讓我跟陳祖德借，並說保證能還。具體是什麼書我記不得了，因為那時我光看棋書，對其他的書都沒興趣。於是我就找陳祖德把書借來，給了江鐵成。
過了一段時間，陳祖德要我還書，這也是很自然的事。我就找江鐵成要，他說書弄丟了，這一下可把我急壞了，那時還在「文革」期間，像這種世界名著都屬於「禁書」，根本就沒地方去買。我急得跟江鐵成翻了臉，把他臭罵了一頓，可書拿不回來了。沒辦法，我只好把實際情況向陳祖德說了，我說書並不是我借了看，而是礙於面子幫江鐵成借的，現在他把書給弄丟了，沒法還你，以後再想什麼辦法補救。這事確實是我不好，我一再對他表示道歉。江鐵成也是羅建文的朋友，他也知道我沒亂說。
沒想到陳祖德給我來了一句「流氓」！說我是用惡劣的手段把他的書佔為己有，說著說著說急了，突然就動手打我。開始我還不敢還手，可他不停手，終於把我打急了，就跟他打了起來。我一生只打過兩次架，一次是在農場，那人不給我水喝，我把他打得昏了過去。再有就是這次。我平時不打架，一打就是一副拚命的架勢，可能把他打得挺厲害的，當時還引來很多人看熱鬧。
這事起因是我不對，不管怎麼說是我從他那兒借的書，應該還人家。
可是別人把書弄丟了，我也是無可奈何。我知道那本書很珍貴，特別是在那個時期，很可能是冒著很大風險才保存下來的，不像現在隨便就可以買到；也許這本書他也是借的，丟了沒法向人交代；也許這本書對他也有著特殊的意義。我們棋手有一個最大的原則，不能失信於人，所以他一聽丟了火氣很大。這些我都可以理解，心裡也很內疚，而且直到現在都很內疚。
可再怎麼說也不能動手打人呀！這對我的自尊心傷害很大。我現在在圍棋隊對晚輩棋手，發現誰有不對的地方，我可以說他，甚至「罵」他，但不可以打他，一打就傷害人格了。
這件事發生後，直接影響了我和陳祖德的關係，致使我們只能保持一般的同事關係，不可能成為關係密切的好朋友。我從來沒有主動到他家拜訪過，都是因為工作打電話叫我去我才去的。
還有一次是1980年在成都舉行的「新體育杯」賽上，一天夜裡，陳祖德忽然便血，馬上送進醫院檢查，查出癌症，不能參加比賽了。當時我們都不知道他得了什麼病，醫生保密，跟他本人也保密，我們只知道他的病較重，不能出院。後來他的夫人鄭敏之和羅建文專程從北京趕來，在醫院陪他。我們還在繼續比賽，那年是吳淞笙獲得挑戰權，我以三比一衛冕成功。
那時我們在外地比賽不是很多，偶爾才能去趟成都。比賽期間，四川的朋友請我、吳淞笙和華以剛等人吃了一次飯。這本是很正常的事，可陳祖德的夫人卻不知聽信了誰的傳言，說我、吳淞笙，還有圍棋隊的許多人，聽說陳祖德得了癌症，在一起喝酒慶祝。真是無稽之談！陳夫人就此事向金明等中央領導「告狀」。本來我還不知道，是金明問我才知道有這回事。
我怒得不得了，怎麼能這樣毫無根據地「誣陷」別人呢？我把真實情況和金明說了，他本來就不相信我會幹這種事，而且涉及圍棋隊那麼多人，怎麼可能呢？！
也許陳夫人覺得陳祖德是當時的第一把手，是我把他給贏了下去，因此認為我們有很大的矛盾。其實我從來沒覺得我們之間有什麼大的矛盾，平時我們的關係還可以，我們可能不是非常要好的朋友，但作為棋手之間的友情是永遠都存在的，我怎麼可能得知他患了癌症去喝酒慶祝呢？那絕對不是我聶衛平的為人！真那樣的話，我這個人未免也太「惡劣」了。
陳祖德一直是我的上級，曾經任中國圍棋協會主席、中國棋院院長，至今我都認為陳祖德是一個非常正直的人，各方面都值得尊敬、學習，我和他沒有什麼利害衝突。雖然當面也爭吵過，都是因為在業務和技術上有不同的看法，這也是很正常的。總的來說，我們的關係是正常的，年輕時曾經發生過的一些「不愉快」的事已經過去，我們正本著「向前看」的原則，為中國圍棋事業的發展攜手共進。