有一個安定的家庭環境，沒有後顧之憂，心裡就不容易躁，就容易發揮水平。
我和孔祥明在1965年就認識了，那時她作為成都的代表，我作為北京的代表，一起參加了在成都舉行的全國少兒圍棋比賽，那年她十歲，我十三歲，還處於少年時期。
1973年國家體委組建圍棋集訓隊，我和她都應召入隊，這樣她來到北京，我們開始朝夕相處。這時她已經出落成十八歲的少女，我也二十一歲了，正所謂青春年華。由於過去就認識，我們之間的關係很好，經常在一起擺棋復盤，談經論道，奇怪的是我從來沒有往其他方面想過，只把她當做一個很不錯的小師妹。
1973年我們集訓隊到成都巡迴比賽，認識了不少四川下棋的女孩。那時我雖然剛從農場回到北京，還沒進入職業棋手的角色，但在年輕人中棋力高一大塊，她們水平低，都願意跟我學棋。
在學棋過程中，有三個女孩同時向我發動猛烈攻勢。其中有一個姓賀，是一位省長的女兒，我對她的印象最好，我們的關係很快就發展到白熱化程度。我曾對羅建文講，我這輩子可能就交給她了。我到過她家，她也來過我家，雙方的家長都很滿意，認為萬無一失。
可就在這時情況突然發生變化。小賀和我一樣，喜歡打牌，按說有共同的愛好是件好事，可她特別好強。1976年在安徽參加全國比賽間隙，我們圍棋隊的幾個人在一起打牌，她和我搭檔，因為打牌我們發生了劇烈的衝突，冷靜下來後，我認識到我們都太好強了，不知道互相謙讓，將來在一起生活肯定不幸福，因此我十分理智地決定和她分手。
後來她曾找我希望挽回，我表示已無可能。我沒有告訴她原因，就說咱們完全不合適。那時正是日本人捧我為「聶旋風」之後，圍棋隊的人都認為我地位變了，把人家給甩了，覺得我太不像話，全國圍棋界也對我印象不好，但我始終沒有解釋過。
幾個月後事情發生變化，過去譴責過我的人也覺得可以理解我了，可能是有人透露出事實真相。後來小賀去了加拿大，在那兒結了婚。我由衷地祝願她幸福美滿。
和小賀分手後，有不少人為我介紹過女朋友，有一次一天就給我介紹了十來個，搞得我眼花繚亂，這也不錯，那也可以，不知道該跟誰好，可最後一個也沒成，甚至連名字都沒記住。
這期間要說給我印象最深的是個叫小白的女孩，她父親是國家體委的幹部。她對我挺好，也很主動，晚上老到我們宿舍來找我。我不覺得她特別好，也不覺得她不好，只覺得可以交往，試一試。那時我正帶馬曉春，他還很小，才十四歲，不大懂男女感情之事，整天圍著我轉，趕都趕不走，小白想趁沒人時跟我親熱一下都不行，所以小白特別討厭馬曉春。父親住院期間，小白還主動去醫院看過我父親，我也到她家去過幾次。
交往了一段時間後，我覺得我們之間不合適，我父親和我姐姐也都反對，於是我想和她分手，可我不知道怎麼跟她說，也不敢去說。我就拉上華以剛一塊請小白吃烤鴨，吃完飯我找個茬先溜了，讓華以剛替我跟她說不行。之後華以剛對我說，他這輩子就干過這麼一件惡劣的事。
這件事對小白的打擊非常大，不到一個月她就和一個日本人結了婚，之後去了日本。後來我在飛機上碰到過她兩次，還談了話，沒什麼感覺，不像跟章婭似的。
還有一次在人民大會堂碰到周寺觀老人，他是老政協常委，跟周總理關係特好，在民主人士中有很高的威望。他也要幫我介紹女朋友，並保證讓我滿意，最低也是九十分。我沒法拒絕，就如約來到他家。
我剛走進客廳，就看見沙發上坐著一個女孩，長得確實漂亮。周老給我們介紹完就閃開了，我們就在客廳里聊了起來。開始她給我的印象還不錯，可是聊了一會兒我發現凡是談的帶有知識性的話題她基本上不懂，她只對認識名人，掙多少錢感興趣，給人的感覺名利心很重，素質不高。我對她沒有再見面的慾望。我當時不太懂，在正常的情況下談到這種地步就應該早點走了，可我和她一直侃到夜裡兩三點，困得不得了，也沒地方去了，只好在周老家的沙發上湊合過了一夜。周老見我們談了這麼長時間，還以為成了呢。
我爸爸也給我介紹過他們單位一個老同事的女兒，這個最難辦，他問我怎麼樣，我只能說還不錯，實際上根本不行。她人是真不錯，挺能說，也很有知識，各方面都挑不出毛病，可就是沒感覺，這是最致命的一條，反而不好意思說。我就採取消極的態度，她感覺到後自己就算了。
在一個個都不行之後，我的婚姻成了「老大難」。1979年國家圍棋隊到日本訪問比賽，我和孔祥明都去了。在一次和日本棋手的聚會中，大家互相開玩笑，一個日本棋手說，陳加銳對孔祥明有意思。陳加銳原是我國的七段棋手，後去了日本，那天也來了。這時我們的一名棋手馬上反駁說，你瞎說，孔祥明早就跟聶衛平了，根本不可能跟陳加銳。
本來我沒有認真考慮過這個問題，可當著那麼多人的面猛地提出來，顯得特別敏感，而且我突然發現小孔真的對我很好。這有點像我們棋手下棋，有的時候需要長考，一長考就是一兩個小時，可決心一下，「啪」的一著就解決了。我的婚事就「長考」了幾年都沒結果，在那個偶然的場合一下子就給捅破了。我半開玩笑地問，這是真的嗎？我這是試探，把球踢給了小孔。小孔在眾人的目光下扭扭捏捏地說，可能是真的吧。她回答得很微妙，沒有明說，但我馬上就明白了，這是真的。
回到北京後，我們很快就結了婚，真是「眾里尋她千百度，驀然回首，那人卻在燈火闌珊處」。
小孔在圍棋上對我的幫助是很大的，特別是在精神上給我很大的鼓勵。還在擂台賽之前，她就鼓勵我要敢贏日本的超一流棋手，那時中國棋手還沒有戰勝日本超一流棋手的記錄。我說即使我不行，我後面還有我的學生。她說不對，在你能完成的事，你為什麼要留給後人呢？！她還說，你有能力把棋下好，什麼樣的日本人你都能贏。
這番話對我真是刻骨銘心，她說這話時的情景至今歷歷在目。以後的實戰也證明她的話是對的，我戰勝過所有現役日本超一流棋手，做了我應該做的事，在我成功的後面，有小孔很大的功勞。
1981年，我們的兒子降生，那時我不在北京，正在外地參加全國比賽。
按照預產期計算，我知道她已經生了，可那時通訊還很落後，很難打長途電話。回到北京，我就給家裡打電話問是兒子還是女兒。我當時打算如果是兒子我立刻就趕回去，如果是女兒我就先洗個澡收拾收拾再回去。說實話，我是喜歡兒子的，有點重男輕女的封建意識。
我弟弟接的電話，他告訴我是兒子，我放下電話立刻就回去了。我進屋時，小孔躺在床上，兒子就在她旁邊。我第一眼看見他時都不敢相信這就是我的兒子，他長得很小，小極了，樣子非常可愛。我把他抱起來，心裡特得意。我給他起名聶雲驄，意思是雲中的駿馬。
離婚之後反思我們的關係，我認為有一步最大的「漏算」。在事業上我們有共同語言，這是沒得說的；在家庭生活中她也很能幹，持家是一把好手，另外很會關心人，這些都是她的重大優點。我們「漏算」的是兩人的個性，或者說是興趣愛好。可以這麼說吧，除了圍棋之外我們的興趣愛好截然相反，作為朋友這無所謂，可是作為夫妻問題就嚴重了。
比如我喜歡打橋牌，有時還把人招到家裡來打。小孔對打牌反感之極，短時間還問題不大，長時間就無法容忍了。沒辦法，我就出去打，很晚才能回來。她明知我去打牌還要問怎麼這麼長時間不回來，問得我很煩。她還特別討厭我和女牌手一塊打牌，認為我打牌是假的，和那些女的來往是真的，說的話都出了格，這也使我無法忍受。打橋牌本來是一種很好的業餘愛好，對我來說也是一種調劑，有什麼不好？可她就偏偏反對。人就是這樣，你越不讓我打我偏打，還就跟女的打，故意讓她看。在打牌的事上我們搞得很僵。
另外我還喜歡足球，可以這麼說，凡是爭勝負的我都喜歡。這個她也不喜歡，而且一點都不看。我多次跟她講你也陪我看一場足球，可她從來沒給過我這個面子，直到我們的關係出現危機時，她才陪我到外面看了一場，當時我們雙方都在努力盡量做得好一點，實際結果卻是沒用的。
相反，她喜歡的花樣滑冰、花樣游泳、藝術體操、音樂會等等，我是一點興趣都沒有。我記得我陪她聽過一場音樂會，我真是太難受了，異常的痛苦，雖說是陪下來了，可心想下次再也不幹這樣的事了。我認為最大的失誤就是婚結得太倉促了，如果多聊聊、多接觸一段時間就好了。
有一段時間，報紙上猛烈地宣傳我們夫婦如何如何，還稱孔祥明為「賢內助」。我記得「賢內助」這個詞就是那時叫響的。我看了報太難受了，因為那時正是我們的關係最危險的時候，而且我還不敢動