紀曉嵐晚年，對圍棋有著濃厚的興趣。並且自號「觀弈道人」。他有兩套特別的棋子，都是天然石料，圓潤秀美，是朝鮮使臣鄭思賢贈給他的。黑子是海灘的碎石，被多少年的潮水沖激而成；白子是一種貝殼，也讓海水打磨得晶瑩透亮。
兩者雖不是難得的物品，但撿尋起來，取其厚薄均勻、輪廓圓滑、色澤一致的，卻要頗費功夫，非一朝一夕之力所能得到的。紀曉嵐非常喜愛這副棋子，放在書齋裡面，閒來把玩，後來被其友人范大司農取去。范氏死後，不知棋子下落，曉嵐為之惋惜不已。
紀曉嵐與竹林寺主持了雲和尚，是一對棋友。一日午後，曉嵐趨訪竹林寺，時逢了雲和尚外出未歸，曉嵐就獨坐廊下等候。及了雲和尚歸來，曉嵐施禮誦道：「竹林等僧歸，雙手拜四維羅漢；月門閒客住，二山出大小尖峰。」「四維」合為「羅」，下聯中「月門」合為「閒」，「二山」合為「出」；「大小」顛倒相疊，正是一個「尖」字。上下兩聯，可謂絕妙之對兒。
曉嵐與了雲和尚，下棋起來便忘記一切，直至深夜仍不肯罷休。小和尚來報，夜深寺門已閉，曉嵐擲子以「閉」字出聯：「門內有才方是閉」；了雲隨口答道：「寺邊無日不知時。」
足見了雲和尚也是一位飽學的高僧。
在兵部尚書任上，紀曉嵐曾督師赴粵。有一天晚上，和一位王姓棋友下棋，曉嵐的棋藝本不如王某，但是一晚上卻連勝兩局，心中正感奇怪，意欲動問，王某卻先開了口：「貴屬劉鼎臣，承蒙紀大人器重，感戴至深，如今有個請求，托兄弟代陳，不知該說不該說？」「噢，原來這就是你今晚輸棋的原因！」紀曉嵐面有不悅之色，「有話請您講吧。」「事情是這樣的」，王某小心翼翼地說：「劉兄想謀陽朔縣的縣令，希望紀大人鼎力成全。」「想做縣令，還要選地方？哪有這麼如意的事？」紀曉嵐的話語，帶著一股譏訕的意味。
「紀大人乃是當今朝廷的重臣，聖眷隆渥。如肯出面保薦，想必不成問題。」王某陪著一副諂媚的笑臉，說出這幾句恭維之詞，顯然是事先準備好了的。
紀曉嵐站起身子，背剪雙手，搖搖頭說：「倘若官可自擇，在下寧肯放棄一品大員不幹。做一名陽朔令，於願足矣！」「紀大人您真會說笑話！」王某不相信紀曉嵐的話。
紀曉嵐正色說道：「這是我的肺腑之言，絕不是同你說笑話。」「這是為何？」王某不解地問。
「陽朔山水，秀甲天下！」紀曉嵐說：「我閱兵過陽朔遊覽，至今仍夢寐不忘，若是能為陽朔令，置身畫山繡水之間，其樂無窮，何復他求？」王某囁嚅著還想再說什麼。紀曉嵐冷冷說聲：「不必再講了。」說畢拂袖而入，從此不再跟王某下棋。
屬吏劉鼎臣，聽說這回事後，自慚形穢，便辭職離去了。
紀曉嵐棋癮雖大，但不計較勝負，他常引用蘇東坡的一句詩說：「勝固欣然敗亦喜。」又極推崇王安石的觀點：「戰罷兩套收黑白，一樣何處有虧成？」早年在家鄉讀書時，紀曉嵐曾聽從兄紀方洲講過一個故事：景城真武祠中，有一道士酷好下棋，人皆稱之「棋道士」，反倒隱沒了本來的姓名。一日，方洲來到棋道士居處，見几上置一棋局，只三十一子，心想是棋道士外出了，就坐下來等待。忽然聽窗外有喘息之聲，走出來看時，原是棋道士和一個人奪一棋子。四手相持，力竭一齊倒地，而喘息之聲大作。為爭一局勝負，爭執如此實在可笑。
紀曉嵐又曾聽從兄紀坦居講，丁卯鄉試時，見場中有兩個考生，畫號板為棋盤，拾碎炭為黑子，剔碎白灰塊為白子，對著不止，終場時，兩人一齊交了白卷。紀曉嵐認為，對弈之事，「消閒遣日，原不妨偶一為之；以為得失喜怒，則可以不必。」紀曉嵐浮沉宦海，對世態炎涼感受頗深，也將之比作局中對弈，更頗有一番哲理。他的結論是：不求勝負，「言則易耳」。
從烏魯木齊被召京城的那年冬天，有人拿來一幅《八仙對弈圖》，求他題詩。上面畫的是韓湘子與何仙姑對局，呂洞賓、漢鐘離、藍采和、張國老和曹國舅，五仙旁觀，而鐵拐李超然局外，躺在樹下的石頭上，枕著葫蘆酣然而睡。此畫意境深遠，頗富啟迪人生的意義。紀曉嵐為之所動，題詩兩首。
其一
十八年來閱宦途，
此心久似水中鳧。
如何才踏春明路，
又看仙人對弈圖？
其二
局中局外兩沉吟，
猶是人間勝負心。
哪似頑仙癡不省，
春風蝴蝶睡鄉深。
紀曉嵐自跡生平，也同蘇東坡、王安石一樣，只是說說罷了，未能自踐其言。他自號「觀弈道人」，也只是一種良好的願望罷了。
他與和珅的爭鬥，此時期雖然顯得風平浪靜，但在心中一刻也未曾休止過。只是曉嵐看皇上偏袒和珅，和珅更是有恃無恐。於是，曉嵐時時注意迴避，避免與和珅正面交鋒，像局外觀棋一樣，靜觀默察。
丙午年，和珅指使家人劉全，在京中買了一處地盤，為和珅營造府第。為了免除朝中大臣的議論和彈劾，一切事宜都用劉全的名義辦理。但其建造格局，超出了清廷的規制，被人們看了出來，引起朝官們的義憤。清朝建造房屋的規格是很多的。比如除皇帝外，任何人都不得用黃琉璃瓦和綠琉璃瓦；房的規模，王爺也不得超過六六三十六楹房屋的房間數，不得超過九百九十九間半。超過了便算違制，應受到處罰。
御史曹錫寶與紀曉嵐私交甚深，曾隱語說出要參劾和珅，紀曉嵐也不好明說，就以宋人《詠蟹》詩中的兩句贈曹錫寶：水清詎免雙黧黑，秋老難逃一背紅。
意思是說，現在參劾和珅，恐怕時機不夠成熟。但曹錫寶沒有聽從紀曉嵐的告誡，毅然上了一道奏章，參劾和珅家奴劉全建造房屋規模宏大、服用奢侈、器具完美，恐有倚借主勢，招搖撞騙之事。
乾隆皇帝當時在熱河行宮。看過奏摺，心中明白「醉翁之意不在酒」，狀告劉全只是虛晃一槍，鋒芒所指是對準了和珅的。皇帝知道曹錫寶與紀曉嵐有私交，便懷疑是紀曉嵐因上年海升毆死妻子吳雅氏一案，對和珅心懷仇恨，唆使曹錫寶參奏，以圖報復。
六月底的一天，紀曉嵐在直廬當值，忽聽傳來一聲：「左都御史紀昀接旨。」紀曉嵐趕忙跪在地上接旨，原來是乾隆皇帝給軍機大臣和他本人的諭旨：「前據曹錫寶奏：和珅家人劉全房屋宏大、服用奢侈、器具完美恐有招搖撞騙等事一折，已交留京王大臣等查辦矣。曹錫寶如果見劉全倚藉主勢，乃徒托諸空言！或其言本欲參劾和珅而又不敢明言，故以家人為由，隱約其詞，旁敲側擊，以為將來波及地步乎？或竟係紀昀因上年海升毆死伊妻吳雅氏一案，和珅前往驗出真傷，心懷仇恨，嗾令曹錫寶參奏，以為報復之計乎？此乃朕揣度之意，若不出於此，則曹錫寶之奏何由而來？著留京王大臣，詳悉訪查詢問，務得實在情節。
朕於此案總期根究明白，並非因此一虛言欲治和珅，更非欲為和珅開脫。留京王大臣等不可誤會朕旨，將曹錫寶加以詞色，有意吹求，使原告轉為被告，亦無是理。務須平心靜氣，虛衷詳問。如曹錫寶果能指出全兒借端撞騙款跡，訪查得實，即一面從嚴審辦，一面據實具奏，不可同和珅稍存回護。若稍存回護，是乃陷和珅亦自陷也。」「又據和珅稱：家人全兒已到熱河，曾面加詰問。伊供：『不但從不敢招搖滋事，交接官員，即所謂房屋寬敞，器具完美，容或有之，亦非可挾以出外之物。我於曹御史名姓素未聞知，彼又何從目睹，等語，雖係一面之詞，亦尚近理。曹錫寶身為言官，必不至下交奴僕，其車馬衣服，尚可雲遇諸路途，至房屋寬敞，器具完美，非身臨其地何能知悉乎？至全兒代伊主辦理崇文門稅務有年，稍有積蓄，蓋造房屋數十間居住，亦屬事理之常。從前及現在，內外大臣家人中似此者恐亦不少，若無似殷士俊等之有真贓實據，概以車服房舍之故，查拿治罪，則在京大臣之僕，安得人人而禁之！且必人人側足而立，亦斷無此政體。設或全兒在崇文門代伊主經營稅課，於額稅之外私有加增，若累商民以肥私囊，綿恩簽派番役，一經訪查無難得實。儻王大臣等嚴行察訪，全兒並無生事疑跡，而曹錫寶徒以無根之言，遽行陳奏，以博建白之名，朕又何能以空言遽入人罪乎？將此由四百里諭令留京王大臣等並令紀昀知之。即將查訊情形先由四百里馳奏，不必俟本報之使。欽此。」
聽完皇上的諭旨，紀曉嵐不由驚出了一身冷汗。儘管皇上擺出的是一副公正無私不棄不倚的面孔，但這裡邊的真意，正是對和珅的偏袒回護，紀曉嵐心想本來自己沒參與此事，是局外之人，皇上卻偏偏把他拉進來。假如曹錫寶不能指實，因而獲罪，就要株連到我頭上，這便成了對局者負局，觀弈者獲罪了。
紀曉嵐回到家中，坐臥不安，更不敢與曹錫寶接觸，唯恐授人把柄。那年因盧見曾案所受牽連，至今他心有餘悸。再說眼前這件事，如果不把別人牽扯進去，即使曹錫寶不能指實，皇上也可能會寬宥。因