把冒襄和董小宛分別送走之後的第二天，方以智同黃宗羲一起動身到北京去。
他們搭乘江船過了長江，從鑼鼓喧天、龍舟雲集的瓜州渡口重新進入大運河，到揚州後，換了一隻官船，取道高郵、淮陰，迤邐北上。
一年一度的梅雨季節已經到來。從揚州起航後，日日陰雨連綿，天空變得慘淡無光。兩岸平坦的原野上，水氣瀰漫，遠遠望去，灰濛濛、白茫茫的一片。偶爾閃現出一個村落、幾叢雜樹的影子，也是那般的冷落、荒涼。低矮的船篷上，沙沙的雨點日夜響個不停。潮濕、發霉的氣味從船艙的各個角落裡散發出來，又一個勁兒往衣袖、領子里鑽，使人渾身上下像是泡在無形的涎沫里似的，滑膩膩、黏糊糊，難受極了……
也許是受了這種討厭天氣的影響，兩個朋友漸漸都變得有點悶悶不樂。本來，開頭那七八天，兩人還有說有笑，他們談到了冒襄和董小宛的關係，談到松山的失守和洪承疇的殉國，還談到了復社內部的糾紛和面臨的危機。不過，彼此的見解都不大一樣。譬如：對冒、董的姻緣，方以智表現得頗為熱心，黃宗羲卻持冷淡甚至不以為然的態度；對於洪承疇之死，黃宗羲大表崇敬，方以智卻認為松山之失，洪氏負有重責，他的死無非是逃避罪責而已；對於復社的前途，方以智認為人心已散，事不可為，黃宗羲卻仍舊抱有很大的希望，認為經此一場波折，或者能使對立的各派消除誤會，重新團結起來……就這樣，談來談去，總是談不大攏。最後，只好各自沉默下來，已經有好幾天了。
現在，黃宗羲正靠在船篷上悶頭看書。從另一個角落裡，傳來了金屬輕輕碰擊的聲響——方以智在擺弄著一架不知從哪兒弄來的西洋千里鏡。那是一尺來長的一柄金屬圓筒，兩頭嵌有玻璃。昨天方以智把它一一拆開來，說是要研究一下它何以能將遠處的物象移置眼前。他到底研究得怎樣，黃宗羲也不大清楚。不過後來這千里鏡卻怎樣也裝不攏了。方以智雖然強作鎮定，也已是額頭見汗。昨兒半個夜晚，今兒一個早上，還沒弄好，直到現在還與他的書童方理在那兒忙著。
「密之這人就是好奇太過！也不管懂不懂，拿過來就亂弄一氣。瞧他那著急勁兒，這千里鏡八成是不知向誰借來的，可是稀罕物兒。當真弄壞了，還不知怎麼賠哩！」黃宗羲想，有心過去瞧一瞧，但轉念一想，這玩意兒自己也不懂，過去也是白搭，便仍舊坐著沒動。
然而，想重新安定下來卻也不太容易。那些零件碰擊的「篤篤」聲，以及方以智主僕二人商量的零聲碎語，不斷地往耳朵里鑽，而且變得越來越清晰、響亮，儘管黃宗羲努力收斂心神，他的視線仍舊有好幾次在排得密密麻麻的仿宋字體中迷失了方位。最後，他忍不住了，轉過臉去說：
「若弄不好，先放著，待到了京里，尋個待詔瞧瞧好啦！」
他這樣說了，可是方以智也不知聽見沒有，他一不抬頭，二不作聲，只是把嘴唇抿得更緊，仍然在那裡裝了又拆，拆了又裝。黃宗羲見說他不動，倒也沒有辦法，只好埋下頭去，繼續閱讀；然而，終於又放下書本，站起身，慢慢地踱到方以智的旁邊，開始打量著桌子上那一堆奇形怪狀、神秘莫測的零件。「啊，若說這些東西搭配起來，便能將數十里外之景物移置目前，實在教人難以相信，然而卻又千真萬確。能發明此物之人，豈但技絕人寰，簡直是巧奪天工哩！不道天下竟有心思靈通若此之人，實在匪夷所思！」他驚奇地想。他看了一會，不由自主就心癢起來，輕輕伸出手去，想拿起那片雞蛋大的玻璃鏡片，細細看一看。然而沒等他觸到鏡片，就聽方以智喝道：「別動！」
黃宗羲的手一抖，訕訕地縮了回來。他瞧了瞧方以智，只見他正在全神貫注地研究一隻銅環，把它翻過來倒過去地看了又看，比了又比，似乎根本沒有留意黃宗羲在場，或者雖然留意了，卻絲毫沒有把他放在眼裡似的。站在旁邊伺候的書童方理，卻幸災樂禍地做著鬼臉。黃宗羲的臉驀地漲紅了，他把袖子一拂，氣鼓鼓地走回他的位置去，一屁股坐下來，重新拿起書本。不過，即便是這樣，方以智也仍舊沒有來理會他。黃宗羲愈加氣惱。「哼，好你個方密之，竟然如此傲慢可惡！我倒要看看你到底有多大能耐，能把這千里鏡裝好！」他憤憤地想。
誰知，像是回答他似的，就在這時，方以智驀地發出一聲歡呼：「成了！」
接著，他立即動手，把桌上那堆零件一件接一件地裝配起來。轉眼工夫，一架伸縮自如，同原先一模一樣的千里鏡就擎在他的手裡。他把它湊在眼睛上，試著瞧了幾下，又奔到窗前，對著外面，調節好距離，從左到右，又從右到左地來回瞭望了一陣。終於感到滿意了，他就把千里鏡朝方理的手中一塞，倒背著手，哈哈大笑起來，一邊笑，一邊得意洋洋地在艙內走來走去。
「哈哈，我方某人到底還是行的！什麼西洋奇器，不過如此！任他故神其技，我照樣能無師自通！」他傲然地說，隨即吩咐方理：「去，呈給黃相公鑒定鑒定！」又興沖沖地對黃宗羲說：「太沖兄，經此一番，弟於此物不唯知其然，且更知其所以然了！他日倘有所需，弟照樣能做出一個來！」
黃宗羲沒料到方以智果然把千里鏡裝配成功，他有點意外，也有點佩服。雖然如此，對於方以智適才的傲慢無禮，他仍然感到惱火。所以，當方理把千里鏡雙手捧到他面前時，黃宗羲便氣哼哼地背過臉去，不肯接受。
正在滿心等待朋友讚揚的方以智，看見這情狀，不禁愕然。方理走回去，湊在他的耳邊咕噥了幾句。方以智半信半疑地問：「我當真這等說？」看見方理肯定地點點頭，他又回想了半天，這才恍然大悟地一拍腦袋：「啊，不錯，我影影綽綽是說過這麼句話。當時我眼看要弄通了，覺得身旁有人……原來是……哎，真該死！」他懊悔地跺一跺腳，連忙走過來，對黃宗羲又是打躬，又是道歉。
黃宗羲對這千里鏡本來也產生了興趣，只是被方以智一聲斷喝，掃了興。現在見他一再賠禮，氣也就消了。他一聲不響地從方理手中接過千里鏡，反覆擺弄了一陣，又起身走到艙口去，學著方以智剛才的樣子，對外面觀測了半天，然後把千里鏡交回方以智手裡，淡淡地問：
「適才聽兄自言，此鏡可以仿製，莫非兄果已盡得其中奧妙了么？」
「這個自然——其實亦無大奧妙。」方以智連忙說，「弟已將此鏡之構造繪成一圖，只需覓良工數人，便可製作。」說著，他把黃宗羲引向他原來坐的地方，拿出一張紙來，鋪在桌面上。黃宗羲看見上面寫著「千里鏡圖說」五個篆體字，下面用毛筆描著一架千里鏡，以及它的幾個截面圖形，還有各個零件的式樣，尺寸、比例都注得清清楚楚。黃宗羲反覆瞧了一陣，終於嘆道：
「社兄真可謂聰明過人！我輩雖則也一樣的讀書，唯於此道，卻是萬萬不及了！」
「啊哈，小弟不才，平生所自負者，也就是尚有此一點『聰明』！」方以智說。由於興奮，他那張本來就紅撲撲的臉孔，更加容光煥發了，「不過，西洋之學，只是詳於『質測』，若言及『通幾』，則往往疏拙淺陋。何況他那『質測』，也並未完備。小弟之志，其實並不在此哩！」
黃宗羲瞧了他一眼，沒有搭腔。
方以智卻沒有覺察自己的話又引起了朋友的不快，他依舊興沖沖地問：「我輩生於當今之世，不知社兄以為是大幸耶？是大不幸耶？」
「哦，生當憂患叢集之世，恐怕只能說是不幸吧。」黃宗羲淡淡地說，管自走了開去。
方以智的眼神閃爍了一下，旋即暗淡下去。「小弟知社兄必定這般答我。」他點點頭，嘆了一口氣，「便是弟亦每以輾轉於這憂患之人生，延喘於這昏昧之亂世而咨嗟太息，竟至中夜難眠，悲愁淚下！」他聲音低沉地說，神情抑鬱地望著窗外的茫茫雨霧，以及那一隊背著纖繩、在泥濘的岸邊艱難前進的縴夫，許久沒有說話。
黃宗羲本以為方以智接下來不知還會怎樣自吹自擂，所以故意走開去表示不想聽，沒料到對方卻發出這樣凄苦低沉的嘆息，反倒怔住了。
「然而，回心一想，又不盡然！」方以智忽然轉過臉來，悲傷地、堅決地直視著黃宗羲的眼睛，「當今之世，無疑衰極亂極，病入膏肓，萬難救治。但是，若以文明教化而論，卻昌明鼎盛，遠邁前代！推其故，實因已上承百代之智慧，積之蓄之，育之培之，乃能達此空前勝境。且更有西洋之學，入於中國，可與吾國之學相發明，遂使我輩生於今世，得以坐集千古之智，折中其間，成就一番空前之大學問、大見識，雄視一世，映照先後。如此說來，又是一大幸事了！」
「坐集千古之智，折中其間？」黃宗羲喃喃地重複說，疑惑地望著朋友，並沒有立刻意識到這句話的全部分量。
「不錯！」方以智堅決而自信地說，「以弟觀之，歷來所謂儒者，多有二病：一，窮理而不博學；二，聞道而不為善。無論拘守名教，以尊禮法，還是好作詭異言行