1879年8月21日，在日本東京的中村樓上，中日文士近百人濟濟一堂。有人當場酒酣吟詩：
充分表達了對王韜依依不捨的真摯感情。王韜於8月23日離開東京，重野安繹、岡千仞等七位日本友人一直送到橫濱，「情意殷摯可感也」。8月29日，王韜由長崎乘船回國，臨別又向日本友人贈詩：
與王韜交往的日本各界人士，既有政府官員、社會名士，也有詩人墨客和普通百姓；既有學問精深的「東國耆儒」，也有「叩門求見」的少年童子；既有維新志士，也有遺老遺少。儘管他們的地位、身份、經歷、思想傾向不盡相同，但對中國文化的熱愛和對王韜的敬重友好之情，卻是共同的，體現了中日兩國人民的傳統友誼。王韜學問淵博，出口成章，使日本人十分欽佩，「皆願納交恐後」，視之為「人中之龍文中虎」，贊其「囊中詩刻三千首，海外名傳二十年」。甚至說他「嬉笑怒罵無不成詩」。王韜在其《扶桑遊記》中提到的日本友人不下百人，並對許多人加以介紹評論，描繪了明治十三年日本文壇群英的形象。如他稱岡千仞「性豪爽高亢」，贊吉田易簡「為人磊落奇偉」，頌中村正直「文章倜儻稱一時」。
王韜對日本的古典戲劇歌舞伎曾作過細緻的觀察和傳神的描述，稱讚「日本優伶，於描情繪景，作悲歡離合狀，頗擅厥長」。他還對東西方戲劇藝術特點加以比較，認為「東西洋戲劇，魚龍曼衍，光彩陸離，則以西國勝。廬舍山水，樹木舟車，無不逼真，兼以頃刻變幻，有如空中樓閣彈指即現，則以日本為長」。
中村正直也吟詩道：
王韜常與日本友人們暢論天下大勢，比較東西文化。針對當時中日兩國都有一部分人不顧國情主張全盤照搬西方文化的傾向。王韜認為學習西方，應該加以分析鑒別，取其精華，棄其糟粕。他說：「法苟擇其善者而去其所不可者，則今之道矣。」他還指出學習西方文化，要學其根本，而不可徒襲皮毛，「余謂仿效西法，至今日可謂極盛，然究其實，尚屬皮毛。並有不必學而學之者，亦有斷不可學而學之者。又其病在行之太驟，而摹之太似也」。(《扶桑遊記》)
從茲一別七千里，此後重逢五大洲。
天下事今猶可挽，出山霖雨為民謀。
逍遙海外作鵬游，足遍東西曆數洲。
意氣乘風濤萬里，文章經國業千秋。
1879年8月21日，王韜歸國前夕，日本友人為其設宴餞行於東京中村樓。駐日公使何如璋、參贊黃遵憲等也前來赴宴，中日文人學者出席者不下百人。王韜當場吟詩留別日本友人，除本篇一開始所引用的豪言壯語外，還寫道：「瀛州縹渺神仙居，百日因緣亦足喜。」日本文人學者們也紛紛作詩送別。如狩野良知寫道：
19世紀七八十年代，除了中國政府派遣的駐日外交官和訪日官員外，還有一些民間文人學者，東渡扶桑，漫遊瀛島，與日本各界人士結下了深厚的友誼，促進了中日文化的交流。王韜就是其中的一位佼佼者。
王韜周遊日本各地的名勝古迹，用優美的文筆描述了在神戶游千鳥瀑，在大阪觀博覽會，在京都登華頂山，在東京上野觀櫻花，墨江看煙火，以及墨田川蕩舟、日光山觀瀑等等。他還到後樂園懷古，瞻仰朱舜水墨寶，謁拜德川氏家廟，憑弔源賴朝墓冢。
日本友人仰慕王韜的文章學問，要求他寫下日記並在日本發表。王韜應允，故每日必記，信筆所至，皆成文章，宛如行雲流水，情景交融，親切自然，並錄下許多唱和贈答詩文，構成一部文筆優美的日記體詩文集，即《扶桑遊記》，全書近四萬言，分上中下三卷，由日本報知新聞社出版，當年冬就刊出上卷，次年夏出齊。此書問世後，中日兩國知識分子競相爭讀。日本文人皆以名列其中為榮，中國文人也從中了解日本社會和文壇的風貌。
兩國相通三千年，文士來游自吾始。
敢雲提倡開宗風，結社清華爭倒展。
某年日月我去來，大書特書補青史。
王韜在日本曾給很多日本友人贈詩、題字、作序、改文，在他的訪日日記《扶桑遊記》中記錄了大量唱和詩篇，並記載他如何為本多正訥的《清史逸話》作序，為宮島誠一郎的《栗香詩鈔》改詩，「竭三日之力始畢」。王韜還把帶到日本的一批自己的著作如《普法戰紀》、《瀛壖雜誌》、《弢園尺牘》等書16部78本送給東京府書籍館(今東京圖書館的前身)。作為交換，該館也回贈王韜《大日本史》100本和大小地球儀兩個。其交換文書至今還保留在東京上野圖書館。
那忍匆匆分手去，天涯好會再難求。
王韜還深入考察了中國文化在日本的影響及其變化。如敘述東京的孔廟已改成圖書館，「舊幕盛時，事孔聖禮極而隆盛」，而「維新以來，專尚西學，此事遂廢。後就廟中開書籍館，廣蓄書史，日本、中華、泰西三國之書畢具，許內外士子入而縱觀。」他在日本還發現了不少在中國已經佚失或罕見的珍本秘籍。如在重野安繹處見到清初文人孫豹人的《溉堂文集》，感慨「此集在中土甚少，不知何年流入日東也」。