羅森後來寓居香港，史籍少有記載，實際上他與日本人士仍有來往。1865年，日本政府派遣高級官員柴田剛中為橫須賀煉鐵廠聯繫原料技師赴歐途經香港時，曾在旅館與羅森會晤，第二天羅森還到柴田乘的船上話別，並送他七本書。
雙輪撥浪如奔馬，一舵分流若耿虹。
漫道騎鯨沖巨浪，休誇跨鶴振長風。
琉球乍別雲方散，日本初臨雪正融。
暫寄一身天地外，知音聊與訴離衷。
1853年7月，美國東印度艦隊司令培理海軍准將率領四艘美國軍艦組成的遠征艦隊，駛進了日本德川幕府所在地附近的江戶灣(今東京灣)，要求日本開港通商。由於美國軍艦船身漆成黑色，蒸汽輪船又冒著黑煙，因此日本人把他們叫做「黑船」。在美國的武力威脅下，幕府被迫接受了美國總統的國書，並答應明年給予答覆。1854年2月，培理艦隊再次開入江戶灣，幕府只得派代表與培理在橫濱談判。在談判中，日本人驚奇地發現從黑船上下來的美方人員中有一位中國人。當時日本畫師鍬形赤子曾奉命為美方人員畫像，其中就有一個圓臉，拖著長辮，戴著瓜皮帽，手持摺扇、矮矮胖胖的中國人，旁邊寫著「清朝人羅森」。另外還有幾幅他打傘、搖扇和寫字姿態的畫像。在當時參加接待美方代表的日方人員的筆記、日記和雙方會談記錄上也常常可以看到羅森的名字和記載。
那麼，羅森究竟是個什麼樣的人物，他怎麼會與培理艦隊一起來日本的呢？羅森，字向喬，廣東南海縣文人。他在香港居住時曾與英美傳教士有來往，會說一點英語。他的朋友美國傳教士衛廉士是培理艦隊日本之行的翻譯官，1853年首次赴日期間，他感到與日本人打交道、訂協議都離不開漢文。因此1854年培理艦隊再次出發去日本時，便邀請友人羅森充任艦隊的漢文翻譯。羅森感到這是一個開闊眼界、施展抱負的機會，便接受邀請同赴日本。
許多日本官員、文人競相與羅森唱和或互贈詩篇。在他的日記中載錄了不少詩作，如一位日本官員向他贈詩：
羅森在日本期間還進行了許多中日文化交流活動。他廣泛結交日本各界人士，除官員外還與文人、學者、僧人接觸，不少日本人士也主動與羅森交往、筆談，並向他打聽中國的情況，表達「崇仰中國文物之邦之意」。(《日本日記》)他發現日本人士「酷愛中國文字詩詞」，很多人與他唱和漢詩，互贈書畫，更多的人則請他題字、寫扇面。據其日記所載，他在橫濱一個月內，為日本人寫了500餘幅扇面，而在下田，一月之間「所寫其扇不下千餘柄矣」。至今在日本北海道函館市松前城資料館裡，還藏有當年羅森題詩贈給松前藩家老勘解由的大扇面。羅森也向日本書法家請教。他聽說下田的文人云松窩擅長口筆書(即用嘴銜筆寫字)，也請他寫了十幾張草書，頗有「龍飛鳳舞之勢」。這恐怕是近代最早的中日書法交流了。
在下田曾經有一位日本人問羅森：你是中國士人，為什麼要去當西洋人的翻譯呢？羅森便以詩言志，寫了一首七律詩回答他，最後四句是：
抒發了自己的抱負和豪情，表達了羅森要走向世界，適應新的時代潮流的遠大志向。在離開日本前夕，羅森與日本友人們依依惜別。平山謙二郎以唐人詩句錄扇以作紀念：「勸君更盡一杯酒，西出陽關無故人。」羅森也吟詩相答，並書於扇面，詩中寫道：
自鴉片戰爭至19世紀70年代以前，由於中日兩國尚未建交，除了少數赴日貿易商船以外，互相往來很少，給中日文化交流帶來了困難。但是，如果我們深入挖掘史料的話，仍然可以發現某些先驅者的事迹，例如隨美國培理艦隊到日本，並寫下中國近代第一部日本遊記的廣東人羅森，已經用他的活動和著作，譜寫了近代中日文化交流最初的篇章。
君產廣東我沽津，相逢萍水亦天緣。
火船直劈鯨濤至，看破五湖無限邊。
羅森在《日本日記》中，以生動的文筆，描述了日本橫濱、下田、箱館(今北海道函館市)等地的山水、人情、風俗、物產。對當時日本的社會和人民也頗有好感和溢美之詞。他讚揚日本的社會治安，「無有鼠竊狗偷之輩。」對於日本的取士制度也表示讚賞，認為中國僅以八股文章取士，而日本則「文、武、藝、身、言皆取」。在橫濱，見到日本的大力士們，一人一次竟能舉起二、三包200餘斤重的大米包，不禁讚歎：「足見日本之多勇力人也！」在下田，他還讚美一位日本少年桂正敏，「年紀雖小，身佩雙劍，志氣昂昂，善於應答」，聰明俊秀，招人喜歡。
羅森還向日本人士介紹了中國當時的政治形勢，特別是日本人十分關心的太平天國農民起義的情況。他把自己寫的記述太平天國的著作《南京記事》一書借給日本官員平山謙二郎閱讀。第一次向日本人提供了關於太平天國革命接近真相的詳細介紹。這部著作後來被吉田松陰譯成日文，題為《清國咸豐亂記》，在日本廣泛流傳。1859年3月，羅森在橫濱賓館與日本官員筆談時，還糾正了日本人關於太平天國的不少誤傳，如指出洪秀全是太平王而不是小刀會，清朝皇帝並未逃往朝鮮等等，並表現出對農民起義略表同情的傾向。
羅森的《日本日記》還記錄了羅森在訪日期間進行的各種文化交流活動，並收集了與日本友人唱和的詩歌多首，這些都是研究近代初期中日文化交流史的寶貴資料。在羅森以前，雖也有一些人到過日本，但其中大部分是官員、商人、水手，偶爾也有少數文人、畫師、和尚、醫生等，卻很少有人留下日本遊記。清初以來，只有乾隆年間多次隨商船赴日的畫家汪鵬寫的《袖海篇》可算是一篇日本遊記。但汪鵬的活動僅限制於長崎中國商館，因此觀察見聞很有限。而羅森則周遊了日本的橫濱、下田、箱館等地，並接觸了許多日本官員、文人、百姓，再加上他到日本之時，正處在東亞歷史的轉折關頭。因此他的《日本日記》，無論從觀察日本的廣度、深度以及史學、文學價值來說，都是《袖海篇》所不能比擬的，可以說是中國第一部有較高價值的日本遊記。
從古英雄猶佩劍，當今豪傑亦埋輪。
乘風破浪平生願，萬里遙遙若比鄰。
羅森在訪日期間，還寫下了中國近代第一部具有很高歷史與文學價值的日本遊記。1854年8月當他隨培理艦隊回到香港後，就把自己寫的這部遊記題為《日本日記》，交給香港英華書院主辦的中文月刊《遐邇貫珍》刊登。在1854年11月號、12月號和1855年1月號上分三期連載。《遐邇貫珍》的編者在前面還加上按語，說作者是編者的「平素知己好友」，刊登這篇日記可以增加讀者的知識，使大家「耳目為之一新」。