1871年中日建交後，日本不斷派遣使節和外交官來華，清政府直到1877年1月才正式任命翰林院侍講何如璋為首任駐日公使。11月27日何如璋率第一屆駐日使團乘海安輪從上海出發，30日抵達長崎，長崎煙台鳴禮炮21響並升起龍旗致敬。使團在長崎、神戶等地都受到華僑和日本群眾的盛大歡迎。12月28日正式向明治天皇遞交國書。不久即選擇環境幽靜秀美的東京芝山月界僧院作為中國公使館臨時館址，開展各種外交和文化交流活動。
有一首詩形容日本的名勝富士山也極為形象：
作為一個外交官，黃遵憲主張中日兩國平等相待，友好相處，互相學習，各求富強，共御外侮。同時他又堅決反對日本統治集團種種破壞中日友好、侵犯中國主權的行為，始終據理力爭。他在一首詩中指出中日兩國：
立國扶桑近日邊，外稱帝國內稱天。
縱橫八十三州地，上下二千五百年。
黃遵憲在駐日期間還深入調查日本歷史和現狀，大量收集有關明治維新後日本政治、經濟、文化等方面的資料，尤其是日本政府各機關發布的各種公報、法令、統計表等第一手材料。他從1879年開始，花了八年多功夫，直至1887年完成了《日本國志》這部巨著。全書共40卷，50萬字。分為國統志、鄰交志、天文志、地理志、職官志、食貨志、兵志、刑法志、學術志、禮俗志、物產志、工藝志等12類。這是近代中國人研究日本的集大成代表作，它大大加深了中國人對日本的了解和認識，在中日文化交流史上佔有重要的地位。同時它又鼓吹學習西方，效法日本，主張以日本明治維新為榜樣，在中國實行變法，成為戊戌維新的啟蒙讀物，在中國近代思想史上閃耀著異彩。
在第一屆中國駐日使團中，對中日文化、交流貢獻最多、影響最大的人物，並非公使何如璋，而是首任參贊官黃遵憲，他不僅是中國近代一位傑出的外交家，也是一位著名的愛國詩人和維新思想家、政治家。
黃遵憲的《日本雜事詩》受到日本人士的推崇喜愛，因此源輝聲請求黃遵憲把一部分詩稿贈他收藏，黃遵憲答應把部分手稿埋在他家的院子里，以為「稿冢」。於是在1880年正式樹碑立冢，碑面刻著黃遵憲親筆書寫的「日本雜事詩最初稿冢」九個大字。背面刻有源輝聲所撰寫的《葬詩冢碑陰志》記述了自己與黃遵憲的交往、友誼以及葬詩樹碑立冢的經過。其中記載石碑刻成之日，源輝聲設宴暢飲，黃遵憲親自把詩稿藏在袋裡埋入土中，並灑酒吟詩：
同在亞細亞，自昔鄰封輯。
譬若輔車依，譬若倚角立。
所恃各富強，乃能相輔弼。
同類爭奮興，外侮日潛匿。
源輝聲接著和詩道：
除了《日本雜事詩》外，黃遵憲還寫了詠頌日本國花的長詩《櫻花歌》，記錄京都傳統風俗的《都踴歌》和歌頌維新志士的《近世愛國志士歌》等許多有關日本的詩歌，收錄在《人境廬詩草》之中。黃遵憲通過他的詩歌溝通中日兩國人民的心靈，加深互相理解和友誼，也深深博得中日人民的喜愛，以至「新詩脫口每爭傳」。
另一首描寫日本人觀賞櫻花的景象，也十分動人：
在明治初年，中國傳統文化與中國文人學者在日本尚享有很高聲譽。中國駐日公使館建立後，日本各界人士紛紛前來拜訪，競相與中國使團人員筆談交歡，或以詩酒翰墨共樂。源輝聲就是常來的日本人之一。源輝聲(公元1848—1882年)，號桂閣，祖居大河內，故又稱大河內輝聲或源桂閣。他原是日本世襲高崎藩主，明治維新後廢藩置縣，任高崎知事，因不贊成新政而辭官歸鄉，以後長期閑居東京墨江畔。源輝聲精通漢詩、漢學，嗜愛翰墨，廣交文士，尤其喜歡與旅居日本的中國人、朝鮮人，特別是中國公使館的官員用漢文筆談，並以此為樂。他對中國人十分尊重，而且不分長幼貴賤，一視同仁。從公使、參贊一直到僕役、孩子，都與之筆談。甚至遇到使團會講日語的翻譯，也自稱不善言談，寧肯「以一枝筆換千萬語言」。因為筆談可以留下墨跡作為紀念，所以他每次去中國公使館都準備好筆談用紙，一問一答都寫在上面，當天晚上就把這些紙裱好，精心保存起來，然後按順序編排裝訂成冊。這些珍貴的筆談手稿一直保存至今，統稱為《大河內文書》，共計有數百次筆談，達96卷之多。
朝曦看到夕陽斜，流水游龍斗寶車。
宴罷紅雲歌絳雪，東皇第一愛櫻花。
黃遵憲在駐日期間最大的成就則是創作《日本雜事詩》和編寫《日本國志》。黃遵憲到日本後細緻考察日本的歷史地理，認真研究維新制度，遊覽名山大川，熟悉民俗風習，了解工藝物產，比較中日文化，陸續創作了一百多首「雜事詩」。每首都是七言絕句，內容廣泛，短小生動，活潑有趣。每首詩後還附有長短不等的白注，以解釋或補充詩意之不足。他的《日本雜事詩》1877年由清朝總理衙門出版初刊本，收詩154首。以後又有各種版本，至1890年他在倫敦任駐英參贊期間，又把它增訂成定本，共200首，1898年由長沙富文堂刊印。《日本雜事詩》上卷主要寫日本歷史、地理、政治、文學等方面，下卷則著重寫風俗、服飾、技藝、物產等等。如第一首詩生動地概括了日本史地：
拔地摩天獨立高，蓮峰湧出海東濤。
二千五百年前雪，一白茫茫積未消。
1868年，日本明治維新推翻了德川幕府政權，建立起以明治天皇為首的新政權。明治政府一方面在國內進行資產階級改革，同時也試圖與中國建立外交關係。1871年9月，中日雙方全權大臣李鴻章與伊達宗成經過會談後，簽訂了《中日修好條規》。決定正式建交，互開口岸，通商貿易，並互派外交官，設立使領館。這就為中日文化交流創造了有利的條件，從此，中日人員交往頻繁，兩國的官員、文人來往不絕，留下了不少動人的佳話。
中國詩人的手稿，埋葬在日本的國土上，這真是中日文化交流史上的一段佳話，表現了中日兩國人民之間多麼真摯感人的情誼啊！
詩冢原在東京墨江畔源氏舊宅，後來源輝聲去世後，其子遷於其父墓葬地琦玉縣平林寺。
《大河內文書》中的這些中日文人的筆談內容涉及中日兩國的政治、學術、文化、風俗以及日常生活等各方面，幾乎是無所不談。由於是私下隨便交談，故毫無拘束，暢所欲言，並無一點掩飾與做作，頗能反映筆談者們真實的思想與生活。源輝聲在許多筆談上還註明了時間、地點、在場人物，有時甚至還記下他們動作、表情，讀起來猶如一部演出用的劇本，觀筆談如見其人，聲音笑貌，栩栩如生。例如有一次關於文學藝術的筆談，黃遵憲稱讚《紅樓夢》是「開天闢地從古到今第一部好小說」，可惜日本人不通漢語，「不能盡得其妙也」。源輝聲則介紹日本的《源氏物語》用意相似，你寫榮國府、寧國府，我則寫宮廷之情，而且作者紫式部是一位才女，此事可能會使曹雪芹吃驚。黃遵憲說遺憾自己不通日語，沒有讀過《源氏物語》。但看到日本民間幾乎人手一冊，我想其中「必有妙處」。在筆談中還常常可以看到日本人士向黃遵憲請教寫詩、作文及書法、讀書。同時黃遵憲等也經常向日本人士了解日本歷史、制度、風俗、典籍，有時還請他們幫助翻譯日文資料。