詩人包佶也揮筆寫了一首《送日本國聘賀使晁臣卿東歸》的詩。把阿倍仲麻呂作為日本天皇的使者、唐玄宗的臣子來描寫：「九澤蕃居使，千年聖主臣。」讚美他的知禮、樸實、誠懇的美德。「野情偏得禮，木性本含仁。」接著寫他衣錦還鄉的場面，「錦帆乘風轉，金裝照地新。」最後希望他以後再來中國訪問，一片深情溢於言表。
詩人魏萬也是他的知交，當魏萬要回王屋山時，兩人依依惜別，晁衡以自己從日本帶來的裘服相贈。因此著名詩人李白在詩中描繪魏萬：「身著日本裘，昂藏出風塵。」(《送王屋山人魏萬還王屋詩》)
其實，李白只是一場虛驚，阿倍仲麻呂並沒有死。第一艘船被漂流到南中國海的安南地方，部分船員於驩州(今越南河靜省，當時屬唐南海郡)上岸，卻又遭到土著襲擊。第一艘船上日本乘客死難170多人，僅有阿倍與藤原等10餘人倖存。這些倖存者於755年6月曆盡艱難長途跋涉回到長安。第二年中國發生了安史之亂，唐朝的黃金時代一去不復返了。阿倍仲麻呂隨玄宗入蜀，年余後返京，以後被肅宗任命為左散騎常侍。又奉命赴安南處理事宜，旋任鎮南都護。唐代宗時，766年，已經年近古稀的晁衡又被提升為安南節度使，任滿後回京，爵封北海郡開國公。770年在長安與世長辭，埋骨中國，享年73歲。為了表彰他的功績，唐代宗追贈他為潞州大都督。
734年，第10次遣唐使團在大使多治比廣成的率領下完成任務準備歸國時，照例要把隨上次遣唐使留唐已經結業的留學生帶回本國。與阿倍仲麻呂同來的留學生吉備真備、大和長岡等人都於此時回國。已經在中國度過17年生活的阿倍仲麻呂也十分懷念祖國和親人，希望早日回國。但因他已在唐朝做官，便向唐玄宗提出東歸省親的請求。消息傳出，他的中國詩友們依依不捨，紛紛贈詩告別。如秘書少監、詩人趙驊寫了《送晁補闕歸日本國詩》歡送他「東隅返故林」。同時也深深理解他思念故鄉日本，又捨不得生活多年的中國的矛盾心理，這是只有知心朋友才能體察的內心活動。這首詩已成為趙驊傳世的唯一作品。可是由於唐玄宗賞識晁衡的才華，竭力挽留，沒有批准他回國。阿倍仲麻呂只得揮筆寫了一首詩回贈他的朋友：
慕義空名在，偷忠孝不全。
阿倍仲麻呂雖在唐朝擢升高官崇爵，但他始終沒有忘記自己的祖國，曾多次寫信，托朝鮮新羅使節帶回本國，以寄鄉思。因此日本古籍《古今集鈔》中說：「仲麻呂在唐凡五十餘年，身雖榮貴，思歸不已，言及鄉國，未嘗不悽惻也。」當時唐朝對日本的交涉事務，常由晁衡參與或主持，為中日友好與文化交流作了許多貢獻。836年仁明天皇追贈其正二位，詔書中高度評價阿倍仲麻呂：「身涉鯨波，業成麟角，詞峰聳峻，學海揚漪，顯位斯升，英聲已播。」(《大日本史·阿倍仲麻呂傳》)
表達了與阿倍依依不捨的真摯感情。
此時55歲的阿倍仲麻呂離開故國已有36載，即將踏上歸途，回到父母之邦，拜見久別的的慈親，使他激動、喜悅。可是留唐歲月也使他銘感難忘，一旦要離別眾多的中國友人，又覺悵然若失。這種矛盾心理，充分表露在他的《銜命將辭國》一詩中，他寫道：「天中戀明主，海外憶慈親。」「西望懷恩日，東歸感義辰。」詩中一方面寫如何懷念祖國和久別的親人，另一方面則寫對第二故鄉中國和朝夕相處的友人的依戀之情，感情真摯動人。
日本晁卿辭帝都，征帆一片繞蓬壺。
明月不歸沉碧海，白雲愁色滿蒼梧。
抒發了他遊子思故鄉，忠孝難雙全，歸國遙無期的感慨。
萬國朝天中(指中國)，東隅道最長(指日本)。
吾生美無度(指晁衡)，高駕仕春坊(指其職)。
消息傳到中國，友人們以為阿倍仲麻呂已死，無不悲痛萬分。當時正在蘇州漫遊的唐朝大詩人李白，聞訊非常難過，含淚寫了一首《哭晁卿衡》：
這就是日本古代和歌中有名的《三笠山之歌》或稱《望鄉詩》。當時中國友人聽不懂日語，他又譯為漢語吟詠，眾人聞之，感嘆不已。不料遣唐使船隊入海以後，遭到風暴襲擊。藤原大使和阿倍等乘坐的第一艘船被狂風颳走而失蹤。後來其餘三條船相繼回到日本，第一船卻仍然不知去向。人們都以為第一艘船上的乘客可能已經全部遇難。
到了遣唐使返航船停泊的港口蘇州黃泗浦，不少中國友人前來送別。當時正值十一月十五日之夜，皓月當空，阿倍仲麻呂即將登舟之際，遙望明月，鄉情油然而生，情不自禁地用日語吟誦了一首和歌：
九州何處遠，萬里若乘空。
向國惟看日，歸帆當信風。
鰲身映天黑，魚眼射波紅。
鄉樹扶桑外，主人孤島中。
別離萬異域，音訊若為通。
阿倍仲麻呂在堪稱詩國的唐朝，與許多著名詩人名流交遊，結下了深厚友誼。他本來就有很高的詩賦修養，又經常與唐人詩友唱和切磋，受到熏陶，詩藝更加精益求精。中日詩人之間留下了許多唱和贈答佳作。唐代詩人儲光羲是其好友之一，曾在洛陽賦詩讚頌阿倍的人品才學。詩中寫道：