最遲到東漢初年，日本已與中國建立了友好關係，隨著兩國交往加深，漢字作為中國文化的一部分傳入了日本。在漢字傳入日本時，日本已有了自己的語言，但沒有自己的文字，在與中國的交往中，日本人深深地被中國文化所吸引，於是試圖在自己的語言中引入漢字，以便於文化的吸收和交流。
作為兩種不同的語言，古日語和漢語的讀音大相徑庭，它們的音節極為不同，為使漢字音節能為日本人接受，日本人用日語音節改造漢語音節，實現了漢字讀音的日語化。但是有許多漢字不容易被日語音節轉化，這種情況下日本人只好通過對漢語讀音的模仿創出一些新的讀音。在這裡，漢語方言對模仿有很大影響，所以，在日本人模仿的漢語「音讀」中，就分出了「吳音」、「漢音」和「唐音」等不同形式。「吳音」與晉朝時漢字主要由江浙一帶傳入日本有關，帶有吳地的特有軟語發音。「漢音」則主要受華北和西安一帶語音影響，由於傳入多在隋唐時期，而那時中日交往最為廣泛，所以至今「漢音」是日本語言的主要讀音。宋元及其後，漢字傳入日本並被模仿的語音稱為「唐音」，也有較大影響。
日本人還用日語解釋漢字的意義，學名叫「訓讀」。在訓讀時，日本人往往用幾個音節解釋漢語的一個音節，這就出現了日文中常見的一字多讀現象。
上面所說的都是日本人在語音方面對漢語的吸收，其實不僅僅如此，日本人早就在琢磨怎樣用漢字來書寫日語，這種摸索的最終結果就是假名文字的出現。
假名，顧名思義是借用之意，就是借用漢字作為音符，來書寫日語的形式。假名吸收了中國書畫藝術的分類，分為兩種：一種是用簡化楷書的部首表示日語音節，一種是用簡化草書的部首表示日語音節，前者稱為片假名，後者稱為平假名。
大約到公元13到14世紀，假名成為日本的成熟文字，為人們廣泛使用，但知識分子則多用文言文寫詩作賦，文言文仍被看作高貴的象徵。