1902年春，13歲的陳寅恪隨長兄陳師曾（陳衡恪）從上海吳淞口出發，踏上了赴日的航程。初出國門的陳寅恪眼望一望無際的大海，心潮澎湃，思緒萬千。他想起離開南京家塾到上海後，與其兄衡恪謁見上海同文書會總幹事、英國浸禮會傳教士李提摩太的情景。李提摩太出身於英國南威爾士的一個農民家庭，先後就學於斯旺西師範學校和哈佛福韋斯特學院，1870年2月12日受英國浸禮會派遣來到中國，長期在山東煙台、青州等地傳教。他精通漢語，研讀四書，熟悉中國的傳統文化和民情風俗。1876到1879年華北大旱，他從事賑災活動，在山西發放賑款，結交了清政府的一批高級官員。李氏與李鴻章、張之洞、康有為、梁啟超等洋務派和維新派人物都有過接觸，還曾在1898年上書光緒帝力主變法維新，並於戊戌變法失敗後幫助康有為出逃日本。李提摩太看不慣紈絝子弟終日遊手好閒，不學無術的頹廢生活，對陳氏兄弟遠渡重洋的求學之舉給予很高的評價，親切地勉勵他們說：「你們世家子弟能去日本讀書，真是很難得很可貴啊!」
此外，陳寅恪更不禁想起了去年全家遷居南京，在頭條巷家塾讀書的情景，想起了在家塾學習四書五經、數學、英文、音樂、繪畫等課程的情景，想起了與茅以升、茅以南兄弟課間嬉戲的情景（學堂除了方便自己家中的子弟之外，親戚朋友家的子弟也可附學）。
故土難離，總使人割捨不下，即便，此刻漂流在大海上的只是一名少年國士的單純心靈。然而，故國不可避免地衰落了。前文的敘述告訴我們，七年前的黃海，一度號稱亞洲第一的北洋水師恥辱地敗在了日本帝國海軍的速度與火力之下。那是一場徹底改變遠東國際格局的海戰，明治以後的日本用戰爭的方式宣告了作為近代國家的日本在亞洲取得了老大的地位。一個崛起的島國自信地擠入了瓜分中國的強盜行列。
陳氏兄弟到達日本時，留日的中國學生已達七八千人。魯迅也在這一年3月24日以礦路學堂畢業生的身份在江南陸師學堂總辦（即今之校長）俞明震（陳寅恪的舅父）的帶領下，同22名陸師學堂畢業生和其他6名礦路學堂畢業生一同來到日本留學。魯迅和陳氏兄弟同時進入了日本東京弘文學院學習。弘文學院是日本政府為教授中國留學生日語而開辦的一所補習學校。魯迅在這裡學習了兩年時間，取得了畢業文憑，並於1904年9月8日開始了在仙台醫學專門學校的學習。同年夏天，陳寅恪趁暑假返回南京。回國後，與五兄隆恪一同考取了官費留日。這年冬初，散原老人親自送兩個兒子到吳淞口登船。並作詩云：「游隊分明離兩兒，扶桑初日照臨之。送行余亦自厓返，海水澆胸吐與誰。」表達了父親與兩個兒子依依惜別的難捨之情。抵日後，隆恪初入慶應大學，後轉入東京帝國大學財商系。而陳寅恪仍在弘文學院學習。
在弘文學院，陳氏兄弟與魯迅關係十分密切。魯迅與陳衡恪同住一舍，朝夕相處。1904年8月魯迅還與陳衡恪等6人聯名給已回國的弘文學院同學沈瓞民寫信，介紹弘文學院及同學們的近況。據沈瓞民回憶：「求學時代的魯迅，已認清沙俄和日本都是帝國主義，都是侵略中國的敵人，當時具有這樣的意見，是令人敬佩的。陳師曾受到魯迅的鼓勵，也寫了6封信，其中一封是給其父散原老人的，主要指出日本包藏禍心等語。」
後來在1915年春，陳寅恪曾出任新成立的經界局局長蔡鍔的秘書，那時魯迅和陳衡恪都在教育部任職。魯迅在該年4月6日的日記中記載：「贈陳寅恪《域外小說》第一、二集，《炭畫》各一冊。」以後，魯迅成為文學大師，陳寅恪卻緘口不向人們談及他們之間的友誼，所以人們對他們之間的交往了解甚少。
陳寅恪留學日本期間，主要把精力放在學習日文上。同時他還留心觀察和體驗日本的生活習俗，閱讀日文學術著作，研究日本歷史、文化以及中日文化交流的情況，這為他日後援引日文資料，進行隋唐史的研究打下了堅實的基礎。例如，他在探討隋唐時代的府兵制時就注意到，隋以前的資料比較少，不容易弄清楚，而當時日本的很多制度模仿唐制，其《養老令》之宮衛軍防諸令條內容詳細，兩者相互參照，恰好可以彌補這一缺憾。他還注意到日本東京帝國大學岡崎文夫教授關於唐代府兵制、均田制和租庸調法的研究成果，認為「不失為學人審慎之態度」。又如他後來在考釋白居易《長恨歌》「春寒賜浴華清池，溫泉水滑洗凝脂」句中「溫泉」之由來時，旁徵博引，以說明溫泉療疾風氣流傳之廣，稱：「又今之日本所謂風呂者，原由中國古代輸入，或與今歐洲所謂土耳其浴者，同為中亞故俗之遺。」這裡的「風呂」便是日本人所說的沐浴，可見他對日本生活觀察之細，體驗之深。再如，陳寅恪在批閱《舊唐書》太宗紀下貞觀十七年秋七月庚辰條「京城訛言云，上遣棖棖取人心肝，以祠天狗」時，不禁想起在日本見過的那種紅面孔、高鼻樑，具有靈性和神通的怪物，於是寫下這樣的按語：「天狗，日本所傳，當由唐代轉入。」對於「風呂」和「天狗」一詞的解釋，可見他對日本文化的熟悉程度。
1905年冬，陳寅恪因患腳氣，不得不離開日本，回國療養。