禪宗傳入日本的時間一般認為是在奈良時代。當時，一個名叫道璇的和尚，傳入了中國的北禪宗。也就是以神秀為代表的主張漸悟的一派禪宗。後來，在嵯峨天皇弘仁年間（810—823年），唐朝和尚義空東渡日本，日本的檀林皇后修建了檀林寺供他們居住，大力倡導禪宗。這就是日本提倡禪宗的開始。
然而在當時，社會上皈依禪宗的人還很少，所以不久以後，義空回到了唐朝。直到十二、十三世紀之交的鎌倉時代，日本和尚榮西將中國南禪的臨濟宗傳入日本，弘揚其中的坐禪、頓悟原理，發展「興禪護國」學說，才算是開創了日本禪宗。
禪宗之所以能在鎌倉時代開始興起，是因為它將佛教修行融入了具體的日常生活之中。搬運柴草是修行，挑水做飯同樣是修行。禪宗不立文字，以心傳心，見性成佛，這些簡便易行的方法，很快就贏得大眾的接受。
而且，鎌倉時代以及其後的南北朝室町時期，日本連年戰亂，社會動蕩不安。在這樣混亂的時局中，其他教派由於空談義理而大都衰敗下去。人們也就越來越關注自身的精神世界，而禪宗那種不假外求，以明心性的主張，正好符合當時人們的精神需要，所以才會流行於日本社會。
禪宗興盛的另外一個不可忽視的原因是，禪宗成為了武士們的宗教。日本鎌倉時代有過這樣一句諺語：「天台屬於官家，真言屬於公卿，禪宗屬於武士，凈土屬於平民。」
在鎌倉時代，武士是一個新興的階層。由於沒有公家貴族的權勢作背景，武士們想要往上爬，就必須依靠自己的奮鬥。而禪宗提倡「自成佛道」的自我修鍊方法，就正好激勵了武士去自我拼搏。
武士們整天在刀尖上討生活，隨時都有可能面對死亡。對於武士而言，最為重要的念頭，也是日日夜夜都必須考慮到的，就是「死」。而禪宗所主張的從頓悟之中解脫於生死的羈絆，也十分迎合武士的心情。
此外，武士由於其所處的地位，必須具備鐵的意志和自我表現克制的能力，不能為物慾、愛欲等因素所左右，所以就得依靠刻苦嚴肅的生活來磨練自己。而禪僧清苦的生活方式對於武士建立刻苦、嚴格的生活秩序，從而磨練自己的武德，也能夠起到很大的作用。
禪宗的無心之境，是直覺頓悟、超越分別思量的狀態。日本武士高夫野義在《禪與劍術》中描繪了到達「劍我如一」境界時的劍道：「當此同一境性一旦到達之時，身為劍手的我，也就沒有面對我並威脅要剌殺我的對手可見了，而他所具有的每一個念頭，也就像我自己的動作和念頭一樣被我感到了，而我也就直覺地，甚或不知不覺地知道何時以及如何去刺他了。所有這一切，似乎均皆自然而然，毫不勉強。」
所以，武士對禪宗的修行方式十分重視，禪宗的高僧也往往得到將軍和武士的尊敬與愛戴。