有關日本這個被隔絕在東亞大陸以外的島嶼，最初的文字記載始於公元三世紀的《三國志·魏書》。按照該書記載，「倭」國在中國的三國時代和晉朝初期由一位名叫卑彌呼的女性統治。至於卑彌呼的出身則完全沒有提及，但她很可能是一位祭司。卑彌呼在公元189年成為了28個部落聯盟的首領，並在九州建立了目前已知的首個日本爭權邪馬台國。卑彌呼擁有1000人的侍從，其中僅有一位男性。由於統治力大多源自所謂的巫術，因此卑彌呼在成為女王之後不久便隱居在了山洞之中，除她的僕人以外便再無人能夠見到她，邪馬台國的實際掌權者則是她的一位弟弟。
根據《魏書》記載，邪馬台國曾在239年夏季派出使者難升米前往魏國，卑彌呼也受魏帝曹睿加封「親魏倭王」。公元247年，卑彌呼去世，邪馬台很快陷入了與鄰近部落的戰亂之中。在此之後，曾經有一位男性首領短暫統治過邪馬台國，但很快又被一位名叫壹與的年輕女王所取代。大約在公元四世紀左右，邪馬台國將自己的政治核心轉移到了後來被稱為近畿的本州島中心地區，而後來在大和國建立的政權很可能便是邪馬台國的直系後裔。
根據公元八世紀編寫的日本史料《古事記》以及《日本書紀》記載，日本皇室歷史要追溯到公元前667年神武天皇從九州島南部的日向國東征至本州近畿地區的大和國，並將當地的土著趕離近畿之時。但根據考古證據，這一時間事實上應在公元350年左右，而其政權建立於奈良以南的柏原地區。到公元七世紀中葉，在與土著的戰爭壓力下，大和政權開始逐步拋棄由原先各地豪族掌權的政治體系，而進入由天皇統一立法統治的律令時期，此時其勢力也已經從近畿地區擴大到了本州中西部、九州島北部以及四國島。以聖德太子的「大化改新」作為開端，日本開始逐漸效法中國隋朝，建立以法律作為統治基礎的中央集權國家。
但在公元663年，日本卻爆發了與大陸間的第一場衝突。在出兵援助朝鮮半島的百濟國失敗，並被其鄰國新羅以及唐朝軍隊擊敗後，大和政權再次向大陸靠攏，開始派出遣唐使前往中國，並建立了日本歷史上第一個國家軍隊體系，即軍團制。根據最初規定，全國上下的每一位男性農民都應在軍隊中擔任一定時間的兵役。每個軍團擁有1000名士兵，後來又根據各地的實際情況而改以百人為單位進行編組，其中人數最少的軍團只擁有200人左右，而本州島最北方的陸奧國也曾出現過六個軍團擁有10000兵力以及七個軍團擁有8000兵力的情況。軍團的兵源均在農民中間徵發，因此事實上只是一種民兵組織，其兵源每10天輪換一班。被徵召而來的士兵必須自己攜帶裝備，從規定上講，士兵的武器由一張長弓、兩條弓弦、50支箭以及長短兩把佩刀組成，但事實上由於很多農民在經濟上是無法負擔武器的，因此絕大多數民兵的裝備都遠比規定的更為簡陋。此外，雖然在制度上國家應為每位徵召來的士兵準備六斗大米和兩升鹽，但事實上糧食也要由農民自己負責。而國家真正為軍團提供的只有馱馬和鼓、號等物。
公元710年，日本天皇在大和國的平城京定都，即後來的奈良。由於不堪奈良附近的佛教勢力干擾，桓武天皇在794年將都城遷至山城國的長岡，重新修建了平安京，而這裡作為日本的京都一直延續到了19世紀。在奈良時代，由國家以戶籍人口為標準統一為農民分派土地，但這種班田制卻因課稅過重，而農民又無法獲得土地所有權而逐漸解體。進入平安時代後，由農民自行開墾，不隸屬於皇室的土地已經成為了私有莊園，貴族和寺院手中也早已擁有大量不需向國家繳納賦稅的莊園，而國有土地卻荒廢了。皇室收入也跟著迅速減少。與貴族和寺院相比，農民手中的莊園規模和實力都太小，無法阻止國衙的侵佔，最終只能選擇將自己的土地獻給貴族或者寺院，並向後者繳納賦稅，後者則保證農民對土地享有的權利。
與此同時，軍團徵兵制度對於農民而言也負擔極大，從這一制度建立時開始，逃避兵役的人數便越來越多。到平安時代，財源枯竭的朝廷又規定農民只需繳納相應的金錢便可免除兵役，這又加速了軍團制的崩潰。隨著國家軍隊逐漸消失，九世紀時日本各地逐漸出現了大批土匪海盜，這一情況又以瀨戶內海沿岸和剛剛征服不久的關東最為嚴重。由於民兵軍團本身已經崩潰，朝廷又需要武力手段來鎮壓強盜和叛亂，天皇只好僱傭大量蝦夷土著編入軍團。這些人也逐漸逃亡之後，貴族們便只能把朝廷撇在一邊，自己招募莊園主中的豪族組成軍隊，保護自己的莊園，而這便是武士的最初起源。
隨著地方豪族對於中央貴族的重要性與日俱增，這些人也開始被朝廷授予官位。雖然通常對其所授予的官位均比較低，因此被稱為賦有侍從意味「侍」，但卻使農民豪強躋身進入了士族行列。同時由於其主要從事著武力的工作，逐漸與普通農民或者土豪區分開來，形成了武士階級，並使日本上層社會分裂為公家和武家。與此同時，由於皇室所擁有的土地和莊園數量受貴族擠占而越來越少，無法繼續供養全部皇室成員，只得將大批皇族下放到各地國衙充任官吏，而其中一部分後來也開墾了新田成為莊園主，進而成為了武士，這其中便包括了各地諸多不同的源氏和平氏家族。
由於莊園主普遍擁有遠優於普通農民的經濟能力，因此從這些人中間募集起來的士兵中有很大部分都能夠自行負擔馬匹和鎧甲。除此以外，族人和僕從也會組成郎黨，作為其手下在戰場上隨其作戰。這些人並不效忠於皇室政權，甚至於也並不效忠於僱傭他們的貴族，而只聽命於領導自己的武士。這些武士在戰場上通常不會採取統一行動，而是由一名武士頭領率領一小隊郎黨，在手持竹槍等簡陋長柄武器的足輕支援下獨立進行小規模廝殺（足輕即低等步兵，事實上「足輕」一詞直到14世紀的著作《太平記》中才首次出現，本書使用該詞指代所有並非武士或其郎黨的低級步兵），儘力射殺更多敵軍，並由足輕將其頭顱砍下，以使武士獲得榮譽和封賞，對於戰役本身的勝負則並不在武士個人的考慮之內。
與歐洲戰爭依仗長矛、盾牌形成衝擊力進行近距離作戰的觀念完全相反。直到15世紀之前，日本軍隊通常都會以弓箭所形成的火力作為主要交戰手段，而武士們所使用的武器也與先前的民兵一樣是弓箭。軍團制崩潰後，普通農民不再是戰場上的主要力量，這就使軍隊中騎馬者的比例大幅增加，騎射成為了平安時代和後來鎌倉時代戰鬥的主要手段，射術精湛者自然便擁有了極高的榮譽，其地位要持續到17世紀江戶幕府成立之後才被劍術取代。不過與亞洲大陸軍隊密集箭雨射擊對方陣線不同，日本弓箭戰術更著重於對特定目標進行直接射殺。再加上日本山地較多，普通足輕的訓練素質通常也很差，導致日本在相當長的時間之內都沒有發展出類似於歐洲長矛方陣的衝擊戰術，而這要一直到戰國時代的16世紀才有所改變。不過到了那時，由於火繩槍的引進，火力又重新成為了決定性力量之一。此外，由於弓箭戰鬥無論是在馬戰還是步戰中都佔據了絕對優勢的地位，而一個人在使用弓箭時雙手又都要被佔用，因此武士們很少會使用盾牌，卻通常都擁有優秀的鎧甲。
和中世紀歐洲的情況相似，由於裝備優良的騎馬武士成為了戰場主力，一支軍隊戰鬥力的核心人數也隨之大幅下降。原先由成百上千人組成的軍團被幾十名武士所取代，雖然後者在戰場上有時也會召集數量龐大的足輕，但這些步兵只能起到僕從作用，無論戰鬥素質抑或士氣都極容易崩潰，其戰鬥目的也只是為了從武士手中領取軍餉或在戰勝後進行搶劫，在達到目的後便四散而去。除此以外，足輕們所使用的武器往往局限於自己擁有的農具甚至簡易竹槍，通常也不會擁有任何鎧甲，在戰場上即使面對少數武士攻擊也時常一觸即潰。這樣一來，平安時代中後期的日本戰場便為極少數精銳騎馬武士所統治，個人性的機動和投射火力隨之成為了勝負之間的決定性力量。但與誇示個人勇武的卓越技能相反，此時的武士們對於戰略性機動的價值卻幾乎一無所知，而是傾向於通過政治或金錢手段來糾集更多兵力，在正面決戰中壓倒對方。而律令時代修建的七條大路，東海道、東山道（即後來的中山道）、山陽道、山陰道、西海道（九州）、南海道（四國及本州一部）以及北陸道在整個日本武士戰爭史中都是最重要的交通線。在這七條交通線中，有五條都自京都向各方延伸，使京都成為整個日本最重要的交通中樞，只有九州和四國得以獨立其外。
在當時的日本，雙方互射弓箭象徵著一場戰鬥的開始。戰鬥雙方在開戰伊始會各自派出一名射術精湛的武士高高地射出一支鏑箭越過對方隊列，其中央穿孔的木製箭頭在飛行過程中會發出鳴叫聲，宣布戰鬥開始。在射出信號箭之後，雙方將領、武士頭領便會互相大喝對方的姓名，尋找捉對射殺的機會。如《平家物語》等很多日本史詩故事中都對著名武士間的決鬥有