1206年，成吉思汗(公元1162—1227年)統一蒙古各部，在蒙古高原上建立了蒙古國。在統一蒙古各部和後來頻繁的對外戰爭中，蒙古國逐漸形成了一套具有自己特色的兵制。
蒙古軍的最高統帥是大汗。大汗下面有宗王、萬戶長(蒙古語稱作「土綿那顏」，「那顏」意為「官人」)、千戶長(蒙古語稱作「敏罕那顏」)、百戶長(蒙古語稱作「札溫那顏」)、五十戶長(蒙古語稱作「塔賓那顏」)、十夫長(又稱牌子頭，蒙古語稱「阿兒班那顏」)等各級指揮官。
蒙古國軍隊主要由蒙古軍和漢軍兩大類組成。蒙古軍按十進位編組成十戶、百戶、千戶。千戶是蒙古軍的基本編製單位。一部分千戶分屬於宗王(成吉思汗家族成員)，其他千戶分編成左右兩翼軍，由左右翼萬戶長分掌。在戰爭中陸續被蒙古征服的中亞各族人(統稱「色目人」)後來也編入蒙古軍中。
蒙古軍平時分布在草原放牧，戰時集中。但戰爭的發展，需要有一支軍隊戍守在已佔領地區，於是從各千戶中籤發部分士兵，組成專用於鎮戍的軍隊，稱為探馬赤軍。由於蒙古人大多不願意遠離草原長期在生活環境不適應的地區作戰和鎮戍，所以在選調探馬赤軍時，各千戶往往以隸屬於蒙古軍籍或淪為私屬人口的外族人充任，造成了探馬赤軍複雜的民族成份。探馬赤軍被派出鎮戍後，仍與蒙古各千戶保持著密切關係，屬於蒙古軍系統。
為了保衛大汗安全，成吉思汗還從各千戶中選調了一萬名精兵組成大汗衛隊，蒙古語稱為Kesig，漢語譯為怯薛。怯薛士兵分編成宿衛千戶、箭筒士千戶和散班八千戶，平時分四班輪流宿衛大汗營帳(稱四怯薛)，戰時則隨皇帝出征，是全軍的中堅力量。
漢軍是蒙古進入中原地區以後招集中原各族人民編成的軍隊，主要來自以下幾個渠道：(1)金朝末年中原地區出現的守土自保的地方武裝，陸續在首腦人物率領下投附蒙古政權；(2)蒙金戰爭中投降蒙古的各種軍隊，如中都(今北京)的糺軍、北京(今遼寧寧城縣西)的契丹軍等；(3)自窩闊台汗朝(公元1229—1241年)時起，蒙古在中原漢人民戶中籤發的士兵，數量在10萬人以上。此外，漢軍中還有一部分降附於蒙古的南宋軍隊。到蒙古國後期，漢軍的總數約在30萬人左右，大大多於蒙古軍的數量。
漢軍的編製也編為千戶和萬戶。各漢軍萬戶所統人數不等(蒙古千戶也是如此)，大者五六萬，小者不下二三萬。漢軍的萬戶長由蒙古大汗指定。漢軍萬戶長之上設立統軍都元帥，由探馬赤軍將領擔任。蒙古大軍出征，都元帥要接受大汗指定的蒙古親王、萬戶長、千戶長等前線指揮官的調遣。
蒙古國在蒙古地區實行的是全民皆兵的兵役制度。蒙古各部成年男子(15歲到70歲)都有服兵役的義務，不管其貴賤，也不論家中人口多少。他們平時進行牧業生產和其他活動，一旦有戰爭，就要根據大汗的需要，或者「空營帳而出」，舉國皆兵，或者抽調其中一部分人出征，被抽調者的奴僕也要隨軍行動。15歲以下的少年有時也要從軍，以使其從小熟悉征戰。蒙古語稱這些少年戰士為「怯困都軍」(意為漸長成丁軍)。
漢人地區則實行指定一部分人戶當兵的徵兵制度，後來變為世兵制，凡列入軍籍的人戶要世代當兵。
蒙古軍的後勤管理制度主要是設立「奧魯」。奧魯是蒙古語Aurug的音譯，原意為「老小營」、「營盤」，既指軍屬，又指管理軍屬的人。奧魯的職責是保證出征軍隊的食宿供應和管理軍人家屬。蒙古軍(包括探馬赤軍在內)出征時，都在統兵官下設置奧魯官，管理隨軍出征的軍人家屬。漢軍萬戶後來也設奧魯官，管理軍人家屬及為出征軍隊準備武器糧草。
蒙古建國後，成吉思汗為鞏固統治，頒布了一系列法令(蒙古語稱為「札撒」)，其中不少是關於軍事的內容，包括萬戶長、千戶長、百戶長的選用條件和職責範圍，也有戰場紀律的規定和軍隊組織的約束。違反軍法的人有三種處理辦法，一是以財產抵罪；二是罰作敢死隊，以戰功抵罪；三是即時處死。
忽必烈(元世祖，公元1260—1294年在位)在1260年即大汗位，開始採用漢族地主階級的統治方法，並在1271年正式改國號為元，1279年滅南宋統一中國。元朝建立後，忽必烈進行了軍政制度改革，建立了一套比較完備的軍事制度。
忽必烈即位後，為加強中央集權，改變了蒙古國時期大汗、宗王、萬戶長、千戶長等一統到底和都元帥節制漢軍的領導體制，在中央設樞密院，負責調發和管理全國軍隊、籌劃軍事部署和銓選武官，以及為軍隊提供後勤保障。中書省設立兵部，負責馬政和軍事通訊。另外還實行宗王出鎮制度。
樞密院初設於中統四年(公元1263年)，置樞密使、副使、僉〔qian千〕書樞密院事等職。後來增設知樞密院事、同知樞密院事等職。樞密使一般由皇太子兼任，知樞密院事(簡稱知院)則是樞密院實際最高長官。知院和同知必須由蒙古人和色目人擔任，副使以下才參用漢人。
樞密院向皇帝奏報軍情要務，一般情況下不經過中書省。重大的軍事決策，皇帝要召集中書省和御史台等中樞機構官員與樞密院官員一同商議。元朝皇帝每年夏季赴上都(今內蒙古正藍旗東閃電北岸)避暑，樞密院官員大都隨行，只留副使或僉院一二員於大都(今北京)，暫管樞密院事務。重要公文和軍情報告都要轉送上都，由跟隨皇帝的院官處置。如果發生突然事變，留守大都的院官可以調動軍隊和採取緊急措施。
為了保證駐在漠北草原上的各部分蒙古部落的軍政統一，忽必烈取消了蒙古左右翼萬戶長，各蒙古部落的千戶長直接聽命於樞密院。中央派一名知院長年坐鎮漠北，就地處理軍務。
元朝還實行宗王出鎮制度。蒙古國時期分封的蒙古宗王，都有直屬的蒙古千戶和封地。忽必烈對此加以改革，將幾個兒子分派到漠北、陝西、雲南、吐蕃等地為出鎮宗王，不再封給他們蒙古千戶和土地，只授予節制當地軍隊的權力，戰時作為當地軍隊的最高指揮官。出鎮漠北的宗王，地位在坐鎮漠北的知院之上。元朝中期，在鄂州和揚州等地也有宗王出鎮。
元朝的地方指揮系統。在對南宋作戰中，忽必烈設置了行樞密院和行中書省，負責指揮軍隊作戰和鎮戍地方。全國統一後，行樞密院相繼撤銷，在全國設立河南江北、江浙、湖廣、江西、四川、雲南、陝西、甘肅、遼陽、嶺北10個行省。各行省設平章二人，負責一省的軍政事務。平章一般由蒙古人充任，有時也用色目人，漢人不得充當。行省下設萬戶府、元帥府等軍事機構。在遠離行省中心的地區或少數民族聚居地區，設立宣慰司都元帥府，掌軍政和民政。各行省軍隊的調動，必須有樞密院傳旨。如果發生戰亂，先由樞密院傳旨所在行省平章，派兵鎮壓，如一省力量不夠，則傳令附近行省發兵會剿。有時，也在戰事頻繁的地區設立行樞密院，臨時提調從各省調來的軍隊，戰爭結束則撤銷。
元朝軍隊分中央宿衛部隊和地方鎮戍部隊兩部分。宿衛軍由侍衛親軍和怯薛組成。侍衛親軍組織始建於中統元年(公元1260年)。第一個衛軍組織稱為武衛軍，兵員三萬人左右，來自中原各漢軍萬戶屬下的軍隊。以後又改名為左、右翼侍衛親軍，左、右、中三衛。至元十六年(公元1279年)，南宋滅亡，忽必烈調整軍隊部署，增加侍衛親軍兵力，將三衛軍擴充為前、後、左、右、中五衛，後又增設武衛、虎賁衛、忠翊衛、海口侍衛等衛軍機構，以漢軍為主體，稱為漢人衛軍；將原來隸屬於蒙古軍籍的色目「諸國人之勇悍者聚為親軍宿衛」，先後設立了唐兀、欽察、貴赤、西域(又稱阿爾渾)、阿速、隆鎮、龍翊、斡羅斯等衛軍機構，稱為色目衛軍。部分蒙古探馬赤軍人和從草原上流散出來的蒙古人口，也被編入侍衛親軍組織，設立蒙古侍衛與宗仁衛等機構，稱為蒙古衛軍。此外，還在東宮之下(後轉給後宮或樞密院)設立了幾個衛軍機構。到元文宗時，衛軍的總人數在20—30萬之間，漢軍上兵約佔2/3。
侍衛親軍由衛都指揮使司掌管，除東宮衛軍外，均隸屬於樞密院。
怯薛由怯薛長掌管，負責皇帝安全，一般不出征作戰。侍衛親軍既要負責上都、大都兩個都城的安全和「腹里」(中書省直轄的地區，包括今河北、山東、山西及內蒙古部分地區)的鎮戍，又要隨時準備出征或鎮壓人民起義。由於侍衛親軍的士兵多是各軍中選來的精銳，所以侍衛親軍的戰鬥力較強，是元朝軍隊的核心，代替了蒙古國時期怯薛的地位。
地方鎮戍軍由駐牧在草原上的蒙古軍和分散在全國各地的探馬赤軍、漢軍和新附軍(原南宋軍隊)構成。蒙古軍和探馬赤軍以騎兵為主，漢軍和新附軍以步兵為主。另外還有炮軍和水軍。
蒙古軍仍然保持著有戰事傳檄集合，平時散歸各部的習慣。千