西晉末年，在反晉民族大起義中，各內遷的少數民族紛紛建立民族政權。西晉滅亡後，這些政權的貴族統治集團在北方長期混戰，在北魏統一北方前，先後建立的政權近20個，主要有16國，史稱十六國 時期。除前涼、西涼、冉魏、北燕等政權外，其他政權都是少數民族建立的，因而它們的兵制具有鮮明的民族特色。
十六國時期，各少數民族政權多實行異族分治制度，或稱為胡漢分治制度，在一國之內，實行兩種不同的軍政體制，以保證他們對其他被統治民族的軍事統治。據《資治通鑒》記載，南涼大將鍮勿侖認為，為了保持他們「雄視沙漠、抗衡中夏」的長處，必須對漢族和本族分開治理。即「處晉民於城郭，勸課農桑，以供資儲；帥國人以習戰射，鄰國弱則乘之，強則避之」(《資治通鑒》卷一一一)。對漢族人民，仍按漢族地主階級的傳統方法進行統治；對少數民族，則按各自的部落傳統進行統治。以漢和前趙為例，其最高統治者仿漢制稱皇帝，但在皇帝之下，仍按匈奴舊制設大單于一職，主管少數民族。大單于下設單于左、右輔，協助大單于統領軍隊。由於大單于實際上是最高軍事統帥，所以一般由皇帝自兼，也有任命太子或太弟擔任此職的。在地方上，對漢族地區，一般仍實行州、郡、縣制，設刺史、太守和縣令長等主民政，設都督、將軍、校尉等專管軍事。對少數民族地區，則按照他們的傳統習慣，實行部落和政權合一的設置，設城主、鎮將、都護、部大人、都大人等進行統治。
各少數民族政權的軍隊，形式上仍沿襲魏晉，分中外軍。統領中軍的仍稱中軍將軍、中領軍，統領外軍的仍稱都督。中外軍的最高統治者有的也稱都督中外諸軍事。但實際上，由於戰爭頻繁，軍隊又經常集中使用，中外軍的界限已不明顯，而且也不是以駐地為區分的標準。當時的情況是，以本族部族兵為主組成的部隊，都屬於中軍。其中最精銳的部分，由皇帝(王)親自領導和指揮，稱禁衛軍或禁兵。歸附和投降過來的其他民族的軍隊和駐守外地的軍隊屬於外軍。由中央委派到各地的持節都督或城主、鎮將、護軍等統領，由於他們長期駐紮外地，有機會招兵買馬，築城修堡，發展個人勢力，因而往往變成割據勢力。
除中外軍外，還有州郡兵。州郡兵本屬地方武裝，由州刺史或郡太守統領，主要任務是維持地方治安，有時也應調出征。
私人武裝的強盛是十六國時期的一個重要特點。興起於東漢王朝末期的豪強地主勢力，在西晉末年天下大亂之際，有了迅速發展。到十六國時期，更出現了塢堡林立的局面。凡有勢力的地方豪強，無不結堡自衛。每個塢堡主，都有為數不少的部曲、家兵。因政局動亂，各政權無力控制，塢堡遂變成半獨立的政治軍事實體，直接參与軍事行動。如淝水之戰後，苻堅力量大為削弱，關中諸壁壘3000餘所，皆遣兵負糧幫助苻堅。西晉末年，黃河以南地區，塢堡林立，各不相屬。後來祖逖北伐，曾依靠塢堡主共抗石勒，取得不小的勝利。這些塢堡主歸附某個政權後，往往被任命為地方長官或軍事統領，原有私人部曲仍歸其統領，但納入國家軍事系統，變成外軍。
各少數民族政權實行全民皆兵的制度。這些少數民族，儘管進入中原的時間有先有後，各自的社會發展程度也不盡相同，但從社會結構上說，大體上都屬於部落組織形式。落為邑落，為各近親家族，是社會的基層組織。落上為部，是各近親家族的聯盟。每部所統落的數量不等，大者以千計，小者以百計。部的首領稱大人、渠帥、酋長等；落的首領稱小帥。部落首領，原來由推選產生，後演變為世襲。與此社會結構相一致，在部落內部，實行部落兵制，全族皆兵。凡成年男子，都是戰士，平時生產，戰時出征，亦兵亦牧(農)，耕(牧)戰合一，軍械糧秣自備。各少數民族政權的首領，最初均是依靠部落兵起家。建立政權後，部落兵成為國家軍事力量的主幹，構成中軍。從外表上看，這時的中軍，與部落兵沒有多少差別，但在性質上，已演化成國家的常備軍。中軍的家屬隨軍，分住於各營，稱為營戶。屯駐於外地各軍鎮的外軍，其家屬也隨軍，稱為鎮戶。外軍雖不完全是本族人充當，但在胡漢分將制下，居於同一軍事據點或統屬於同一軍將的，基本上屬於同一個民族。營戶和鎮戶，是中外軍的主要兵源。他們既是兵，又是民，自己生產糧食，戶籍單獨編製，不歸郡縣管理，直接隸屬於軍將。軍將既是他們的軍事統帥，又是他們的行政長官。這些營戶和鎮戶兼有少數民族全民皆兵和魏晉世兵制的特點。營戶和鎮戶的成年男子，均是終身為兵，而且父死子繼，兄終弟及。這反映了少數民族原有制度與中原地區制度的相互融合。
除少數民族部族兵外，各政權中還有漢族兵，漢族兵中實行世兵制。
各少數民族政權還通過招募、強征和收降擴充軍隊。
招募的對象主要是民戶。民戶大部分是漢人，也包括身居內地、文化程度較高的少數民族。
徵兵是在緊急情況下臨時實行的，不是常制。大戰來臨，國家感到兵力不足，往往下令徵兵。被徵士兵服役時間的長短，依戰爭需要而定，一般情況是戰爭一結束，即複員還鄉。
收編其他軍事力量，特別是中原地區的塢堡力量，也是這一時期擴大兵員的一種方法。
十六國時期漢族建立的幾個政權，其兵制大體延續魏晉，不再贅述。