公元581年，北周外戚楊堅代周自立，建立隋朝。開皇九年(公元589年)滅陳，從而結束了東漢末年以來近400年十五大分裂，重新統一了中國。隋煬帝楊廣即位後，驕奢淫逸，大興土木，窮兵黷武，引起階級矛盾的激化。公元618年，隋朝在農民起義的大風暴中很快覆滅，代之而起的是李唐王朝。
隋朝建國雖短，但它在政治、經濟、軍事方面進行的一些改革，卻給唐代甚至以後各代都帶來了深刻影響。隋文帝楊堅在建國之初，為加強中央集權，在中央建立了三省六部制 ，實行科舉制度，軍事上則對北周的府兵制加以改革，從而使這一制度更趨完善。
隋初府兵制，沿襲北周制度，從強壯的農民中挑選士兵，免除他本身的徭役，平時從事生產，農閑時則從事軍事訓練。無論平時戰時，都由各級軍官督率，而且單立軍籍。隋初規定，18歲以上為丁，60歲以上為老。服役從成丁開始，至老始免。役齡內的府兵，輪番服現役。未服現役的府兵，由管理軍戶的軍場場主或鄉團團主管理，平時定期集中訓練，有事則應召從軍出征。開皇三年服役的年齡又改為21歲，推遲三年。
楊堅取代北周之初，為維持穩定，一切制度都未作變動，但為了更好地控制軍隊，也採取了一些措施。其一，恢複舊姓。將西魏宇文泰為相時賜給軍官和兵士的鮮卑姓全部恢複為本姓，楊堅自己也廢用普六茹氏，恢複楊姓。這一措施的本質在於清除私兵和部族兵的痕迹，提高漢族地位。其二，利用宗族。楊堅代周前後，楊氏宗族組成宗室兵3000人，由楊希尚率領，扼守潼關，抵禦北周將領尉遲迥。楊堅將這支隊伍命名為「宗團驃騎」。其三，整頓鄉兵。隋滅陳之前，在原北齊統治區和與陳接壤地域出現過不少鄉兵組織，楊堅曾對其進行整頓和利用。如寄居廣陵(今揚州)的來護兒領有鄉兵，楊堅授以大都督銜，使之參與滅陳之戰，並立有戰功。陳滅後，江南大地主起兵作亂，楊堅利用廬江陳棱，准其開府，領鄉兵，會同其父陳峴〔xian現〕為隋平叛，後官至驃騎將軍。
開皇十一年(公元590年)，全國統一剛剛完成，為適應新的形勢需要，隋文帝楊堅發布詔令：「魏末喪亂，軍人權置坊府，南征北伐，居處無定，家無完堵，地罕包桑，朕甚愍〔min敏〕之。可悉屬州縣墾田，籍帳一與民同。軍府統領，宜依舊式。罷山東、河南及北方緣邊之地新置軍府。」對兵役制度進行了重大改革。
這一改革的核心內容是把軍戶編入民戶。在此之前的府兵，家屬隨營居住，頻繁的戰爭使府兵家庭難以安定下來，生產不能正常進行，生活非常困難。軍戶編入民戶後，改屬州縣管理，可依均田令受田，家屬也得到解放，即使士兵上番，家屬也可和一般民戶一樣從事生產。軍戶不再存在，但軍人軍籍依舊，與軍府的關係也沒有改變。無論在役、在軍或在家，凡屬軍役範圍內的事，都歸軍府管理。這次改革的實質是變兵民分離為兵民合一。從此，魏晉以來形成的世兵制開始為普遍徵發(在兵府內)所代替。
隋朝這種兵民合一的制度，與它的均田制和租庸調製 是聯繫在一起的。隋朝規定，一夫受田百畝，20畝為永業田，歸受田者所有；80畝為露田，死後交給國家。婦女和奴婢受露田40畝，丁牛一頭受田60畝。一夫一婦(一床)年交租粟三石，絹三丈。丁男每年服兵役一個月，服役時的衣糧裝備由個人負責。丁男服役期間，租調全免。由此可見，隋府兵制的基礎是它的均田制。
隋朝的軍權集中在中央，軍隊由皇帝親自統帥。尚書省內的兵部是皇帝在軍事方面的辦事機構。兵部設尚書一人，下設兵部侍郎、職方侍郎、駕部侍郎、庫部侍郎等，分管軍隊事務。
全國設12衛府，分統全國軍隊，其中既包括禁衛軍，也包括分布在各地的軍府。各衛府的最高長官為大將軍，直接聽命於皇帝。各衛府大將軍以下，設將軍二人，長史、司馬、錄事、功、倉、兵、騎等曹參軍各一人。這12衛府是：左右衛府、左右武衛府、左右武侯府、左右領軍府、左右領左右府、左右監門府。左右衛是皇帝的內衛，負責宮廷禁衛。左右武衛主要負責宮廷外禁衛。左右武侯主要負責皇帝護從，擔任前衛、後衛、晝夜巡查等。左右領軍府負責12軍的籍帳、差科、辭訟等事。左右領左右府負責侍衛皇帝左右、供御兵仗。左右監門府負責宮殿門禁、警衛。各府下轄若干軍府(驃騎府和車騎府，長官為驃騎將軍和車騎將軍)。軍府的軍士稱侍官。除12衛府外，還有東宮十率 。
府兵的這種編組，把12衛府兵力統一在禁衛軍系統內，使皇帝能更集中地控制兵權。另外，禁衛軍中又有內衛和外衛之分。服內衛的稱內軍，服外衛的稱外軍。左右衛所屬親衛、勛衛、翊衛三衛所屬各驃騎府、車騎府，都是內軍；12衛府所屬的其他驃騎府、車騎府為外軍。皇帝利用內、外軍，互相牽制。
驃騎府受大將軍(正三品)直接指揮。驃騎將軍(正四品)下轄車騎將軍(正五品)、大都督(正六品)、帥都督(從六品)、都督(正七品)。和北周相比，主帥的品級降低了(北周大將軍為正九命，相當於隋正一品)，而人數卻從北周的八個柱國大將軍增加到12個衛府大將軍，軍權有所分散，而皇帝卻更便於集中軍權。
府兵不服役時，歸軍府所在地保、閭、族、里、黨等各級組織管轄。
在加強中央軍的同時，隋文帝對地方部隊也作了整頓。隋在邊境及內地重要的州設總管，負責該地區的軍事。隋文帝時期，設總管的共52個，計為：延、慶、原、夏、靈、雲、豐、秦、蘭、廓、涼、金、疊、岷、宕、扶、利、會、遂、信、益、瀘、洛、西防、晉、隰〔xi習〕、代、朔、並、幽、玄、營、青、徐、揚、壽、薊、吳、杭、洪、廣、循、桂、崖、荊、襄、安、黃、江、潭、永。此後時有變更。
隋初將州、郡、縣三級制改為州縣兩級制，以便於控制和推行府兵制。隋煬帝楊廣改為郡縣兩級制，在郡設都尉、副都尉，掌一郡兵馬。
隋煬帝即位後，為了加強軍事力量，對12衛府進行改革。左右衛改為左右翊衛，左右領軍改為左右屯衛，左右武侯改為左右侯衛，左右領左右府改為左右備身府，左右武衛、左右監門衛名稱依舊，另外增置左右驍衛和左右御衛，共16衛府(其中左右備身、左右監門不領府兵)。各府原轄的驃騎府、車騎府改為鷹揚府，並在府前冠以該府所在地名。改驃騎將軍為鷹揚郎將，車騎將軍為鷹揚副郎將，大都督為校尉，帥都督為旅帥，都督為隊正等。改左右衛三衛(親衛、勛衛、翊衛)為三侍。為了使農民樂於服役，又給12衛府軍士冠以榮譽稱號。左右翊衛軍士為「驍騎」，左右驍衛軍士為「豹騎」，左右武衛軍士為「熊渠」，左右屯衛軍士名「羽林」，左右御衛軍士名「射聲」，左右侯衛軍士名「佽〔ci次〕飛」，並改府兵的侍官稱號，總稱為衛士。
東宮十率也有調整。左右衛率改為左右侍率，左右宗衛率改為左右武侍率，左右虞侯開府改為左右虞侯率，左右監門率改為宮門將，左右內率依舊。
大業九年(公元613年)，置左右雄武府，隸屬於左右備身府，招募百姓為「驍果」。這個府不領府兵，但仍屬皇帝禁衛，而且在所有皇帝禁衛軍中佔有特殊重要的地位。大業十四年(公元618年)，宇文化及就是利用驍果發動兵變，殺死隋煬帝楊廣的。
由於隋煬帝好大喜功，不斷擴充軍隊，增置軍府，使社會生產遭到極大破壞，正常的兵役制度也無法實行，當時的情況據史書記載是掃地為兵，丁男不夠役使，又轉而役使婦人。所以在隋煬帝統治的最後幾年，府兵制實際上遭到了破壞。
隋軍在大的軍事行動中，由皇帝指派的行軍元帥為最高指揮官，負責一個地區的指揮官為總管。滅陳之戰中，曾以楊廣、楊素並為行軍元帥，並以楊廣為淮南道行台尚書令的名義統一指揮全盤軍事。史書記載隋滅陳大軍「合總管九十，兵五十一萬八千，皆受晉王(楊廣)節度，東接滄海，西拒巴蜀，旌旗舟楫，橫亘數千里」的盛況，從一個側面反映了當時軍隊的編組情況。
大業八年(公元612年)隋進攻高麗，楊廣率百萬大軍親征。當時的編製情況是：全軍分左右各12軍，凡113萬，「每軍大將、亞將各一人，騎兵四十隊，隊百人，十隊為團；步卒八十隊，分為四團，團各有偏將一人；其鎧胄、纓拂、旗幡每團異色；受降使者一人，承詔慰撫，不受大將節制；其輜重散兵等亦為四團，使步卒挾之而行；進止立營，皆有次序儀法。」(《資治通鑒》卷一八一，大業八年)從上述記載可知，步兵和騎兵編製不完全一樣。騎兵是10隊為一團，步兵是20隊為一團。