宋太祖趙匡胤建立宋朝後，針對長期以來的藩鎮割據局面，採取了一系列集權於中央的措施，逐步建立起高度集權的專制統治，使皇帝牢牢掌握住最高軍政大權。
北宋軍隊的領導權集中在皇帝手中。宋太祖深知唐末五代以來，王朝更迭頻繁的根本原因是悍將權臣手握重兵。認識到：「兵權所在，則隨以興；兵權所去，則隨以亡。」(宋范浚《范香溪先生文集》卷八《五代論》)因此在取得政權後，立即執行了「廢藩鎮，釋兵權，罷功臣，典禁兵」的政策，在中央以「杯酒釋兵權」 ，迫使禁軍將領交出兵權，在地方則以文臣知州軍事，解除節度使的權力。
為了從制度上保證皇帝對軍隊的絕對領導，北宋實行以樞密院掌管軍政軍令，三衙分統馬步軍的軍事領導體制。
樞密院是北宋執掌軍政的最高機關，與中書省並稱東、西二府。長官是樞密使，與中書省的同平章事合稱「宰執」，共同負責軍國要政。樞密院的主要職責是制定戰略決策，調遣軍隊，但不直接掌握軍隊。
樞密院的組織，樞密使之下設副使、簽書院事、同簽書院事，又設都承旨、副都承旨，負責內部事務。其下又有檢詳官、計議官、編修官。樞密院下設北面房、河西房、支差房、在京房、教閱房、廣西房、兵籍房、民兵房、吏房、知雜房、支馬房、小吏房等12個部門。各房設都承旨等官，分理樞密院的各種事務。
樞密院的長官一般由文人擔任。
三衙是北宋分掌皇帝三支親軍(禁軍)的最高指揮機構，其全名是殿前都指揮使司(簡稱殿前司)、侍衛親軍馬軍都指揮使司和侍衛親軍步軍都指揮使司(簡稱侍衛馬軍司和侍衛步軍司)。三衙各設都指揮使、副都指揮使和都虞侯。三衙的長官簡稱殿帥、馬帥和步帥，合稱三帥。三衙負責全國軍隊的統制訓練、番衛戍守、遷補賞罰。三衙互不統屬，最高指揮權屬皇帝。
北宋派禁軍出師時，不用三衙將帥統兵，而由皇帝臨時任命其他官員為率臣(帥臣)領兵出征。事定之後，兵歸三衙，統兵將帥各還本職。
北宋就是這樣把調兵權、統兵權、握兵權一分為三，正如《宋史·職官志》所記載的：
樞密掌兵籍、虎符，三衙管諸軍，率臣主兵柄，各有分守。
祖宗制兵之法，天下之兵，本於樞密，有發兵之權，而無握兵之重；京師之兵，總於三帥，有握兵之重，而無發兵之權。上下相維，不得專制。此所以百三十年無兵變也。
這種制度對於消彌綿延200餘年的兵禍，保障社會的穩定，促進經濟和文化的繁榮，起了重要作用，具有積極意義。但是，由於兵權分散，事不得專而又互相掣肘，加上一切權力統歸皇帝一人，主帥在戰場上只能按皇帝事先欽定的陣圖指揮作戰，從而大大削弱了北宋軍隊的戰鬥力，成為北宋在和遼夏作戰中屢屢失敗的一個重要原因。
北宋軍隊主要有三種：禁兵、廂兵和鄉兵。邊境地區還有蕃兵。
禁兵或禁軍，是北宋的正規軍，天子的衛兵，擔負守備京師、征戰屯戍等任務。禁軍中擔任皇帝警衛工作的是諸班直，負責宮廷守衛的是由御前忠佐軍頭司、皇城司和騏驥院領導的禁軍部隊，其他禁軍用以「守京師，備征戍」。
禁軍的編製，一般以50人為一隊，二隊為一都，五都為一指揮(營)，五指揮為一軍，十軍為一廂。指揮是基本作戰單位。廂、軍的長官是都指揮使，指揮的長官是指揮使和副指揮使，都的長官是軍使和副兵馬使(步兵是都頭和副都頭)。太祖時，禁軍員額為19.2萬，太宗時35.8萬，真宗時43.2萬，仁宗時82.6萬，英宗時66.3萬，神宗時61.2萬。
廂兵，是國家正規軍中的地方兵，名義上屬侍衛馬軍司和侍衛步軍司管轄。廂兵只用於勞役，而不進行軍事訓練，直到仁宗慶曆年間(公元1041—1048年)，才開始教閱廂兵。神宗時下令將教閱廂兵升為禁軍，於是剩下的廂兵又都成為不教閱的雜役兵。神宗元豐末年(公元1085年)，廂兵共約23萬人。
蕃兵是由少數民族組成的非正規邊防地方軍。宋仁宗時，為應付西夏的進攻，在宋夏交界的西北邊境地區，從內屬的各羌族部落中招募士兵創製而成。《宋史》卷一四四說：
蕃兵者，具籍塞下內屬諸部落，團結以為藩蘺之兵也。
蕃兵以部族為單位，朝廷對蕃兵的首領區分不同等級給予錢糧、衣服和土地。蕃兵雖屬地方兵，但熟悉邊情，勇敢善戰，有較強的戰鬥力。
鄉兵也稱民兵，有的稱強壯、弓箭手，是非正規地方武裝，一般不脫離生產。北宋為了防禦遼和西夏，在沿邊界的河北、河東、陝西各地農民中征、雇兵員，糧餉兵仗，都由本鄉自備。應徵者在手背上刺「義勇」、「弓箭」、「弩手」、「土丁」等名號。鄉兵由於熟悉地形，又是為保衛自己的家園故土，所以作戰時很勇敢，有很強的戰鬥力。
北宋實行募兵制，軍隊的補充主要依靠招募。招兵的辦法，據《宋史·兵志》記載是：
或募土人，就所在團立；或取營伍子弟，聽從本軍；或募饑民，以補本城，或以有罪配隸給役。
這裡除了配隸的罪犯外，其他都是募兵。尤其值得一提的是北宋統治者非常重視在災民中募兵，一遇荒年，便大批招募災民入伍，這是北宋的國策。這樣做的目的一是防止災民造反，二是將反抗封建統治的饑民轉化為地主階級利益的保衛者。這樣做的結果不但沒有增強北宋的軍事實力，相反卻形成了冗兵冗費的局面，國家收入絕大部分都用於養兵，軍隊數量雖大，卻沒有什麼戰鬥力。
北宋對軍士要進行定期或不定期的揀選，驍勇者升其籍，老弱怯懦者降低軍種或軍級，或退充剩員，甚至開除軍籍，以此來保證禁軍的素質。規定凡從廂兵升禁兵、從禁兵升上軍、從上軍升班直，皇帝都要親自到場檢閱、接見。宋太祖時還派使者到各地調查，把那些身體好、武藝高的人選拔到開封，充當禁軍。
北宋初期對禁軍的訓練十分重視，宋太祖曾親自到郊外檢閱部隊，觀看士兵的軍事訓練。北宋政府規定，月俸500以上的禁軍全天演練武技，月俸300以下的一邊訓練，一邊服雜役。通過嚴格的訓練，提高了守軍的戰鬥力，使宋軍在統一戰爭中節節勝利。但是到宋仁宗以後，由於招募太濫，揀選不實，訓練太差，使禁軍的戰鬥力急劇下降，在與西夏進行的戰爭中屢屢敗北。
北宋為加強禁軍的管理，實行了「階級法」、「更戍法」和一系列禁戒。
北宋軍隊實行嚴格的等級制度，即所謂「階級法」，在軍中設立各種等級的軍官，規定各級軍官各司其職，並付以生殺大權，使下級不敢輕舉妄動，只能絕對服從上級，以此保證嚴明的軍紀。所以，南宋孝宗說：太祖設階級法，「二百年軍中不變亂，蓋出於此」。(宋陳傅良《歷代兵制》卷八)
北宋還制定了更戍法。更戍就是定期變換禁軍的戍守地區，規定除殿前司和捧日、天武兩軍外，自龍衛而下，都番戍各路，有事即以征討。戍守邊地的禁軍，每隔一二年便要換防，互相更代。《文獻通考·兵考·五》記載：
五代承唐藩鎮之弊，兵驕而將專，務自封殖，橫猾難制。祖宗(宋太祖)初定天下，懲創其弊，分遣禁旅，戍守邊地，率一二年而更。欲使往來道路，足以習勞苦，南北番戍，足以均勞逸。故將不得專其兵，而兵亦不知驕惰。
司馬光也說實行更戍法是為了使軍士「均勞逸，知艱難，識戰鬥，習山川」(《司馬溫公文集》卷三七《乞罷將官札子》)。實際上，宋太祖實行更戍法最主要的目的是使駐軍統兵官和地方官吏不敢互相結托，也使將不知兵，兵不知將，造成將兵分離，不致興兵叛亂。
在更戍法的制度下，北方禁兵往南方移屯，常常不服水土，造成部隊非正常減員，削弱了戰鬥力。更戍法實行了100多年，直到宋神宗時，在對遼和西夏打了許多敗仗之後，才慨然更制，規定禁兵不再出戍。
為防止禁兵驕惰，北宋還制訂了許多禁戒。據《武經總要》前集卷十四記載的《罰條》，就有72條之多。打架、鬥毆、酗酒、斂財、逃跑、偷盜、竊造軍器、私傳武藝、私結義社等等都在嚴禁之列。對禁兵的飲食服飾也有嚴格規定。如禁軍士兵不得衣皂，只許衣褐，且長不得過膝。蔥韭不得進入軍營。禁軍士兵無故不得離開部隊。每月領糧餉時，營在城西者，即於城東支，營在城東者，即於城西給，不許雇車或請人幫助，必須由士兵自己背負。應該說，上述規定有些內容對保證軍隊的良好紀律還是有積極意義的。
北宋禁軍平時分屬三司，戰時則由皇帝親自任命的招討使(都部署)徵調若干軍、廂以行征討。招討使則依具體情況將其所轄部隊區分為先鋒、策先鋒、殿後、前陣和主力馬步軍等。
先鋒，即前鋒部隊，類似於現代的前衛部隊，其軍陣稱先鋒陣。策先鋒是策應先鋒的