後周的歸德軍節度使兼禁軍首領、殿前都點檢趙匡胤，在顯德七年（960年）奉周恭帝之命前去討伐遼（947年契丹改國號為遼，983～1066年又重稱契丹），當軍隊行至開封以北的陳橋驛（今河南封丘東南陳橋鎮）時，發動兵變。由趙匡胤的弟弟匡義（後改名為光義）等人授意將士，把只有皇帝才可以穿的黃袍加在了趙匡胤的身上，擁戴他做了皇帝。趙匡胤於是回師京城開封，逼迫當時只有七歲的周恭帝郭宗川禪位，不費一兵一卒，便順利地完成了政權的交接，建立了宋朝，史稱北宋。
宋朝建立時，北方有勢力強大的遼和得到遼支持的北漢政權，南方則分布著南唐、吳城、後蜀、南漢、南平等割據政權。趙匡胤沒有採取後周世宗柴榮北征遼王朝的策略，而是先集中優勢兵力前去征服南方。他先後用了十三年的時間，剪除了南方的一些割據政權。到了他的弟弟趙光義繼位，在太平興國四年（979年），平定了最後一個割據政權北漢之後，終於結束了自唐末以來紛爭割據的局面，基本實現了統一天下大業。
行伍出身的宋太祖趙匡胤在建立宋朝以後，深知部下握有重兵所潛在的危害性，因此他在統一天下的同時，也在著重思考一個問題，即如何加強中央集權的專制統治，削弱地方權力，將一切權力收歸中央政府，以使唐代末年以來長期存在的藩鎮割據局面不再重演，從而避免宋代成為五代之後的又一個短命王朝。
建隆元年（960年）末的一天，宋太祖向大臣趙普詢問道：「從唐末以來，在短短的幾年間，帝王換了八姓十二君，爭戰無休無止，老百姓深受其苦。我想要從此息滅天下的爭戰，制訂一個讓國家長治久安的策略，你有什麼好的辦法嗎？」趙普精通治道，對這些問題也早有所考慮，聽了太祖的發問，他便說這個問題的癥結，就在於方鎮太重，君弱臣強而已，治理的辦法也沒有奇巧可施，只要削奪其權、制其錢穀、收其精兵，天下自然就安定了。趙普的話還沒說完，宋太祖就連聲說「你不用再說了，我已經全明白了」。於是一個重建中央集權專制制度的計畫就這樣醞釀出來，並逐步付諸實施了。
宋太祖先是上演了一出「杯酒釋兵權」的鬧劇，在建隆二年七月的一天，他利用召集石守信、高懷德等禁軍高級將領喝酒之際，話中有話，讓石守信等宿將意識到自己手中握有兵權可能招來殺身之禍，不得不被迫稱病交權，從而不費吹灰之力便將這些人的兵權徹底解除。
其次，是對地方藩鎮採取強幹弱枝的方法。唐朝最終由於藩鎮割據而滅亡，並禍延五代十國，造成長期分裂的局面。這活生生的事實，使宋太祖強烈地意識到道——州——縣三級制的行政區劃對於中央集權的政府來說是絕對不可取的，必須採取一種新的有效方法來改變這種局面。
宋太祖趙匡胤為了削弱節度使的權力，首先是把節度使駐地以外兼領的州——當時借用西漢初年諸侯王國屬郡的名稱而叫做支郡（如山南東道節度使就統轄襄、均、房、復等四州，節度使駐在襄州，其餘三州就稱為支郡），收歸京師，由中央政府直接統轄。同時由中央派遣文官出任地方官——知州，負責管理各州事務，但是仍然保留了原來各州的州刺史。知州的全名是權知軍州事，意思就是暫時負責該州的軍民事務，其實這一職務是一個固定的官職，只不過當時為了讓那些節度使們易於接受而在名稱上玩了點花樣，等到後來州刺史被廢掉，這一名稱中的「權」字也就省去了。知州每三年更換一次，直接對中央負責，向朝廷奏事，不再聽命於地方上的節度使。至於縣一級政區官員的情況，也與州類似，由中央政府派遣中央官員擔任知縣以代替原來的縣令。對於一些五代以來一直割據一方的節度使，宋太祖又重施故伎，施展「杯酒釋兵權」的手段，將他們逐一罷免。後來，為了防止知州在地方上的權力過大，又設置通判作為知州的副手，讓他們相互牽制，以便起到分知州權力的目的。
宋太祖把各地節度使所統領的各州收歸中央後，本想由中央政府直接來控制州與縣，實行行政區劃的二級制。但是他很快就發現，在疆域如此廣闊的國家中，想要推行純粹的二級制幾乎已成為一種夢想，特別是在州這種統領縣的一級政區數目很多的情況下，不在二級制政區之上設立監察區，中央政府想要進行有效的運作，是根本辦不到的。然而一旦設置監察區，又很難避免不發展成為三級制政區，從而削弱中央集權的統治，導致分裂局面的再度發生。
後來，宋太祖從唐代轉運使的設置中得到啟發。唐朝的轉運使在最初設立時，叫做水陸發運使，負責管理洛陽與長安之間的糧食運輸。之後，又設立過江淮轉運使，掌管江淮各道與全國各地的糧食、財賦的轉運。唐代宗以後，又常與鹽鐵使並為一職，稱為鹽鐵轉運使。這是一種純粹的臨時性的理財差遣。在乾德年間（963～967年），宋太祖把唐朝這一制度稍加改造，把這個臨時性的差遣變成了固定的官職，讓轉運使負責徵收和轉運地方上的水陸兩路財賦。由於要轉輸，就需要與交通路線發生聯繫，所以宋代統治者又按照全國的地理形勢，重新劃分轄區，讓這些轉運使分路而進行管理，轉運使的全稱是「某路諸州水陸計度轉運使」，但地方上的實權仍握在州的長官手裡。路在當時與宋朝承繼唐朝而實行的十三道並存。隨著時間的推移，到了太平興國二年（977年），宋太宗下詔把十八個節度使所領的諸州全部收歸中央，徹底廢除了支郡制度，使轉運使的權力逐漸擴大，進而發展到了將地方上的一切行政管理事務全都交到了他的手中，成為州之上的地方行政長官。道則變得有職而無權，到了宋太宗淳化五年（994年），道便被廢掉了。這樣，宋朝在州之上，便形成了新的一級行政區劃——路。
因為轉運使擁有地方軍、民、財、刑大權，並轄有幅員廣闊的區域——路，這無疑便構成了一種潛在的割據力量。宋朝統治者不願意把一路的大權長期集中在轉運使手中，為了分奪轉運使的權力，景德四年（1007年），真宗正式設立提點刑獄司，長官叫做「提點某路刑獄公事」，簡稱提點刑獄或者提刑，負責掌管一路的司法、刑獄和監察。另外，還有薦舉官員的權力。
除去轉運使司和提點刑獄司之外，在宋朝的一些路一級的行政區劃中，還設有提舉常平司和安撫使司，前者負責儲備糧食、平抑物價，後者掌管一路的兵民之事。除安撫使司（簡稱為帥司）之外，轉運使司、提點刑獄司、提舉常平司通稱為諸監司，又分別簡稱為漕、憲、倉三司。這種將一路之中的軍、民、財、刑各權分散於上述四司，使路不能成為單一的一級政府機構的做法，是宋朝統治者的首創。在此之前的各個朝代，僅是在每一級的行政區劃中，設立一個單一的地方政府與一名行政長官。
在地域上，這些監司的管轄區域雖然都叫做路，但是各監司的路並不完全一致，而是互有交叉，在轉運使司看來是一路的，在提點刑獄司卻可以是兩路，在安撫司路則又可以是四路，甚至是六路。我們看了下面的這個實例，就會對這種情況有較為清楚的了解。當時在西北地區，從轉運使司來說設立了陝西一路，但是從提點刑獄司來說，則設置了永興軍路與秦鳳路兩路，再以安撫使司來看，則又分成為永興軍路、鄜延路、環慶路、秦鳳路、涇原路及河熙路等六路。另外，即使有兩司路在所轄領域上完全吻合，其治所也會有意地被安排在兩個不同的地方，從而讓他們形成各自獨立的權力管轄範圍。
宋朝中央政府就是利用以上這些辦法，讓各監司彼此之間相互牽制與制約，加之讓路之下的各州依然保持直接向中央奏事的權力，這樣就使路不能成為嚴格意義上的州之上的一級政區，從而收到有效控制地方、加強中央集權的效果。
總體來說，雖然從權力分配的角度來看，宋代實行的是二級半或者是虛三級，但如果從行政區劃的角度來說，宋代實行的是路——州——縣三級制。
宋代地方行政制度的這些與前代不同的變革，一方面可使地方路一級組織不能形成單一的權力機關，從而不會形成割據一方的地理基礎；另一方面，宋代路、州、縣各級行政區劃的官員都由中央朝官擔任，可以避免出現地方分權的人事基礎。
由於這兩方面的原因，使宋朝中央集權高度強化，地方分權則大為削弱。這種做法被稱為強幹弱枝，又叫內重外輕（朝廷是干、內，而地方為枝、外）。但是這樣做的一個嚴重後果是，地方的對外防禦與對內治安能力都不得不大打折扣。因此，宋朝雖然可以使自己的政權免於被農民起義和藩鎮割據滅亡的危險，但是卻無法逃脫亡於外敵入侵的厄運。後來北宋亡於金人、南宋又亡於蒙古，就充分地說明了這一問題。