隋文帝的做法無疑是一場重要的改革，從此展開了政區層級變遷的第二循環。這場改革旨在通過減少政區層次，來加強中央集權，避免地方割據。但是還有第二項改革必須進行，那就是經過500年的變遷，州、縣數目已經太多，區劃已經太小，尤其是州，在隋代一統之後，總數有300多，由中央政府直接管理很不方便，必須加以調整。
這項任務由隋煬帝來完成，大業三年(公元607年)，大舉並省州縣，並改州為郡。並省之後，全國僅存190郡，1255縣，平均每郡統轄六七縣。隋煬帝仰慕漢代制度，除改州為郡外，為便於中央政府的控制，又模仿漢武帝的做法，置司隸刺史，分部巡察(圖4)。
經過改革調整以後，隋代的行政區劃體系應該說是比較完善的。但歷史常常開人們的玩笑，隋代又蹈襲了秦代二世而亡的結局。郡縣二級制施行不過十數年，殘暴無道的隋煬帝就被農民起義打落了皇冠。唐代開國以後，郡又被改為州。隋唐之際群雄並起，大凡歸唐者，都被委以刺史之職，於是州的數目又膨脹了起來。尤其在廣西、湖南、四川一帶的少數民族地區，州的設置更加密集，因為當地的首領表示歸順都成了州刺史。後來雖經唐太宗在貞觀元年(公元627年)作了並省，到貞觀十三年(公元639年)依然還有358個州，縣則有1551個。
隋唐的二級制，雖然模仿秦漢制度，但行政管理形勢已經不可同日而語了。隋的疆域比秦大，唐的統治比漢深入，郡(州)的數目則無法縮減到百數左右。對於隋唐郡(州)的管理幅度而言，六七縣或四五縣範圍均嫌太小，而對中央政府來說，管理二三百個郡(州)卻是很大的問題。據說唐太宗曾把300多名州刺史的名字寫在屏風上，經常檢查他們的政績，以決定獎懲升降。當時就有人從官職設置的角度來評論這一行政體制，認為得100個良二千石(郡太守)已不容易，何況得300個好的州刺史，因此必須在二級制政區之上再加一層監察區，對刺史加以糾察。唐初極力避免這樣做，擔心監察區有變成行政區的危險。但是形勢還是一步一步地朝著設置監察區的方向發展。
監察區在唐初雖可不設，但派遣監察官員卻是勢在必行，而一旦派出監察官員，就有分區負責的必要，即使名義上不設監察區，實際上已有雛形了。唐代監察官員的分區是按基本交通路線來劃分的，所以稱為道。貞觀元年(公元627年)，按山川形便分全國為10道，形式上雖然是地理區劃，其中已暗含監察的意味。
整個唐朝前期就在一種含糊的情況下度過，其間有一度打算分全國為24都督區而未成，反對者認為這樣做分權太重。直到唐玄宗開元年間(公元713—741年)，才終於正式定下監察區的體制，將貞觀10道分割為15道，「每道置採訪使，檢察非法，如漢刺史之職」(《舊唐書·地理志》)。正式設置監察區一方面是唐玄宗躊躇滿志的表現，開元盛世使他對局勢充滿信心，不去顧及監察區的變化前景；另一方面，沒有固定的監察區也確實給監察工作帶來許多困難，監察官員在首都和監察地點之間來去如飛，監察效果也就大打折扣。
然而，監察區一經固定，監察官員一任常職，變為行政區、變為行政官員的可能性就是指日可待的事，只要一有催化劑就能促成這一轉變。果不其然，這一催化作用就在20年後發生了。
「漁陽鼙鼓動地來」。天寶末年，安祿山的叛亂攪散了唐玄宗的太平清夢，新的三級制行政區劃就在金戈鐵馬的撞擊聲中出現了。
先是唐玄宗為了邊防的需要，在邊境地帶設置了10個節度使轄區(即方鎮)。本來節度使只管軍事防禦，或「遏四夷之事，不與民政」。後來身兼范陽、平盧兩節度使(轄今北京市和河北東北部)的安祿山大受唐玄宗寵信，使之兼任河北道(轄今河北、河南北部、山東西北及東北地區)採訪使，開了集軍政、民政大權於一身的先例。安祿山正是憑藉這個有利背景而發動叛亂的。
為了撲滅安祿山及其後繼者史思明的叛亂，唐朝政府不得不採取戰時緊急措施，在全國普遍設置方鎮，任命一大批上馬管軍下馬管民的節度使。叛亂爆發後的一二年間，全國已設置44個方鎮(圖5)。等到平叛戰爭結束，這些戰時區劃仍然保留下來，節度使兼採訪使的制度也固定下來，而且兩使兼而為一。雖然在東南地區有的節度使改名為觀察使，但兼掌軍政大權的實質是一樣的。於是，在州縣二級制以上就自然形成了新的一級政區。本來，節度使轄區稱為方鎮，但因採訪使原是道一級的長官，節度使既兼採訪使之職，這級政區也就以方鎮和道互稱，因此唐後期的政區體制就成了道(方鎮)—州—縣三級制。歷代行政區劃層級的變遷完成了它的第二個循環。唐代後期的方鎮數目大約在40—50之間波動，每鎮轄三四州至十來州不等，每州則統四五縣之譜。
方鎮的存在嚴重地削弱了中央政府的權力。尤其是河朔地區(大致相當今華北地區)的方鎮通過平叛戰爭取得很大權力，造成割據形勢：主帥(節度使)職務可以世襲或由將士擁戴，財賦不交國庫，戶口不上版籍，儼然與朝廷分土而治，有如古代諸侯，所以又稱藩鎮。唐代最終亡於藩鎮割據，而且還禍延五代十國，造成中國歷史上第二個長期分裂的局面。這一歷史教訓，無疑給宋代的統治者上了深刻的一課，使他們更加覺得三級制是絕對採用不得的。所以宋朝開國伊始，立即收節度使所領諸州以歸中央，實際上一時間又成了州縣二級制，似乎第三個以二級製為開端的新循環又要出現。
但是，漢唐兩代的經驗又已表明，在一個幅員廣袤的國家中，要施行純粹的兩級制是有很大的困難的。尤其是在統縣一級政區(漢的郡、唐的州)數目很大的情況下，不在二級制之上設置監察區是不可能的事，但是設置監察區的後果必然是走向三級制政區，從而引起中央集權的削弱，最終造成混亂分裂的局面。如何突破二級制到三級制循環不已的這個怪圈，正是宋王朝成立以後所遇到的首要問題之一。
在解決這個問題時，宋代的統治者是很花了一番心血的。第一步是對節度使「收其支郡，奪取兵權，制其錢穀」。支郡就是方鎮所屬各州，借用漢初王國屬郡的稱呼。節度使失去政權、兵權和財權後，變成一個虛銜，有名的「杯酒釋兵權」說的就是這個故事。之後，政府另派中央官員作為知州，直接管理各州政務，但原來的州刺史依然保留。知州的全稱是權知軍州事，意思是暫時代管該州軍事行政事務。其實知州是固定官職，只不過名稱上耍了花招而已，後來罷去刺史，就把「權」字省掉了。縣級政區的官員也照此辦理，派遣中央官員擔任知縣以代替原來的縣令。
宋初在方鎮取消之後，有一段時間，沒有新的行政區劃來代替。州級政區成為中央直轄單位。後來，宋代統治者從唐代轉運使的設置得到啟發，將這一臨時差使變成固定官職，以之經度和轉輸地方財賦。既要轉輸，必須與交通線有關，因此「又節次以天下土地形勢，俾之分路而治」。於是路成為州以上的新型行政區劃。
在轉運使之後，負責監察、司法之職的提刑按察使，負責治安邊防的安撫使，負責儲備糧食平抑物價的提舉常平使等官員也相應設置。這些官員的衙門通稱諸監司，分稱則為漕、憲、帥、倉諸司。這些監司的行政管轄地域都稱為路，但各監司的路並不盡一致，從轉運司看來為一路的，在提刑按察司卻是兩路，而在安撫司卻可以是四路。即使當兩司的路一致時，兩司的治所(行政中心)有時也不在同一地(圖6)。
因此，宋代行政制度的特點是：第一，不在州以上設置統一的高級地方行政機構和單一的行政首長，而是把這一級的事權分屬於不同的部門——監司。第二，不在州以上設置高級的單一行政區劃，而是盡量使諸監司分路不相一致，形成一套複式路制。這兩個特點表明宋代路的建置是先設官分職，然後再體國經野，恰與歷來的傳統相反。第三，各州依然保留向中央政府的直接奏事權。這三個特點的存在使路不成為嚴格意義上的最高一級行政區，中央與路州縣三級成為如下關係：
這樣的關係從權力的分配來講，可以稱之為二級半或虛三級制。但是單純從區劃的觀點看來，路仍是州級政區以上實際存在的一級區劃，因此從行政區劃體系看，宋代還是可以稱為三級制。
宋代由於採用路制，中央集權高度強化，而地方處於極度分權以至無權狀態，這就使對外的邊防和對內的治安能力大大減弱。西北雖設有眾多安撫司路，但只管兵而不管民，只理軍政而不理財政，抗禦外侮能力極差，對內鎮壓農民起義的能力也受影響。所以有宋一代，內憂外患不止。
但就專制皇權而言，宋代統治者在權衡利弊之後，願意接受的還是這種內重外輕的局面。儘管當的是弟皇帝、侄皇帝，甚至兒皇帝，都可以忍受得了。無能禦侮，可以納幣，可以獻土；無力鎮壓，可以羈縻〔ji