對於行政區劃的層級變化過去很少進行深入的探討。各級行政區也未有固定的指稱，通常都按序數稱作第一級政區，第二級政區，第三級政區，等等。但這樣稱呼無法體現各級政區的特點。如同為郡級政區，在秦漢為第一級，在魏晉南北朝卻是第二級。而且如前所述，元代政區雖然實行了多級制，但從各級政區對縣的統轄關係看來，可以只劃分為三個層次。通觀2000年政區層級變化的過程，也可將其歸納為三個層級，即縣級政區、統縣政區與高層政區。
縣級政區也可稱為基層政區。皇帝直接任命的地方官員到這一層為止。縣是直接管理百姓的一級政區，在幅員、數目與名稱方面變化起伏最小。統縣政區也可稱郡級政區，即直接轄縣的政區，如秦漢的郡，隋唐五代宋遼金的州，元代的路、府、州，明清的府、直隸州，民國初年的道。高層政區即不直接轄縣的地區，亦即統縣政區的上一級政區，在魏晉南北朝為州，在唐宋為道、路，在元明清和民國初年為省。按照三個層級的劃分可將歷代行政區劃的變化納為下表：
表中括弧內外的名稱為互稱或等稱。如隋唐時期，大部分時間統縣政區叫作州，其中兩度短期改稱郡(隋大業三年至十四年，唐天寶元年至至德二年，共28年)，郡、州性質一樣，故為互稱。唐代後期採訪使兼節度使，道與方鎮合為一體，故稱道或稱方鎮均無不可，是為等稱。明代布政使司是正式名稱，但俗稱為省，兩者也是等稱。又如表中遼、元、明三欄的統縣政區有幾種類型，中間以短線隔開，表示它們除統縣的共同特點外，相互之間還可以有統屬關係，如明代的府可直接統縣，也可經過屬州再統縣。不用短線隔開的則都是同一層級的不同類型政區，如宋代的府、州、軍、監同為統縣政區。
層級變化的規律主要有兩條，一是由高降低，再是由虛入實。
由高降低
所有高層政區都隨著歷史的進展，幅員漸次縮減，數目次第增多，級別逐層下降，最後歸於消亡。這一點以州最為明顯。州在東漢末年只有13個，作為高層政區，大者如當今兩三省之地，小者也有半省規模。到隋初，州數達到300多，幅員只有數縣大小，級別已降為統縣政區。至元明時期，大部分州已降與縣相當，清代的散州則完全與縣同級，民國初年進而廢州為縣，於是州從行政區劃體系中消失了。中華人民共和國成立後，才又採用來作為第二級民族地方自治區域的名稱。
道在唐朝前期作為州以上的監察區出現，後期與方鎮結合而成為高層政區，但幅員已大大縮小。宋初的道後來被路所代替，到元代又用作省以下的監察區，明清沿襲元制，也在省與府之間設道，但幅員也大為減縮。民國初年改道為省縣之間的一級政區，20世紀20年代廢道以後，道就消亡了。
路的演變也相近似，只是沿用時間短。北宋的路只有20多個，作為高層政區，其幅員大約相當今天的半省一省之地。到元代降而為統縣政區，幅員也縮小到今天一兩個地區大小，明代廢路為府，路也消亡了。
省的幅員從元代到民國逐步減少，20年代以後降為統縣政區。至今名義上還是統縣政區，雖然在省縣之間還有地區和管縣的市這一虛級。
作為統縣政區的郡和府，與高層政區不同，雖然幅員也逐漸縮小，但並不降低級別，而是直接消亡。郡的幅員到南北朝末期已經縮小到二三縣的範圍，所以隋初就被取消了。後來雖然在隋後期及唐中期兩度短時間恢複，最終仍不免於消亡。但是郡縣制的稱呼卻一直保留下來，以代表與封建制不同的行政制度，因此一切統縣政區，隋唐宋的州，元明清的府都可以稱為郡級政區，事實上，古人也一直把州府當作郡來看，州刺史和知府也往往雅稱為郡太守。
不但如此，宋代更在每州的州名之外，還要附有郡號。許多人讀《宋史·地理志》有「滄州、上，景城郡」，「福州，大都督府，長樂郡」等記載，就以為宋代還存在郡稱，其實不然。這裡的郡稱只是個號，如同人的字型大小和本名的區別一樣。郡號長樂，就是用福州在唐時的郡名。宋代的州大都由郡改名而來，因此郡號也大都現成。一些新置的州沒有郡號，則由皇帝頒賜，如河東路豐州，就賜名寧豐郡。
府在明代成為普遍的統縣政區，幅員較大，如山東只分為六府，比今天的地區還要大。清代府境明顯縮小，民國初年則廢府存道，府也消亡了。
由虛入實
歷代高層政區都是由非行政區，即監察區或軍區演變而來，政區長官也由中央官員轉變而來，此謂由虛入實。
秦代的監察區與行政區相一致。秦始皇分天下為36郡，郡置守、尉、監。守、尉是郡的長官，監則是中央官員，每一郡成一監察區。漢代情況變化，郡的幅員縮小，郡數增加，於是在郡之上設州作為監察區。由於監察的對象是吏治而不是民政，事務較簡，無須每郡設一監察區。但是州既作為一級區域划出，與郡縣相分離，就構成了以後轉變為行政區劃的地理基礎，待到東漢末年州牧掌握辟官、(艹下泣)政、理財、治軍四權之後，州就自然轉化為行政區了。
唐後期的道(方鎮)則由兩條線演變而來。一條是魏晉南北朝的都督區。這是以都督為軍事長官，統轄數州的軍務督理區。都督又例兼所駐州的刺史，實際上形成了州以上一級准行政區。唐代沿用這一制度，都督又因加節而稱為節度使。另一條線是唐初按「山川形便」設置的道，後來也成為正式的監察區，道的長官是採訪使。這兩條線結合起來，以節度使兼採訪使，就使方鎮和道重疊而成為州以上的一級行政區。
元代行省近取金朝行尚書省的制度。在中原用兵之時，也以中央大員率領部分政府成員在地方上設立行尚書省，這本來只是中央政府的派出機構，但久而久之其所管轄的地域就成了行政區劃，這是另一種由虛入實的形式。金朝的行尚書省溯其淵源則遠學六朝隋唐的行台尚書省。當時「省」是中央官署之名，行台尚書省或某處行台省都是從中央派出的臨時行動機構，以處理地方事務，事畢行台省即予取消，千年以後的元代卻將它變成固定機構。後來，元代的行尚書省又隨中央政府機構改名中書省而改稱行中書省，簡稱行省。
中國歷史上的四種高層政區，州、道(方鎮)、路、行省，只有路完全出自宋人的獨創，其他三種都由監察區、軍區或臨時行動機構演變而來。但是路的出現亦非完全無本之木，也是將唐代轉運使這一臨時職務加以固定，並使之有一定的施政範圍而形成的，同樣是由虛入實。此外，明代的督、撫轄區在明清之際幾乎變成新的一級政區，後來經清初二三十年的調整，還是回到布政使司(行省)的框架之中，只是督、撫成了布政使之上的省區一級最高長官。