由於元代的省地域相當遼闊，而且是設置於金、宋兩代原有的路府州縣之上，因此，元代在地方上便形成了多層級的複式的行政區劃體系。
元代在省之下，有路、府、州、縣等多級地方行政區劃。在最複雜的地區，如中書省，行政區劃的層級可達五級之多，即省——路——府——州——縣。而在最簡單的地區，行政區劃的層級卻只有兩級，即省——路、省——府、省——州等，嶺北行省就是這方面的一個實例，其下只轄和寧路，路下不再設其他的府州縣。不過，元朝大多數地區實行的行政區劃是三級或四級制。再有，在宋代，本來府與州同級，設府只是表示地位尊崇而已。到了遼代，府則成為州之上的一級政區。元代借鑒了遼代的制度，也把府置於州之上，在一般情況下與路同級，在個別情況下又比路低一級。至於元代的州，區域比宋代的更小，有不少的州往往只轄一縣或根本就不轄縣。甚至在江南，還有一些縣因為戶口增多，而乾脆上升為州，所以在元代，縣與州近似為同一級。因此從基本結構上看，元代的行政區劃層級大致也只有三級，即省——路（府）——（州）縣。
另外，在元代的多層級地方行政區劃中，還存在著複式的統轄關係。元代複式的地方層級關係是從遼代仿效過來並加以發展而形成的。在北宋之前，行政區劃的層級都是單式的統轄關係，二級就是二級，三級就是三級。但是遼代時改變了這種情況，出現了複式的層級統轄關係，也就是說，二級制與三級制並存於一個高一級的行政區劃當中，如遼代的南京析津府（今北京），既直轄十一縣，又統領六州，六州之下又各自領縣，形成了如下所示的關係：
我們在上面的圖示中可以看出，這裡的縣既可以是第二級政區，又可以是第三級政區。元代路、府的情況與遼代相似，也是除直接轄縣外，還可以通過屬州再領縣。
既然元代政區層級多，並且採用複式統轄關係，因而形成了一套複雜而繁瑣的行政區劃體系，其各層次之間的關係可以大致用下圖表示：
這就是說，元代的地方行政區劃，除去省——路——府——州——縣的層級順序之外，還存在著省——路——州、省——路——州——縣、省——路——縣、省——府——州——縣、省——府——縣及省——州——縣等多種層級形式。這種複雜的行政區劃，在中國歷史上是絕無僅有的。
元代路一級政區，以府、州為依託，參照金代的總管府制度設置了總管府，負責一路的司法、行政、財政等各項事務，這與宋、金時期路級政區諸司分治的情況是不同的。元代的許有壬就曾說過：「我朝為路，路則今制。」意思就是說，元代的路制並不是簡單地沿用了宋、金的路制，而是有所改變，賦予了其新的內涵。元代的路一般設達魯花赤（蒙古語，為鎮壓者、制裁者、蓋印者的意思，轉而有監察官、總轄官的意思）、總管各一員，同知、知中、判官各一員，專制刑獄的推官一到二員。
元代大都路因為是都城所在，路總管府特加「都」字，稱「大都路都總管府」。至元十九年（1282年），置大都留守司兼本路都總管府。二十一年（1284年），另設總管府治民事，而以留守司管守衛宮闕都城、門禁關鑰啟閉，調度本路供億等事。都總管府設官與一般的路總管府相同，只是員數為二員，另有副達魯花赤二員，留守司設留守五員，下設同知、副留守、判官等官職。
元代府一級的政區數量不多，在元代的地方行政機構中並不佔有重要的地位，主要設置在原來金、宋和大理的統治區域內，分為直隸於行省的府和隸屬於路的散府（也稱為諸府）。大的府多升為路，剩下的府雖然仍然保持原有的建置，但其地位已無足輕重了。元代的府設達魯花赤、知府或府戶、同知、判官、推官、知事、提控案牘各一員。
元代的州，隸屬於中書省與行省的，一般稱為直隸州；隸屬於路及散府的，一般都稱為散州。這些州有的領縣，有的則不領縣。元代的州設有達魯花赤、州尹、同知、判官等官。
元代縣的分布很不均勻，在蒙古部民居住的嶺北地區，就不曾設立過州縣，那裡的居民依然保持原有的千戶、百戶編製。元代的縣既可以隸屬於路，又可以隸屬於府，還可以隸屬於州。各縣一般設有達魯花赤、縣尹、丞、主簿、尉、典史等官。如果是屬於中、下等級的縣，則不設縣丞。
另外，需要說明的是，蒙元統治者為了保證對被征服地區的控制，規定在路、府、州、縣中，達魯花赤不能由漢人擔任，而主要由蒙古人充任，也常參用色目人。這種制度的實施，是元代統治者的獨創，也是少數民族入主中原的產物。
根據《元史·地理志》的記載，元朝共有一百八十五路，三十三府，三百五十九州，一千一百二十七縣。