元代在地方上的最高一級行政區劃與前面的朝代相比較有所不同，採用的是中書省、行中書省統轄制度。元代的這一制度是從金代那裡承襲而來的。如果我們探究行省的起源，可以一直追溯到魏晉南北朝時期。中國古代王宮禁地稱「省」，即省中。魏晉時期，在中央設中書、尚書、門下三省，協助皇帝處理日常政務，省開始成為官署名稱。如果遇到地方上有事情，中央政府便會派某些官員前去處理，組成行台省。我們在前文中已經提到過，三國時期，司馬昭討伐諸葛誕，開始設立行台自隨。但其時的行台只是臨時派出的中央行動機構，事情辦完之後，便被撤銷。也正是由於這種緣故，行台省在當時還沒有一定的轄區。
到了北魏、北齊時期，因為當時州郡的設立過多，中央政府統治起來十分不便。為了改變這種情況，加強對地方的控制，便設置行台省，統轄一定數量的州，這樣行台的轄區也就形成了，實際上成為了州、郡、縣以上的一級行政區劃。從隋代到唐初，一直存在著行台制度。到了唐太宗貞觀年間，行台才被相繼罷免。
在金代，行台制度得到了廣泛的運用。金代在佔據了北宋的疆土之後，繼承了宋代分路的體制，只不過是將路的區域劃得更小了一些。但是由於金代初期都城設在會寧，距離中原地區過於遙遠，對這一區域控制十分不便，於是在天會十五年（1137年），金熙宗完顏亶廢掉劉豫齊國政權後，便在齊國故地開封設立了行台尚書省。後來為了應對南宋與西夏的軍事行動，也曾暫時設置過不少行台尚書省。到了金代後期，特別是蒙金戰爭爆發後，金朝軍隊接連失敗，路的長官已無法應付一方的事務，為了處理地方的軍政，金中央政府便派宰臣到各路「行尚書省事」，開府置府，統領一路或數路的區域，這些機構當時叫做「行尚書省」，簡稱「行省」。這些行省在當時仍然還是尚書省的派出機構，代表尚書省行使權力，帶有臨時性質，事情處理完畢後，便被撤銷掉。
蒙元在征服中原的過程中，沿用了金代的這一制度，作為戰時的一種臨時措施。元世祖忽必烈以中書省總理全國政務，以行中書省（有時是行尚書省）作為管轄新征服地區的行政機構，久而久之，這個機構所管理的地域範圍也便以行中書省的名稱相稱，簡稱行省或省。同時，作為中央政權機構的中書省本身也直轄包括首都在內的一大片地區。
元代的中書省又稱都省，號為腹里。地方最高行政區划行中書省的全稱是「××等處行中書省」，簡稱「××行省」，或只稱「××省」。另外，為了防止地方割據的情況發生，元代還立了御史台，在各行省設置二十二個肅政廉訪司，用來監督各省內的官民，檢舉他們的犯罪行為。
元代創設的行省制度，是自秦漢以來中央集權制度的一個重大發展，也是我國歷史上地方行政區劃的一次重大改革。這一制度的確立，不僅加強了元代的中央集權統治，鞏固了多民族國家的統一，而且對明、清以及後來地方行政區劃也產生了很大的影響。元代以後，「行省」這個名稱一直沿用下來。明代雖然改行省為布政司，但在當時的口語中仍如此稱呼。另外，元代的行省劃分，也初步奠定了今天我國的省區規模。
到了至元十七年（1280年），南宋被元徹底滅掉之後，元一共設有七省，即一個中書省（直屬包括河北、河南、山東、山西、漠南、漠北、遼東和西夏故地等廣大地域）和六個行中書省。
現將六個行省的轄區與治所條列於下：
（1）陝西四川行省：中統元年（1260年）置。又稱秦蜀行省。統轄金陝西五路、南宋四川路故地，治安西路（今陝西西安市）。
（2）雲南行省：至元十一年（1274年）置。統轄大理國故地，治中慶路（今雲南昆明巿）。
（3）湖廣行省：至元十一年置（1274年）。統轄南宋湖南、湖北、京西南、廣西四路故地，治潭州路（今湖南長沙市）。
（4）江淮行省：至元十三年（1276年）置。統轄南宋兩淮、兩浙路故地，治揚州路（今江蘇揚州市）。
（5）江西行省：至元十四年（1277年）置。統轄南宋江西、廣東路故地，治隆興路（今江西南昌市）。
（6）福建行省：至元十五年（1278年）置。統轄南宋福建路故地，治泉州路（今福建泉州市）。
從上面所列出的信息可以看出，這七個省（中書省與六個行省）的轄區大小不一，相差懸殊。之所以如此，主要是因為這七個省的區域，基本上是由軍事行動的過程和路線所形成，同一次行動或同一條路線所佔領的地區即被劃為一省。例如，雲南行省就是元朝大軍在攻下段氏的大理國後，忽必烈以原大理國的統轄範圍為基礎而設立的，派大臣賽典赤擔任平章政事，負責處理雲南行省的事務。這種戰時形成的區域，到了和平時期便顯現出管理方面的不便，於是到了元代中期，便對上述七省的各自轄區重新進行調整，逐漸在元代的版圖上形成了十一省（即一個中書省與十個行中書省）的新格局：
中書省：在甘肅、遼陽、河南、嶺北等處相繼建立行省之後，中書省轄區便縮小了很多，只限於河北、漠南、山東、山西一帶。
嶺北行省：大德十一年（1307年）置和林行省。皇慶元年（1312年）改為嶺北行省，治和寧路（今蒙古鄂爾渾河上游東岸哈爾和林）。統轄範圍相當廣闊，東起哈剌溫山（即大興安嶺），西至也兒的石河，相當於今天的蒙古人民共和國和內蒙古、新疆部分地區、俄羅斯西伯利亞地區。嶺北行省的轄區內，除了一部分政府的屯墾區與牧區外，其餘的大部分區域則是元朝諸王的封地和部落的游牧地。
遼陽行省：至元初曾設置東京行省，不久即罷。二十三年（1286年）再立，同年又罷。二十四年（1287年）再一次設置，改稱遼陽行省，治遼陽路（今遼寧遼陽）。轄境相當於金東京、咸平、上京三路和北京路的大部分，西北起大興安嶺、外興安嶺，東南抵海，接高麗境，大體與今天的東北三省區域相當。遼陽行省境內有一部分是設立了行政區劃的農業區，有一部分是由諸王的封地與部落的游牧地所構成的牧區。
河南江北行省：至元二十八年（1291年）割中書省之河南與江淮、湖廣兩省之長江以北而置，治汴梁路（今河南開封）。轄境相當於今天河南黃河以南部分和湖北、安徽、江蘇三省的長江以北部分。
陝西行省、四川行省：至元十八年（1281年），把陝西四川行省分為陝西、四川兩個行省。其後一度再合為一省，二十三年（1286年）又分為兩省。陝西行省治安西路，後改奉元路（今陝西西安），轄區相當於金陝西五路及南宋利州路部分地區，東起今天山西、陝西之間的黃河，西包河洮，南起大巴山，北包內蒙古鄂爾多斯草原。四川行省治成都路，轄區相當於宋成都、潼川、夔州三路及利州路的一路分，面積與今天四川的甘孜、阿壩、雅安以東和湖北的恩施地區相當。
甘肅行省：景定二年（1261年），在西夏故地設立西夏中興行省，治中興府。此後屢罷屢置，至元二十三年（1286年）將省治遷到甘州路（今甘肅張掖），改稱甘肅行省。轄境相當於今天的寧夏回族自治區、甘肅河西地區和內蒙古西部地區。
湖廣行省：至元十八年（1281年），治所移到鄂州，後改武昌路（今湖北武漢市武昌）。轄境較前小有變化，包括今天的湖南、廣西、海南三省，貴州省的大部分及湖北、廣東各一部分。
江浙行省：至元二十一年（1284年），江淮行省改稱江浙行省，治所移到杭州路。後來，名稱一度曾改回江淮行省。大德三年（1299年），罷福建行省，隸屬於江浙行省。轄區相當於今天的上海、江蘇南部，安徽東南部及浙江、福建兩省的地區。
江西行省：沒有建置沿革的變化。轄境包括今天的江西大部及廣東大部。
雲南行省：沒有建置沿革的變化。轄境比現在的雲南省要大一些，不但包括今天的雲南全境及四川涼山、貴州西部的一部分，而且還包括今天緬甸、泰國、寮國、越南的一部分地區。
另外，還需要說明的是，元代中央政府為了防止這些地域廣大的行省在日後出現分裂割據的情況，因此，在調整上述行省的界線時，十分注意「犬牙交錯」劃界原則的運用，有意人為打破與劃界關係密切的幾條重要的山川邊界，如秦嶺、淮河、南嶺、太行山等，使得沒有一個行省能夠擁有一個完整的地理形勝區域。明白了這一點，也就不難理解以下的這些現象了：陝西行省由北向南地跨秦嶺，而轄有漢中盆地；湖廣行省雖然以湖南與湖北為主要轄區，卻向南越過南嶺而領有廣西；江西行省也是地跨南嶺而轄有廣東；河南江北行省，則是地跨淮水南北兩岸；江浙行省，又從江南平原直到南部的福建山地；至於中書省的轄區，則是地跨太行山的東西兩側，將山西高原、華北平原及山東