元朝的前身是蒙古汗國，由成吉思汗所建。當時官制比較簡單，實行領主分封制。其辦法是，把全國牧民按地區編為十、百、千、萬戶，各設長以統領。萬戶長、千戶長都是開國功臣，由成吉思汗任命，佔有不等的封地和封戶。封戶平時畜牧生產，繳納賦稅，戰時由領主率領，隨大汗出征。所以，這種領主分封制實質是一種軍政合一的組織。成吉思汗的私人財產和宮廷事務分屬於四個斡耳朵。斡耳朵是宮帳的意思，由成吉思汗四個妻妾分別管理和繼承。成吉思汗的親軍有10000人，稱怯薛軍。怯薛是「番直宿衛」的意思，也就是宿衛軍。他的成員稱怯薛歹，長官稱怯薛之長。怯薛除保衛大汗外，還負責大汗的日常生活，併兼辦公事，處理國務。怯薛組織中為大汗主管文書的官員稱必闍〔du都〕赤。必闍赤，意為「書史」，也可以參謀國事。司法官稱扎魯忽赤，漢譯為斷事官。元朝統一中國後，國家規模超過漢、唐，蒙古汗國官制已不適應變化了的形勢，為了行使有效的國家管理，蒙古統治者對歷代中原王朝官制，特別是金朝官制，多所借鑒，形成了頗具特色的元朝官制。
元朝中央最重要的機構是中書省、樞密院和御史台。
元朝不採用隋唐確立的三省制度，而是沿用金朝尚書省制度，更名為中書省。中書省是由蒙古汗國時侍衛官必閣赤演化而來，又稱都省，為管理全國政務的最高行政機構。中書省名譽上的長官是中書令，由皇太子兼任，稱「行中書令」或「領中書令」，但並不常設，元代只有四個皇太子兼任此職，而且「首居重器，未嘗事事」(《秋澗集》卷八四)，「名雖如是，實則未聞」(《青崖集》卷四)。實際上中書省的長官是右丞相和左丞相，總領省事，裁奪庶政。元制尚右，右丞相地位高於左丞相。平章政事是丞相的副貳，左右丞、參知政事為執政官，統稱宰執。又有參議中書省事，掌管左、右司文牘，並可參決軍國重事。左、右司，各設郎中、員外郎、都事等官。中書省統領六部。六部皆設尚書、侍郎、郎中、員外郎等。六部職掌與宋朝相仿，惟兵部不掌軍政，只負責郵傳屯牧。至元七年(公元1270年)、至元二十四年(公元1287年)、至大二年(公元1309年)，元朝曾三次設立尚書省，與中書省分權，但時間都不長(三次設置合計八年)，所以終元之世基本上實行的是一省制。
需要指出的是，元代宰執官名運用十分混亂，原因是相當長時間內被用於賞功加官，到元中期惡性發展，從京官到外官，從文職到武職，甚至佞倖、僧道之類，往往都被授予宰執頭銜，有時前面加「遙授」字樣，有時則徑稱丞相某某、平章某某，職官、加官頗難分辨。直到元朝後期，加官宰執頭銜才得到控制。
樞密院是最高統軍機構。除怯薛外，「天下兵甲機密之務，凡宮禁宿衛、邊庭軍翼、征討戍守、簡閱差遣、舉功轉官、節制調度，無不由之」(《元史·百官志二》)。最高長官樞密使，也不常設，實際上的長官是知樞密院事，下設同知樞密院事、樞密副使、僉樞密院事、同僉樞密院事、院判、參議等官。元朝樞密院與宋、金樞密院略有不同，即遇有大征伐，另在用兵處分置行樞密院。行樞密院簡稱行院，是臨時性的，事已則罷。元朝軍隊分宿衛(戍衛京師)和鎮戍(鎮守全國各地)兩大系統。宿衛軍又分怯薛和五衛親軍。怯薛軍入元後仍然保留，處於功勛軍的地位，設怯薛長，歸皇帝親自統轄。怯薛待遇優厚，元朝高級軍政官員多出身於怯薛。所以，官員以怯薛出身者最顯貴。五(左、右、中、前、後)衛親軍是中央常備軍，各設都指揮使、副都指揮使等官，由樞密院管轄。鎮戍軍也由樞密院調動，有蒙古軍、探馬赤軍、漢軍、新附軍，其編製為萬戶府、千戶所、百戶所、牌子四級，分別由萬戶、千戶、百戶、牌子頭統率。各級軍官都是世襲，地位高於文官。
御史台是最高監察機構。忽必烈曾說：「中書朕左手，樞密朕右手，御史台是朕醫兩手的」(《草木子·雜制篇》)。設官有御史大夫、御史中丞、侍御史、治書侍御史。元代御史台地位高於唐、宋，一改以往以低品位官員監察高品位官員的傳統。御史台直屬機構有殿中司和內察院。殿中司設殿中侍御史，主管檢查朝廷禮儀、考核京官。內察院設監察御史，主管刺探舉報各種違法之事，有一定獨立性，稱作天子的耳目之司。元朝還在江南、陝西分設行御史台。御史台(內台或總台)與江南行台(南台)、陝西行台(西台)分轄二十二道，腹里與河南、遼陽二行省八道隸內台，江浙、江西、湖廣三行省十道隸於南台，陝西、甘肅、四川、雲南四行省四道隸於西台。每道設肅政廉訪司(初設時稱提刑按察司)，置使、副使、僉事、經歷等員。廉訪官分臨所管道監察，稱為分司，每年八月至次年四月出巡，監察地方官吏，複審案件。元代御史台可以自選從總台到肅政廉訪司的官員(需奏皇帝批准)，這在歷朝監察官的設置上是絕無僅有的，反映了元朝監察制度的特點。
元朝是一個開放型的政權，重視利用中外各種宗教加強思想統治，因此設有管理宗教事務的各種機構。最重要的是宣政院和崇福司。宣政院設院使、副使、同知、僉院、同僉、院判、參議等官，主管全國釋教僧徒及吐蕃事務。吐蕃著名佛教領袖八思巴曾為宣政院第一任總領，被尊為「帝師」、「大寶法王」。如吐蕃有事，宣政院另設分院往治。崇福司，一度改稱崇福院，掌管也里可溫(基督教)事務，管理本教教士和十字寺(教堂)。設官有崇福使、同知、副使、司丞、經歷、都事、照磨等官。據考證，元朝有也里可溫教寺院72所。道教則由集賢院兼管。江南道教由皇帝敕封的正一道天師掌領。元朝對各種宗教寺院大加保護，主管祭祀典禮的太禧〔xi喜〕宗禋〔yin因〕院同時負責對寺院的修繕。
元朝稱院的機構特別多，主要有兩類。一類設官是院使、同知、副使等。除前面提到的幾個以外，還有宣徽院，掌管皇帝酒膳及朝廷筵宴。光祿寺是宣徽院的子機構。太常禮儀院，掌管禮樂、祭享宗廟社稷、封贈謚號等事。太史院，掌管天文曆法之事。太醫院，掌管醫藥和各種醫藥機構，同時制奉御用醫藥。將作院，掌管官府手工業。通政院，掌管全國驛站，後分置大都、上都兩院。典瑞院，掌管皇帝的印璽信物。中政院，掌管皇后宮中財政、營造、供給。儲政院，初名詹事院，掌管輔翼皇太子之事。另一類設官是各種名目的學士。有翰林兼國史院，負責擬寫詔令，纂修國史。蒙古翰林院，負責翻譯文字。集賢院，負責學校和徵集人才，同時兼管道教、陰陽、占卜等事。下轄國子監和國子學。監負責學的教令，設祭酒、司業、丞等官。學負責教授生徒，以博士領銜管理。又有蒙古國子監和蒙古國子學，不隸集賢院，而歸蒙古翰林院管理。奎章閣學士院，掌管進呈經史書籍，考校歷史，纂修《經世大典》。下轄群玉內司，掌管圖書寶玩；藝文監，主管以八思巴文字翻譯儒學經典。
此外，還有稱府、稱寺、稱司、稱監的機構。稱府的有大宗正府，設扎魯忽赤若干，由諸王為之長，掌管治理諸王、駙馬以下蒙古、色目人的刑名訴訟，也兼管蒙、漢相關的刑獄。侍正府，設侍正府侍、同知，掌管內廷近侍之事。稱寺的機構設卿、少卿。多為主管斡耳朵的機構。如長慶寺、長秋寺、承徽寺、長寧寺、延徽寺等。蒙元皇帝、皇后的斡耳朵各有私產和人戶，死後由親族繼承。除這一類機構外，還有武備寺，掌管兵器的製造和供應。太僕寺，掌管馬政。尚乘寺，掌管皇帝御用車馬。值得注意的是元朝不設大理寺，以其職掌歸入御史台。稱監的機構有太府監，設太卿、太監、少監，掌管財務庫藏。領內、右、左庫藏。都水監，設監、少監、丞，掌管河堤渠防。又在地方分設大都河道提舉司，山東、河南行都水監等機構。秘書監，設卿、太監、少監，掌管圖書。司天監，設提點、監、少監，掌管曆象研究及教學。又有回回司天監，設官同司天監，是少數民族星象學者觀察天象的專門機構。設司的機構有大司農司，設大司農、卿、少卿，掌管農桑、水利及賑濟之事。大都(今北京)留守司，設留守、同知、副守，掌守衛京城。
元朝地方有兩個系統，一是行省系統，一是土司系統。
行省，即行中書省，也簡稱省。元朝以大都為都城，稱河北、山東、山西之地為「腹里」，直屬中書省管轄。腹里之外，分設嶺北、遼陽、河南、陝西、甘肅、四川、雲南、湖廣、江西、江浙等十個行省。「省」，最初是官署名，如中書省。行省是中書省分出來的地方最高一級行政機構，設官同中書省，亦有丞相、平章、右左丞、參知政事、郎中、員外郎、都事等。這種制度是從金朝學來的，金朝叫行尚書省，是臨時的，不常設；元朝定型為常設的機構。以後，行省又演化為大行政區的代名詞。明、清時候，行省作為官署名不復存在，但作為大行政區的代名詞則沿用下來。行省下是路、府、州、縣。路分上路和下路，滿10萬戶為上路，不及10萬戶