朱元璋總結了長時期治理國家的實際經驗，和元朝統抬九十年的成敗教訓，經過研究、爭論，多次改革，特別是經過殘酷的統治階級內部鬥爭，逐步建立了統治全國的官僚機構，使之更加集中，更有威權，更加完備起來。
洪武一朝，中央集權制度的加強，是階級鬥爭的結果。
大明皇朝的版圖廣大，必須建立一套有效率的如臂使指的高度中央集權的中央和地方政府機構，才能真正做到統一、集中，才能做到對內鎮壓、對外保衛國土的強有力的職能。歷史發展的趨勢和當時客觀情況，迫使朱元璋不能不著手進行大刀闊斧的改革。
先說地方機構：元代的行中書省是從大都的中書省分設出去的，中書省有什麼官，行中書省也有什麼官。中書省統管軍政、民政、財政，行中書省也照樣管軍政、民政、財政，職權過重。到後期四處兵起，地方各自為戰，往往大小事都自作主張，元皇朝不能過問，造成地方跋扈，分權，皇朝指揮不靈，調度不動，枝強幹弱，割據分裂的局面。朱元璋自己就是從宋的行中書省丞相起家的，他做的什麼事從來也沒有得到過小明王的批准，一個行中書省實際上是一個獨立王國。當他做平章、做丞相的時候，權力愈大愈好，龍鳳皇帝的牽制愈少愈好，甚至到了羽毛豐滿的時候，除了用龍鳳的年號以外，根本不把小明王的朝廷看在眼裡。現在情況倒轉過來了，自己做了皇帝，處在元順帝、小明王的地位了，矛盾發生了。是地方分權呢？還是中央集權呢？是讓各行中書省都像他自己當年那樣鬧獨立呢？還是把一切主要權力都抓在自己手上，緊緊控制地方，要他們奉命唯謹呢？這是一個極為嚴重的問題，必須妥善解決。
小明王的統治制度是因襲元朝的，元朝朝廷和地方有什麼機構，他也照樣設立。朱元璋以戰功升到江南行中書省丞相，在開拓領土以後，設官分職，也只能繼承這個制度。一直到洪武九年，他越來越覺得地方權重的毛病。這些年來，一方面忙於打仗，一方面正研究如何改革，到洪武九年考慮成熟了，決定把所有大權都集中在朝廷，改行中書省為承宣布政使司，設左右布政使各一人。布政使是皇朝派駐地方的使臣，掌一省之政，主要是管財政和民政。皇朝規定政策、法令，辦事程序、臨時任務，通過布政使下達各府、州、縣地方官執行。全國分浙江、江西、福建、北平、廣西、四川、山東、廣東、河南、陝西、湖廣、山西十二布政使司，十五年增設雲南布政使司。 布政使司的地理分區，大體上繼承元朝的行中書省，布政使的職權卻只管財政和民政，和元朝行中書省的無所不統，輕重大不相同了。由於行中書省這一名詞已經叫慣了，雖然改成布政使司，朝廷和民間在口頭上還是叫作行省，簡稱為省。而且就地位論，行中書省是從皇朝中書省的機構分設於地方，是中書省的分出機關，體制很重。布政使則是皇朝派駐地方的使臣，事事都須秉承朝廷意旨。前者是中央分權於地方，後者則是地方集權於中央，性質起了根本的變化。此外，各布政使司掌管法庭、監獄的機構，設提刑按察使司，長官為按察使，主管一省刑名按察之事。布按二司和掌軍政的都指揮使司合稱三司，是皇朝派遣到地方的三個派出機關。這樣，民政、稅收、法庭，常備軍三個管理機關分別獨立，不相統轄，直接由朝廷指揮，達到收回大權的目的，達到集中、強化皇朝權力的目的，也便於這三個機構互相牽制，便於垂直統治。布政使之下的地方政府分兩級。第一級是府，長官為知府；有直隸州，即直隸於布政使司的州，長官是知州，其地位等於知府。第二級是縣，長官是知縣；有州，長官是知州，其地位與知縣同。州縣是直接管理人民的政治機構，所謂「親民之官」，這個改革也把元朝的路、府、州、縣的三級制簡化了，政令的下達減少了層次，指揮更方便，也更靈活了。
朝廷統治機構的改革稍晚於地方。地方的民政、財政、法庭、監獄、常備軍的控制指揮權都集中到中書省了，中書省的職權愈重，威權愈大，和皇帝的衝突、矛盾也就日益嚴重、尖銳，愈益不可調和。洪武十三年政治危機爆發，皇帝和丞相爭權的結果，朱元璋直接控制著禁軍和特務機構，消滅和打擊了和他爭奪領導權的淮西新地主集團、丞相胡惟庸和許多元勛宿將被殺。 朱元璋趁此取消中書省，表面上仿周官六卿之制，提高原來在中書省之下六部的地位，以六部治國：吏部、戶部、札部、兵部、刑部、工部，每部設尚書一人，侍郎（分左右）二人。吏部管全國官吏任命、考績、升降、懲處，戶部管農業稅、商稅、鹽稅和人力徵調，禮部管典禮、宗教、祭祀、教育、考試和外交，兵部管常備軍軍官的任免和軍令；刑部管法律、法庭和監獄，工部管工程造作（武器、貨幣、土木營建等）、水利、交通等。都直接對皇帝負責，奉行皇帝的意旨。丞相沒有了，朱元璋以皇帝兼行丞相的職權，中央集權發展到最高峰，朱元璋成為歷史上權力最大的君主。
軍事機關也最費腦筋，關鍵是軍隊和統帥的關係問題。要打仗必須任命統帥，總不能每次戰爭都由皇帝自己統率。但是任命了統帥，統率了大軍，在戰事結束以後，如何收回這個統帥權呢？不收回，將帥有固定的直屬的大軍，一旦有變故，他的統治是不牢靠的。要收回，採取什麼方法？謝再興之投敵，就是因為他臨陣易帥的緣故，記憶猶新，這個覆轍決不可重蹈。以此，朱元璋把元朝的樞密院改為大都督府，節制中外諸軍事，任命兄子朱文正和可靠將領做都督。過了些時候，還是覺得大都督府權重了，洪武十三年分大都督府為中、左、右、前、後五軍都督府。一分為五，每府以左右都督為長官，各領所屬都指揮使司和衛所，職權和兵部互相配合，也互相牽制。兵部有軍令、銓選軍官之權，卻不能指揮軍隊。都督府雖管軍籍、軍政，卻不直接統率軍隊。在有戰事時，皇帝做了決定，兵部頒發調兵命令，都督府長官才奉令出為將軍總兵官，帶領所調集的軍隊，指揮作戰。在軍中還有皇帝所派的御史或給事中監軍（後來又加派監軍的太監），直接向皇帝送遞軍中情報。到戰事結束，這個統帥就應該交還將印，回到原職辦事。所調集的軍隊也立即歸還原來衛所建制。
光是這兩個系統的政、軍管理機關還不夠，如何能保證這些機構的官員都忠心、盡職，完善地執行皇帝命令呢？還得另外有一套監察機構。
監察機關原來是元朝的御史台，洪武十五年改為都察院，長官是左右都御史，左右副都御史、左右僉都御史。下有監察御史一百十人，按照布政使司的設置，以一布政使司所轄地區為一道，分掌十三道。職權是糾劾百司，辨明冤枉。凡大臣姦邪，小人構黨作威福亂政，百官猥茸貪污舞弊，「學術不正」，和變亂祖宗制度的都可隨時舉發彈劾。監察御史是七品官，品級和列任的知縣一樣，但是很有權力。皇帝利用他們來箝制大官，以小制大，以內製外，賦予他們以什麼話都可以說、什麼意見都可以提、什麼大官以至王公都可以告發的權力。這衙門的官員被皇帝看作是耳目，替皇帝聽，替皇帝看，隨時向皇帝報告。也被皇帝看作是鷹犬，替皇帝追蹤、搏擊不忠於皇朝的官民，一句話是替皇帝監視官僚的機關，是替皇帝保持傳統思想、綱紀的機關。監察御史在朝監察一切官僚機構；出使到地方的，有巡按、清軍、提督學校、巡鹽、茶馬、監軍等職務，其中巡按御史算是代替皇帝巡查地方，按臨所部，小事立斷，大事奏裁，是最有威權的一個差使。
行政、軍事、監察三個機關分別獨立，不相統屬，都單獨對皇帝負責。官吏內外互用、交流，其地位以品級規定，自從九品到正一品，共九品十八級，官和品一致，內外官升遷、考績、調免都有一定製度，系統分明，職權清楚，法令詳密，組織嚴緊，定員定額，有條不紊，比之唐宋時代的官和職不相符，職權又有行、守、試等區分的混亂情況，大大提高了一步。在整個官僚機構中，又互相箝制，以監察機關監視一切臣僚，以特務組織鎮壓威制一切官民，以六部管政事，以都督府管軍，大將平時不指揮軍隊，動員複員之權屬於兵部，供應糧秣的是戶部，供給武器的是工部，決定政策的是皇帝。把所有權力都集中在皇帝手上，六部、府、院直接隸屬於皇帝，不但官僚機構更加完備了，效率提高了，皇帝的威權也大大提高了，發展了。同時，全國統一的基礎也比過去時代更加牢固了，堅強了，擴大了。在整個歷史發展來說，從統一國家的逐步鞏固來說，這是一個不可低估的進步。在這個進步的過程中，朱元璋是起了積極作用的。
法律是確定階級壓迫關係的書面文件，確定統治階級的特權和強加於被統治階級種種約束的紀錄，保護、鞏固統治階級和鎮壓被統治階級的具體條文。元朝以法例為條格，非常繁冗，而且，階級關係和民族關係到了明代都已起了巨大的變化，舊條格不能適應新時代的客觀形勢要求了。為了運用法律達到保護和鎮壓的目的，鞏固皇朝的統治，朱元璋於吳元年指令台、省官立法要簡要嚴，選用深通法律的學者