前文已經提到，明代為了防止地方專權，廢除了元代的行省制度，模仿宋代監司分路而治的方法，在地方各省建立了都指揮使司、布政使司和按察使司等三司分立的制度。三司分立的格局，雖然可以使它們彼此相互牽制，但這一制度存在的負面影響也隨之暴露出來，那就是地方由於權力分散，對外防禦與對內鎮壓反抗的能力大大削弱，尤其不能應對處理地方突發或重大的事件。為了彌補這些不足，更好地協調處理地方上的事務，於是在明代宣德年間以後，中央經常向各地派出總督、巡撫兩類新型官員，負責處理所督與所撫地區內的行政、軍事及監察等方面的事情，成為最高一級的封疆大吏，並由臨時性的派遣變成長期的設置，管轄範圍也變得相對固定，逐漸在都、布、按三司之外，形成了一套總督、巡撫的體制，作為新的地方行政組織。也就是說，總督、巡撫的轄區成為了兩京十三布政使司之外的准行政區划了。
洪武二十四年（1391年），明太祖朱元璋責令皇太子巡撫陝西，目的是讓他在開闊眼界的同時，為明朝定都選址進行實地勘察，並順便調查在那裡的秦王就蕃後的所作所為。巡撫一職，由此開始出現。永樂二年（1404年），明成祖委派負責監察的給事中雷填「巡撫廣西」。到了永樂十九年（1421年），明成祖又讓當時擔任尚書一職的蹇義等二十六人，分別巡行天下，安撫軍民。不過，這時的巡撫只是中央官員的一種臨時性的工作，沒有固定的官職，不僅事畢即罷，而且也沒有對巡撫一職的具體權力作出明文規定。
到了洪熙宣德年間，情況有所改變。洪熙元年（1425年），明仁宗設立南畿浙西巡撫，目的是為了懲辦那裡的「豪右之民」橫行鄉里的惡行。宣德五年（1430年），為了各地稅糧的徵收，明宣宗又分別派遣巡撫到兩京與各地去督辦。這一時期，巡撫的設置較前有所穩定，職權逐漸變得明確起來，而且還有了固定的治所。
景泰四年（1453年），明王朝在耿九疇赴任陝西鎮守（職能與巡撫大體相同，後罷鎮守，只稱巡撫）時，對巡撫的歸屬作了明確規定，為便於巡撫在行使監察權力的同時統管地方上的按察使及都察院派出的巡按察使，讓巡撫一律從屬於都察院系統，並稱為「巡撫都御史」。到成化二十二年（1486年），又基本上取消了巡撫回京議事的規定，並在這之前允許巡撫可以帶家屬赴任，這些都表明巡撫已向地方官轉化了。天順年間（1457～1464年）之後，地方上的都、布、按三司等官員，已不能再專權，而必須聽從巡撫的命令了。嘉靖、萬曆年間（1522～1619年）以後，巡撫已經由以前的間斷性派遣，變為連續性的派出，離任與到任的交接手續也制度化了。不僅如此，巡撫還大多加帶提督軍務的官銜，進一步明確所掌握的軍權。巡撫的官名，大部分也由「巡撫××地方」而變成為「××地方巡撫」。實際上，巡撫已由中央官員變成了地方官員。
與巡撫相比，明代總督的設立並不普遍，而且總督偏重於統領地方上的軍權，在因事特派方面的職能比巡撫更為明顯。正統六年（1441年），為征伐雲南麓川地區的少數民族起義，明朝設置了雲南總督一職，這是設置總督的開始。此後，總督也經歷了由初期沒有明確駐地、轄區不明，到後來治所固定、轄區明確的轉變。這樣，總督也就從一位中央的監察大員，漸漸演變為封疆大吏了。到成化十年（1474年），明朝逐步確立了總督節制巡撫的體制。此外，也有少數總督不僅能節制巡撫，而且還有自己的直屬地區。在這種情況下，總督行使職權時，一方面要通過節制巡撫來執行，另一方面，則要通過所統轄的各道來實現。嘉靖二十七年（1548年）所設立的雲貴川湖廣總督就是這樣的一個實例。這一總督，既節制雲、貴、川、湖廣等四個巡撫，同時，又直接統轄以四川、湖廣、貴州三個布政使司相交接的地區所組成的幾個道。
概括說來，巡撫的主要職權是行政賦稅、考劾屬吏、提督軍務，而總督的主要職權則是節制巡撫、調度軍隊。巡撫以民事為主、兼理軍務，而總督以軍事為主、兼管民事。
由於總督、巡撫逐漸成為了地方上實際的最高軍政官員，所以到了明代後期，最高一級地方行政區劃事實上已從兩京十三布政使司變成了幾十個總督、巡撫轄區，雖然總督、巡撫轄區到了清代初期，才正式成為一級地方政區。
巡撫轄區的劃定，情況較為複雜，與都、布、按三司所轄地區大體存在著以下三種情況：一是與布政使司（或都指揮使司）轄區大體相同的，二是小於布政使司（或都指揮使司）轄區的，三是地跨布政使司（或都指揮使司）轄區的。萬曆十年（1582年）時，曾設立了四個總督與二十四個巡撫。在其中的二十四個巡撫轄區中，屬於第一種情況的有遼東、山東、河南、甘肅、浙江、福建、廣西等巡撫；屬於第二種情況的有順天、保定、鳳陽、應天、宣府、大同、山西、延綏、寧夏等巡撫；其餘的八個巡撫屬於第三種情況，其中以南贛巡撫最為特別，其轄區地跨江西、福建、廣東與湖廣四個布政使司。另外需要提及的是，在各巡撫的轄區中，還存在著重疊現象，例如南贛巡撫與福建巡撫就同時轄有福建汀州。