在東北方面，明初是以恢複元朝的疆域為目標的。特別是由於在朝鮮半島的王氏高麗是親元的，所以明太祖朱元璋曾堅持要以鐵嶺為界，準備在朝鮮半島的西北部設置屯駐軍隊的衛、所，為此與高麗發生過爭執。但到洪武二十五年(公元1392年)，高麗李氏取代王氏自立，改而奉行親明政策，因此明朝不再堅持以鐵嶺為界，從此鴨綠江成為明朝與朝鮮的界河。
在東北女真等部族地區，明朝陸續設置了一批羈縻衛、所，用以統治或控制當地民族。永樂七年(公元1409年)設置的奴爾干都司，管轄約300個羈縻衛、所。都司駐於黑龍江下游今俄羅斯哈巴羅夫斯克邊區塔赫塔，下距江口150公里，轄境包括今黑龍江、精奇里江、烏蘇里江、松花江流域，北至外興安嶺以北。永樂九年又征服了苦兀，轄境擴大到庫頁島，在島上設置了囊哈爾衛。奴爾干都司的主要官員如都指揮使、同知、僉事等職都用流官，即由朝遷派遣，而各衛、所的指揮、千戶等職任用土官，即由當地部族的首領擔任。奴爾干都司的性質與漢唐時的都護府相似，各衛、所內部的部族也享有自治權。但都司的管轄比都護府更嚴密，因為下屬單位不再有西域那樣的國，各衛、所必須完全服從都司。當然，由於屬於羈縻性質，所以都司對下屬單位的控制程度差異很大，不可一概而論。
都司的設立和存在不僅有可靠的文獻記載，而且有確鑿的物證。奴爾干都司設立後，內官亦失哈等多次奉命去對當地部族宣諭撫慰。永樂十一年(公元1413年)亦失哈第三次到奴爾干都司時，在都司城西南、黑龍江恆滾河口對岸山上建永寧寺，並在寺前立碑。宣德七年(公元1432年)他第十次到該地時，發現寺已被毀，次年就委官重建，又立碑紀事。這兩塊碑詳細地記載了設置奴爾干都司的經過與亦失哈屢次宣諭鎮撫其地的情況。永寧寺雖久已堙圯〔yin yi音夷〕，但兩碑一直屹立原地。清光緒十一年(公元1885年)，曹廷傑奉清遷之命對被沙俄侵佔地區進行調查，將碑文拓下攜回，披露於世。原碑至今還保存在俄羅斯哈巴羅夫斯克(伯力)的博物館中。
宣德十年(公元1435)年，奴爾干都司撤銷，下屬的衛所則繼續存在。不過由於上一級建置取消了，明朝對這些衛所的控制也減弱了，尤其是在明朝國力衰弱以後。為了防止羈縻地區的部族和西部的韃靼進入它的直接統治區——遼東都司，從永樂、宣德開始陸續建起了邊牆。邊牆東起今遼寧丹東市東北鴨綠江邊，向北經寬甸東、本溪西，折東至本溪北，又北經撫順東、鐵嶺東、開原東、昌圖東，東折至昌圖北，南折至昌圖西、開原西，以後大致沿遼河而西南至三岔口(今遼寧海城市西北)，又自三盆口向西北，經台安、黑山，折東經阜新南，折西南經義縣西、錦州西、錦西西、綏中西，折南至山海關止。這道邊牆並不是明朝的邊界，甚至也不是直接統治區的界線，因為邊牆的東北是奴爾干都司轄境，即使在都司撤銷後，也還是明朝疆域的一部分。而且由於軍事防衛的需要，邊牆也沒有完全築在遼東都司的邊緣，它的一部分轄境就在邊牆之外。由於遼東邊牆通過山海關連接著明朝的另一道邊牆(長城)，所以它的起點——丹東市東北鴨綠江邊，也就是萬里長城的起點。