公元2世紀後期，由於西北羌人的不斷反抗，漢朝對西北地區的控制越來越弱，不少政區不得不撤銷或者撤到內地。北方的鮮卑逐漸南侵，移居入塞的南匈奴人也在擴大活動的範圍。到了靈帝光和七年(公元184年)黃巾起義爆發，東漢再也無暇顧及邊疆，朔方、上郡、北地、定襄、雲中、五原六郡完全放棄，上谷、代、雁門、西河、安定等郡也都放棄了一部分，大致退到了今桑乾河、呂梁山、黃河和六盤山一線。這一線以北被稱為「羌胡」所有，實際上是由匈奴、鮮卑、羌等多種民族聚居或雜居，留在那裡的漢人也有一定的數量，這種狀況一直延續到西晉末年。
在整個十六國和北朝期間，儘管北方經常處於戰亂之中，疆域很不穩定，但由於原來居住在邊疆的非漢族先後佔有黃河流域的全部或一部分，它們把中原王朝的疆域和自己的根據地連成一片，有的還并吞了其他北方民族，因此中原政權管轄的範圍比東漢後期、三國和西晉時反而有所擴大。例如前燕并吞了鮮卑的宇文部，北部邊境增加了今老哈河流域，基本恢複了西漢的舊地。在北魏統一了北方以後，到523年六鎮起義以前，它的北界不僅大體與秦漢時相同，陰山一帶還達到了更北，控制了陰山北麓。
東漢後期對西域的控制一度中止，此後西域長史府也時置時廢。但由於中原與西域長期的交往，中原人民在西域的長期經營，西域與中原的聯繫並沒有斷絕。不僅如此，西北的地方政權還第一次在西域設置了正式行政區。327年，張氏前涼設置高昌郡，轄有今新疆吐魯番盆地東部哈拉和卓以東一帶。此後歷經前秦、後涼、西涼，直到439年北涼為北魏所滅。西域的第一個郡建在吐魯番盆地，這絕不是偶然的。這裡是通向西域的孔道，一直是中原王朝經營的要地，西漢以來的戊已校尉都常駐於此，大批漢人遷來開墾，農業已有相當良好的基礎。因而在北涼被滅後，高昌郡地還有可能成為一個獨立的高昌國長期存在，直到640年才滅於唐。
東漢在朝鮮半島上的樂浪郡，到後期只控制了北部，南部的幾個縣已由當地民族佔據。但到建安年間(公元196—219年)，地方割據勢力公孫氏政權恢複了對南部的統治，並新設置了一個帶方郡。公孫氏與以後的魏、西晉還基本上控制了今朝鮮北部北大峰山脈以東的地區。
高句麗於209年遷都丸都城(今吉林集安市境內)後，日益強大，逐漸向南擴張，終於在西晉末(公元313年)完全佔領了樂浪郡。差不多與此同時，帶方郡也被南方的馬韓吞併。中原王朝在朝鮮半島設置正式行政機構400多年的歷史就此結束了。高句麗繼續向西侵奪先後屬於前燕、後燕的遼東、玄菟二郡，經過多次爭奪，在404年取得了遼河以東之地。427年，高句麗遷都今朝鮮平壤，這標誌著高句麗已經成為中國之外的獨立國家了。
十六國時期，聚居於湟水流域和黃河上游的吐谷渾興起，向南擴張到今四川松潘縣一帶。以後吐谷渾受挫退出，羌人進入今甘南、川北。到北周時又驅逐了這裡的羌人，設置了宕昌郡。這也是中原政權在當地首次設立正式行政區。
東晉以後，南方先後建立宋、齊、梁、陳四個政權。這些政權的都城都設在建康(今江蘇南京市，即原建業，因避晉愍帝諱而改)，僅梁元帝時(公元552—555年)有不到三年的時間遷都於江陵。與北方中原政權的局部擴張相反，南方漢族政權的疆域始終是在收縮的。
西南少數民族聚居的地區雖然在漢武帝時已設置郡縣，但中央政權的行政控制往往只限於政區治所周圍和交通線沿線。三國時蜀國的諸葛亮曾大力開發，實際控制區有所擴大，但到西晉時一些政區已經名存實亡。由於東晉和南朝一直忙於防禦北方和對付內部的權力之爭，顧不上西南邊區的經營和開發；加上地方官治理不當，甚至殘酷壓迫當地民族，規模不等的反抗時有發生。不過直到南朝中期為止，設在今雲南和貴州西部的寧州名義上始終存在，並由朝廷派遣官員。太清二年(公元548年)侯景之亂爆發，寧州刺史奉命救援京師，離開治所。當地爨〔竄〕蠻的豪族乘機而起，在550年脫離了梁朝。在寧州爨蠻影響下，周圍的部族紛紛自立，因此在今四川長江和大渡河以南、湖南西部、廣西西部已經不再有南朝的郡縣存在。
漢朝疆域最南端的是日南郡象林縣。在公元192年(一說在公元137年)，當地人區逵建立了林邑國，脫離了漢朝，因而漢朝的南疆從北緯13°退到了北緯16°一線。三國時期(公元220—265年)，林邑又向北擴張，并吞了西卷縣，推進到北緯17°。大約在南朝後期，林邑又佔了原日南郡剩下的三個縣，南朝疆域的南界退到了北緯18°一線。