西晉滅亡不久，鎮守在建康（今江蘇南京）的琅邪王司馬睿即在江南重建晉室。317年，司馬睿稱晉王。第二年，他又正式稱帝，是為晉元帝。因為建康在西晉都城洛陽以東，所以史稱東晉。到了東晉末年，朝中軍政大權掌握在劉裕手裡。元熙二年（420年），他廢掉了本來即是傀儡的晉恭帝，登上了皇帝的寶座，建立了中國歷史上所說的南朝的第一個朝代——宋。在劉宋政權之後，蕭道成、蕭衍、陳霸先又先後建立起南朝時期的另外三個朝代：齊、梁、陳。以上所建立的政權都限於南方。其時，在中原與巴蜀地區，也有許多政權存在。與東晉對峙的是十六國，而與南朝並存的北朝，則先有389年由鮮卑拓跋氏建立的史稱北魏的政權。永熙三年（534年），北魏又分裂成東魏與西魏兩個政權。之後，東魏被北齊所取代，西魏則被北周所代替。
在行政區劃方面，東晉南北朝時期依舊推行的是州——郡——縣三級制。由於這一時期南北分裂對峙，戰亂頻仍，各級政區的數目、範圍以及設置的形式也隨之發生了很大的變化，甚至向畸形發展，使這一時期的政區具有鮮明的時代特色。
（1）僑州郡縣與土斷
大興三年（320年），東晉元帝司馬睿在建康附近設立了第一個僑縣——懷德縣，用以安置與他一同南遷的琅邪國（今山東膠南縣西南夏河）一千多戶僑民，揭開了東晉南朝設置僑州郡縣的序幕。
僑州郡縣的設立，是東晉南朝行政區劃的一個十分顯著的特點。那麼，什麼是僑州郡縣，為什麼會在東晉南朝出現這樣一種特別的行政區劃呢？要回答這些問題，還需要從西晉說起。
西晉末年，由於統治集團的腐敗無能和連年的內亂，加上自永嘉（307～313年）之後以匈奴為首的少數民族紛紛入主中原，殘酷殺伐，使得北方一片混亂。在這種情況之下，一般民眾為保全性命，不得不倉皇出逃。由於匈奴等少數民族是自北向南推進的，因此大多數漢人只能選擇向南遷徙的路線。317年，當司馬睿在建康建立起東晉政權以後，更增添了北方士人在政治上對南方的嚮往，一些官僚、貴族、地主也都帶領大量的宗族、附庸、部曲、奴僕等，走上了向南遷徙的道路。這樣，從西晉永嘉年間到南朝宋元嘉年間（307～453年）的一百多年的時間裡，南遷的移民一直絡繹不絕，出現了中國歷史上第一次漢人南遷的高潮，後世把這次大移民稱為「永嘉南遷」。
縱觀永嘉南遷的歷史，我們可以知道，其中規模比較大的移民浪潮，先後主要有四次：
第一次是在永嘉初年，在這個時候，北方變亂開始，琅邪王司馬睿南遷到江東，在他的諸侯國內的一千多戶人家率先與他渡過長江。此後，在今天河北、山東、山西、河南及江蘇、安徽兩省淮北部分的流民，也相繼扶老攜幼，渡過淮河、長江，向南遷徙。
第二次是在東晉成帝初年（326年以後），大司農蘇峻、將軍祖約聯合起兵，在江、淮之間發動叛亂，羯族石勒乘機南下侵擾，居住在淮南的人民以及僑居在淮南的北方人，只得進一步渡過長江南遷。
第三次是在東晉哀帝初年（362～365年）及其以後的一二十年間，中原兵燹不斷，大將桓溫又出兵關中，關中所遭破壞尤為嚴重，在今天陝西、甘肅境內的人民，一部分南遷到達漢水流域，還有一部分則進入了四川盆地。
第四次是在南朝宋文帝元嘉年間（424～453年）及明帝泰始年間（465～471年），一度由宋武帝收復的中原地區重又陷落，淮北各州也被北魏佔據，於是大量人口又渡過淮河，向南遷移。另外，西部氐人的戰亂，還使得關隴流民南遷到漢水流域與四川北部。
北方流民在南遷後，主要集中在長江流域的荊、揚、梁、益等幾個州的區域內，總人數大約在七十萬以上，還有大約二十萬南遷的人民沒有到達長江流域，而是聚集在今山東境內。另外，還有一部分南遷的移民渡過長江後，繼續向南，到達今安徽南部的山區，甚至是福建、廣東一帶。根據史書記載，從永嘉到劉宋之際，政府領有的南遷人口，佔到原西晉北方人口總數的八分之一以上，在南方居民中，平均每六個人當中就有一個人來自北方，這個數字還不包括沒有在政府戶籍上登記的那些士族地主的部曲與佃客，而他們的人數也絕不會比政府領有的北來僑民少。
面對如此龐大的南下移民，如何進行有效的控制與管理，便自然擺到了東晉統治者面前。如果東晉政府不能採取一個有效的措施，對這些新移民進行合理的安置，就極有可能引發流民暴動等事件，從而對東晉政權構成嚴重的威脅。東晉政府及後來的南朝政府顯然看到了這一點，他們主要採取了兩種辦法來安撫這些僑民。一方面，他們讓有一定影響的南遷大族首領，在中央或地方的政府裡面擔任職務，起到拉攏利用的目的。另一方面，由於這些僑民都是以宗族部曲的形式集體遷徙而來的，東晉南朝政府就實行了在這些僑民的主要聚集地設立新的州郡縣三級政區，並用他們原來在北方的居住地的政區名稱作為新政區的名稱，以此來控制與管理大量的移民。由於這些新的政區都是僑置於南方已有的政區之內，所以被稱為僑州、僑郡、僑縣。
僑州郡縣的出現，在當時主要有四個方面的原因。第一，當時人以為南遷只是暫時的現象，北方的失地很快就能收復，因此地方行政機構依然按照故地的形式進行組織，並且保留原來政區的名稱，也在懷舊之餘表露了儘快收復故地的決心。第二，正統觀念的根深蒂固。當時南北分裂，雖然各政權都以正統自居，但在一般人的心目中，依然存在著「自古以來未有戎狄作天子者」的傳統觀念。因此，東晉政權「雖僻陋吳越，乃正朔相承」，是當時人們的普遍看法。東晉政權雖然領土殘缺不全，但是又忌諱人家說力量不夠強大，便只能用僑置的虛名聊以自慰。同時又規定不僑置十六國北朝新立的州郡縣，用來表示對其政權的否定。第三，僑民高標姓望，地域鄉里觀念濃厚。北來的僑民遷居南方後，依然是聚族而居，他們把保持原來的姓望，不失本籍，看成頭等重要的大事。因此，他們絕對不和僑居地的土著民混雜。針對這種情況，東晉南朝政府也只得採取僑州郡縣的辦法，才能對他們實行單獨管理。第四，東晉南朝政府想要用僑州郡縣的辦法，招納吸引更多的北方人到南方來，以保證兵源和勞動力，並安撫已經南遷的僑民，使他們能夠安居樂業，促進經濟的進一步發展。
正是由於以上的原因，僑州郡縣便在東晉南朝出現了。自東晉元帝至南朝的宋、齊、梁、陳，大量設置僑州郡縣，形成了「僑州至十數，僑郡至百，僑縣至數百」的局面。東晉末年，劉裕北伐收復青、徐等州後，曾在原州、郡名前加「北」字，以便與僑州、僑郡相別。劉裕稱帝建立南朝宋政權之後，又取消「北」字，而改為在僑州、郡、縣前加「南」字。
從地理分布上來看，僑州郡縣主要集中在長江下游一帶。例如，在京口（今江蘇鎮江）、廣陵（今江蘇揚州西北）附近，就僑置了徐、兗、幽、冀、青、並等州及其所轄的郡縣。在江蘇的武進（今江蘇武進西北）一縣附近，就僑置了二十多個郡與六十多個縣。另外，在長江的中、下游與今天的陝西秦嶺以南的區域內，僑州郡縣的分布也比較密集。因此，唐代詩人張籍在他的《永嘉行》詩中所描寫的「北人避胡多在南，南人至今能晉語」，便是對這種情況的形象寫照。
這些僑州郡縣在起初設置時，並沒有實際管轄的區域，只是一種臨時寄居在南方固有行政區劃之內的另外一套獨立的行政管理體系。僑民在僑州郡縣內也享受政府給他們的優厚待遇，減免賦役租稅。僑州郡縣設立之初，還是想恢複故土的。但是後來由於中原長期無法恢複，土著與僑民雜居，造成戶籍混亂，使政府管理極為不便；同時，僑州郡縣中的僑民享受的優待又會使政府損失不少財源，因此，東晉南朝政府決定對這些僑州郡縣用土斷的方法進行改革。
所謂土斷，就是把僑民的戶籍斷在僑居地上，由政府加以控制，取消僑民原來不交賦稅的特殊待遇，對他們按時按地徵收賦稅。這樣做的結果是，有的僑州郡縣因併入僑居地的郡縣而被取消了；有的僑州郡縣由僑居地的郡縣划出部分地區給予管理；或者把僑居地的原來郡縣取消，而將其地全部劃歸僑州郡縣管理，使這個僑州郡縣成為有實際土地的州郡縣。
從東晉成帝咸和年間開始，到陳天嘉元年（560年），先後一共實施過九次土斷。土斷的結果是，一方面使僑州郡縣成為實土的政區，另一方面則使部分北方僑民迅速土著化。因此，等到隋統一天下，南北界線消滅，僑州郡縣也就隨之退出歷史舞台，不復存在了。
（2）雙頭州郡
東晉南北朝時期，在所設立的州郡當中，還出現了一種特殊的情況，即兩州為同一刺史、同治一地，或兩郡為同一太守、合治一地，這樣的州郡即被稱為「雙頭州郡」。這一名稱最早