西晉覆亡後，各少數民族競相建立政權，戰爭不已。中原的漢族人士不願受胡族統治，紛紛南遷。西晉時，北方諸州人口約七百餘萬。而永嘉之亂後幾次大批南渡的達九十萬人，約佔八分之一。東晉和南朝境內人民，大約土著佔六分之五，北來僑人佔六分之一。司馬睿與封國琅邪的大族王氏建立默契，各自出鎮南方要地，以預謀退路。早在永嘉元年（307），司馬睿已出鎮建業。長安陷後，建武元年（317）睿稱晉王，次年即帝位。
西晉末年的江南也不平靜。司馬睿來之前，有石冰、封雲領導的揚州、徐州農民起義。出身於倉部令史的廬江陳敏，乘掌握江淮漕米之機，招誘吳地士族，企圖在江東割據自立。以後吳興錢㻅圖謀推翻司馬睿和揚州刺史王敦，在廣陵起兵。這三次性質不同的事件中，孫吳以來的世族義興周玘率領鄉里私兵，支持了司馬睿。江南大族到東晉初年還擁有相當強大的武裝實力，為司馬氏政權的南遷掃除了障礙。
東晉政權優遇南來的北人，在他們聚居的地方設立所謂僑州、僑郡、僑縣。僑州郡縣沿用北方原籍的舊名，但隸屬關係極其錯綜複雜。有的僑州下只領僑郡、僑縣，也有僑州下既領僑郡、僑縣，也領實郡、實縣。有的僑郡、僑縣又隸屬實州。實郡也有時領僑縣，僑郡往往也領實縣。有的僑郡縣由於是高門大族的原籍，由僑郡縣改為領有實土的郡縣，而更多的僑郡縣因不具備此條件，只有等待土斷（東晉、南朝整理戶籍及調整地方行政區劃的政策。其主要精神是劃定州、郡、縣領域，居民按實際居住地編定戶籍），以備領有實土。
僑州郡縣人民不屬當地編戶，豁免租賦、徭役，並另立白籍，以區別於土著的黃籍。僑人中的下層多投附世家大族，成為受其蔭庇的戶口。其上層亦即門閥士族，如琅邪王氏、潁川庾氏、陳郡謝氏、譙國桓氏等，都是司馬氏政權的主要依靠力量，在中央和地方擔任要職。此外，如祖逖、郗鑒、劉遐、蘇峻等士族中地位較低的家族，則先在胡族統治的北方立堡塢自固，聚集宗族鄉黨數百以至上千家，然後率領這些流民南來，歸附東晉。他們的武裝成為早期抗胡的主要力量。除郗鑒等少數人外，流民領袖多未能與司馬氏政權合作到底。江南廣大土著人民是東晉王朝財政、徭役和兵力的主要來源，負擔沉重。但東晉初年，南方與北方民族矛盾突出，南方內部階級矛盾退居次要地位，東晉政權建立八十年之後，才爆發大規模農民起義。孫吳時大族的上層人物，對於司馬氏被迫南來所建政權，起初並不竭誠擁護。如陸玩目王導為傖（南人對北人的蔑稱），拒絕與王氏通婚。晉元帝對於江南士族中政治、社會影響較大的人，如顧榮、賀循、紀瞻、陸玩等，渡江之初已加意籠絡。元帝由於自己不掌握強大兵力，對於擁有武裝力量的南方豪強，暫時也不得不倚重。如周玘平錢㻅，甘卓破周馥，紀瞻御石氏。鎮壓杜弢起義也靠的是南土寒庶陶侃。來自北方的統治階級對南人終有顧慮，在攫取田產方面，僑姓大族渡江後，避開江南大族的田園聚集之地，王氏、謝氏、郗氏、蔡氏等，都深入到內地會稽、臨海一帶廣占土地與山澤。政治上對南人更有戒心，如陶侃立大功後反被王敦從荊州遷官廣州。元帝對義興周氏心懷疑憚，以致周玘憂憤而死。沈充、錢鳳之慫恿王敦起兵反司馬氏，陶侃對庾亮積怨之深，都反映統治階級中僑人士族的壓倒地位和僑人、南人之間的矛盾。
晉元帝初年，有揚、江、荊、湘、交、廣、寧、梁、益、徐、豫十一個實州，領九十六實郡，同時開始置立僑郡、僑縣。至孝武帝太元四年（379），有揚、江、荊、湘、交、廣、寧、豫、徐九個實州，幽、燕、冀、青、並、雍、秦、梁、益九個僑州，領實郡八十四，僑郡四十餘。東晉時僑州不冠南字，劉宋時僑州始冠南字，如南徐、南兗。東晉疆土縮小，而州郡之數遠遠超過西晉。刺史本人或所帶將軍府的長史、司馬，往往兼任州治所在的郡守。州以上分區置都督，以刺史充任，有兼督數州以及某幾州中的數郡軍事，都督鎮守之地常依形勢變化而有改動。東晉仕宦途徑大體仍由公府辟召、州郡察舉秀才、孝廉和中正依九品選拔官吏。但這時已非西晉那樣一統局面，元帝自稱「寄人國土」，因而中央官制雖沿自西晉，而頗加簡化，以求事權統一、行事簡便。如光祿勛等九卿或省或並，地方官如郡丞亦曾省罷。魏晉以來尚書與中書、門下職責原有分工，起相互制約作用；而東晉的錄尚書及尚書令有時兼中書監、令，尚書僕射有時兼門下、中書官職，但仍以尚書之職位為主。單任中書令者，多優遊無事，以文采、經義見重。揚州是政治、經濟、軍事重心所在，中央政府首腦錄尚書或尚書令，往往兼都督中外軍事或數州軍事、揚州刺史或丹陽尹等京畿地方長官，以控制實權。所以東晉大權集中於宰相，與西晉的皇帝集權，尚書、中書、門下並立，互相牽制的形勢不同。
成帝咸和五年（330），始度百姓田收租，改變西晉課田五十畝收租四斛辦法，大率每畝稅米三升。戶調可能仍沿西晉每戶絹三匹、綿三斤之制。孝武帝太元二年（377）廢除度田收租制，以口為對象，王公以下口稅三斛。八年，又增稅米每口五石，大抵比西晉時賦稅為重。東晉的徭役也極為繁重，孝武帝時「殆無三日休停」。東晉戶口應不少於東吳時（五十二萬戶，二百三十萬口），而桓溫上疏說當時戶口凋寡，不當漢之一郡（東漢最大之南陽郡有五十二萬戶、二百四十萬口）。這主要是由於依附人口太多，東晉規定給客制度，品官可以庇蔭流民為佃客，第一、二品官蔭占佃客四十戶，三品三十五戶，四品三十戶，五品二十五戶，六品二十戶，七品十五戶，八品十戶，九品五戶。政府所承認的蔭占佃客數字，各品官都比西晉增多。他們的戶口附於主人的戶籍，實際上，官僚貴族所蔭庇的佃客，還遠不止於規定的數字。他們不負擔國家的租稅徭役，但須把收穫的一半交給主人。佃客之外，還有稱為典計、衣食客等名目的依附人口。此時，世代當兵的兵戶依然存在，同時也以逃亡農民、罪犯及其家屬、被俘少數民族、豁免的奴隸等為兵。招募的軍隊也占重要地位，如著名的北府兵，就是招募勁勇組成的。
東晉疆域狹窄，貴族官僚大量佔山固澤。世家大族大量庇蔭人口，未入私門的僑人流民，又不編戶籍，影響政府的財源與兵源。成帝咸和時（326～334）已開始實行土斷，即把僑人從白籍（東晉、南朝設置僑州郡縣安置僑民，他們的戶籍用白紙書寫，稱白籍）移入黃籍（兩晉、南朝時對正式戶籍的稱謂），成為所居地方的正式編戶，納稅服役。在實行土斷的同時，必然也搜檢官僚貴族隱匿的戶口。桓溫、劉裕執政時期，兩次大規模實行土斷，收到「財阜國豐」和開拓兵源的效果，有利於鞏固偏安江南的政權。
東晉統治階級內部，存在著北人士族與南人士族，北人士族中的上層與下層，皇室司馬氏與僑姓大族，各大族之間，中央與地方（揚州與荊州）等錯綜複雜的矛盾。當時流行的「王與馬，共天下」說法，既反映了王氏扶持在南方尚未站穩的司馬氏政權，也反映了東晉一代皇室與僑姓大族不斷的鬥爭。王導執政，以寬和著稱，其目的除結好南人，鞏固司馬氏地位外，也為維護世家大族的利益。元帝對王敦和簡文帝對桓溫，都曾有過「請避賢路」的表示，為封建社會中的君臣關係所罕見。「君弱臣強」的局面，是司馬氏與以王氏為首的各大族「共天下」的結果。
王敦擔任都督江、揚、荊、襄、交、廣六州軍事、江州刺史，擁重兵鎮守武昌（今湖北鄂州）。元帝畏王敦，任用劉隗、刁協與之相抗。劉、刁維護皇室威權，「崇上抑下」，如大批徵調大族家的奴僮和依附的客，以充兵役，引起王氏等大族的不滿。永昌元年（322），王敦以問罪於劉隗、刁協為名，起兵攻下建康，殺死刁協等。又從武昌移鎮姑孰（今安徽當塗），自領揚州牧，內外大權集於一身。兩年後，王敦病重，仍命其兄王含為元帥，率軍進攻建康。建康未克而王敦病故。他雖被遣責為叛逆，琅邪王氏的地位卻未受任何影響。
成帝即位年幼，舅父庾亮執政。北方來的流民首領蘇峻、祖約都擁有重兵，分別駐在歷陽（今安徽和縣）和壽春。他們不滿於大族庾亮、卞壺等人的排擠，咸和二年（327），起兵進攻建康。江州刺史溫嶠乞援於荊州刺史陶侃，聯合擊敗蘇峻。陶侃死後，庾亮代為江、荊、豫三州刺史，既擁強兵據上游，又執朝廷大權。他代表皇室利益，與王導產生矛盾。但在衝突表面化之前，王導、庾亮相繼去世。
桓溫繼庾氏之後據有荊楚，又領揚州牧，也集內外大權於一身，企圖奪取司馬氏政權。桓溫先廢司馬奕為海西公，立簡文帝，實則企望其讓位於己。穆帝時，簡文帝為會稽王輔政，任用殷浩以抵制桓溫，但未成功。接近皇室的庾氏家族中，多人被桓溫殺害。桓溫病中要求朝廷賜他「九錫」，以為禪讓的前奏。由於謝安等人的拖延策略，桓溫不及待而死。謝安輔政，侄兒謝玄在淝水之戰中立