江東是司馬睿鎮守的地盤。前文說司馬越滅了司馬顒，把持了朝政。司馬睿因為地位低，被封到最不起眼的下邳。這個地方雖然小，可是有個好處，中原打來打去，卻打不到這裡，而背靠廣闊的江東之地，可以任意向南發展。司馬睿遂在王導、顧榮、周圯等人輔佐下在江東紮下根來。
畢竟江東之地很遼闊，也不是沒有人打這塊地盤的主意。永嘉四年（310）二月，司馬越手下大將錢璯叛晉造反，在廣陵起兵，欲占江東。還是那位周處的兒子周圯，自己招兵買馬，聚齊鄉里，擊敗錢璯。加上以前攻滅石冰，剿滅陳敏，被人稱為「三定江南」之功。司馬睿拜周圯為吳興太守。到了永嘉五年，洛陽城破，中原的許多士族都離開故鄉投奔西晉剩下的割據勢力，即西邊的涼州，北邊幽州和江南。司馬睿按照王導所獻計策，一方面從這些士人中廣納賢俊，作為自己的政治力量，另一方面建立威信，使這些士族不敢小看自己。
為什麼說要建立威信呢？前面說過，司馬睿在諸王中的地位很低，又不是司馬家的正統，很多望族都看不起他。比如桓彝就曾經和周頡說：「像琅琊王這樣的人，怎麼能夠倚仗他恢複晉朝的大業呢？」
而王導則在江東很有勢力，而且此人很具有演講才能，那些望族士人與王導談論天下大勢，無不被王導說服。桓彝與王導談過幾次話後也對人說：「這是我們晉朝的管仲啊，我以後不必為晉朝的命運擔心了。」還有一次眾人在長江的江亭聚會，周頡嘆氣道：「風景一樣好，可是抬眼只見長江，不見黃河。」在座的聽了都哭了起來。王導又出來演講道：「所以大家正應該出力輔助王室，恢複中原。為什麼要像『楚囚』一樣相對哭泣呢？」名士們聽了都振奮起來。可見王導在引導輿論方面很有一套。
司馬睿初到建康，南方士族都不理他，過了很長時間也沒有人來求見。王導意識到這個問題的嚴重性，將來重建晉朝，還是要依靠這批士族的。正好王敦來朝，王導對他說：「琅琊王仁德雖厚，名威尚輕，你的威風已振，應該有所匡助。」兩人商量之後，安排在三月初三上巳那天，讓司馬睿肩輿出巡，王敦、王導以及北方名士騎馬隨從。隆重的儀仗，威嚴的行列，使南方士族體會到司馬睿就是北方士族擁戴出來的江東之主。於是「江南之望」的顧榮、紀瞻等都很驚懼，相率拜於道左。
王導趁此對司馬睿說：「古來想要成王霸之業的，莫不禮敬故老，虛心求教，以招攬賢俊，何況當前天下變亂，大業草創，更加急需人才！顧榮、賀循是南方士族的首領，如果招來這兩人，其餘的人自然沒有不來的。」
司馬睿使王導親自去招顧、賀，二人應命來見，分別任命為軍司馬和吳國內史。司馬睿有一次對顧榮說：「寄人國土，時常懷慚。」榮跪對說：「王者以天下為家，殷商從耿遷毫，東周由鎬及洛，古來如此，願陛下勿以遷都為念。」從兩人的問答語中可以窺知，雙方已有某些合作的默契。從此，南方士族歸附，成為未來東晉政權的一個構成部分。
司馬睿得到情況說石勒準備南攻，急忙整兵，以紀瞻為都督，帶重兵鎮守壽春。
到了永嘉六年春季，江淮發了水災，大雨下個不停。石勒的軍營全部被水淹，糧食都長了毛，後勤運輸也極為不便。石勒軍中斷了糧，並且瘟疫流行，有一大半士卒都得了病，很多人病死。這時晉軍趁勢來襲，右長史刁膺勸石勒向晉朝請降，請晉軍退兵。石勒手下大將都是久經戰陣的人，一齊斥責刁膺，向石勒請戰。大將孔萇道：「我們沒有糧可以搶晉軍的糧，我們的地方被淹可以占晉軍的城。只要將軍下令，不出半年，必破晉軍。」
石勒問張賓該怎麼辦，張賓道：「您攻陷了洛陽，把晉朝的天子捉到平陽去，把晉朝王公都殺死，把晉朝皇帝的後宮妃子全部掠走。您對晉朝來說，就是拔光頭髮，也不足以數清您的罪過啊。您怎麼能夠去投降晉朝呢？其實您本就不該來此，而現在的氣候更不能讓咱們在此久留，我看還是回河北吧。河北的鄴城本就不錯，何必要來江東爭地呢？將軍依據河北，一統北方之後，不但江東，天下遲早都是您的。」
石勒道：「我何嘗不想北退呢？可是我若撤軍，晉軍必會追擊，我該怎麼辦？」
張賓道：「將軍可先派人押著輜重向北，再派一大將率軍向壽春佯攻。等輜重北撤之後，再帶輕兵北還。壽春晉軍必不敢追擊。」
石勒聽後連稱佩服，反過來責備刁膺道：「你作為我的謀士，應當助我共成大業，怎麼可以動不動就勸我投降？本來我當將你斬首立威，但我知道你本來就是個膽小之徒，這回饒過你。」遂尊張賓為「右侯」，由張賓率輜重先行北退。又以孔萇為前鋒，率兩千精騎兵殺向壽春，揚言進攻壽春。
紀瞻先令城外居民全部搬到城內，又命人將五十船糧草停在港口，每船隻派兩名士兵守著，告訴他們，如果對方來搶，你們只管逃就是了，不要和他們爭。又命令祖逖和桓彝埋伏一千人守在港口，準備伏擊對方。
孔萇來到港口，見了許多糧船便上前去搶。晉兵跳水逃走，孔萇派兵上船，準備把糧船運回。哪裡知道船上既沒有竹篙也沒有船槳。孔萇到這個時候仍然沒有明白過來，竟然命令所有的將士一齊下馬，將糧草搬運上岸，放在馬背上，欲從陸路運回去。正在忙亂著搬運東西時，祖逖、桓彝各率晉兵兩路殺來。孔萇的軍隊，有的馬上馱著糧草，有的正在搬運糧草，兵器扔了一地，根本沒有防備，一下子便被沖亂。接著紀瞻率大隊軍馬趕到，孔萇幾乎全軍覆沒。幸而石勒及時趕到，才救下孔萇。紀瞻不知虛實，退回壽春。石勒也無心戀戰，也退兵結營。
這時張賓已經走遠，石勒於是帶兵北行。晉軍見石勒不帶輜重，也不敢追趕，石勒得以從容北去。然而石勒所到之處，所有的糧食都被收割光了，村莊里的人則全部跑到城裡去了。石勒的軍隊來到河南後，這裡又是歷年征戰之地，更是沒有人煙。石勒的軍隊實在是餓得沒有辦法，先是殺馬而食，最後竟然殺掉傷兵弱兵作為食物。一直挨到黃河南岸。有汲郡人向冰聚眾數千為匪，將黃河南岸的所有船隻收走。石勒的大軍無法渡河。石勒先派鮮於豐去攻打向冰。向冰雖是地方土匪，卻十分勇猛，竟然把鮮於豐給打敗了。石勒親自帶兵上陣，才把向冰的營壘攻破。這一仗收穫頗豐，不僅奪得了渡河的船隻，還從向冰的老巢中搜出大批的糧食。石勒軍心大振，揮師渡過黃河，直奔自己原來的根據地鄴城。
石勒出傾國之兵先取河南，再下江東，在河北留下來的守城士兵很少。石勒本以為北方除了漢主劉聰，再沒人敢招惹他，也沒人有這個能力和他較量，所以才敢以傾國之兵南下。可偏偏就有一個人不信邪，這個人不是別人，正是當年帶了五百兵丁來晉陽，竟然在劉聰的地盤內紮下根來，固守晉陽多年的劉琨。
劉聰之所以不去打眼皮底下的劉琨，是因為他知道劉琨並不好惹，要拔去晉陽這根釘子得費點工夫，但劉琨兵力不強，守有餘，攻不足，所以劉聰也不著急先滅他，而是一直致力於去攻取洛陽、長安等晉地。當然，其中他也有一次派兵去試攻過晉陽，結果手下大將劉虎，被打得大敗，全軍覆沒，劉虎一路西逃，直逃過黃河到了陝西才敢停步。
劉琨又與北方新興起的拓跋鮮卑族結為聯盟，與該族的首領拓跋猗盧結為兄弟。兩者聯兵掃掠晉北。結果猗盧佔領相當於今天大同、朔州的地盤，劉琨佔領相當於今天忻州、太原、呂梁、晉中、陽泉等地，基本上瓜分了山西的中部和北部地區。猗盧即由雲中進入雁門，部落越發興盛。劉琨也趁這個機會發展起來，勢力漸強。他見石勒南下，便派劉輿的兒子劉演奪了河北鄴城，劉輿也是劉琨的哥哥，當年接手了范陽王司馬虓的鄴城，縊死司馬穎。現在劉演重占鄴城，也算是物歸原主了。除了鄴城，劉琨的勢力一直達到山東西部，一時成為北方的諸強之一。
石勒見鄴城已失，便要猛攻。張賓說，鄴城易守難攻，劉演也有上萬兵馬，硬攻既消耗兵力也浪費時間。河北這麼大，您再找個地方先把兵馬歇下再說。自古得地者昌，失地者亡。等您安定軍心，休養生息，籌集糧草，發展生產之後，然後再攻天下，立霸業也不遲。
於是石勒在襄國（今河北邢台）立住腳，又攻下被劉琨佔去的冀州，在河北算是安定下來。這時劉琨把石勒的母親給送來了。
石勒早年被賣為奴隸，從那個時候就與他的母親王氏離散，已經有很多年不見了。劉琨是個有心人，一到了并州，便派人到處查訪，終於將王氏找到，然後帶到自己的府中，像對待親生母親一樣侍奉。等石勒回到河北時，劉琨便派人把石勒的母親送去，並附勸降信一封，希望石勒能「共扶晉室」。
恩情是恩情，事業歸事業，一碼是一碼，石勒當然不會答應，派人給劉琨回送了珍珠寶馬，拒絕了劉琨的勸降。劉琨見了石勒的回信，長嘆一聲道：「這是上天不保佑晉朝啊！」
這時晉朝大約分為四個