盧諶懷揣此詩，大哭而去。數日後，段匹詐稱奉東晉天子密詔，殺劉琨及其子侄四人。劉琨死時，年僅四十八歲。
這回王敦急忙親自去請周訪，並向他許諾，如果滅了杜曾，一定讓他來當荊州刺史。周訪遂以李桓、許朝為前鋒，率一萬梁州兵去戰杜曾，路上又招了幾千人馬。到了沔陽（今湖北仙桃），與杜曾在城下一場惡戰。直殺了整整一天，周訪左右兩軍都開始敗退，只有中軍勉強應付。周訪早已暗藏了八百精騎，人強馬壯，等到杜曾來攻中軍時突然殺出，以一當十登時把杜曾的軍隊沖亂。周訪的梁州兵趁勢反攻過來，杜曾大敗。
周訪和杜曾打了半年仗，杜曾敗多勝少，最後逃入武當，據險而守。周訪屢次強攻，損兵折將。只好把軍隊扎在山下，不再強攻。周訪在山下重金找到當地採藥人，尋了一條密道，派一支軍隊從武當山後殺入杜曾的營中。然後，又繼之以正面強攻。杜曾大營被踹，前面攻勢又猛，支持不住，軍潰敗。手下大將馬俊和蘇溫把杜曾生擒，獻給周訪，周訪命斬了杜曾，遂平了荊州。
周訪見王敦再一次食言，把任命詔書撕得粉碎，又把王敦送來的玉環、玉碗等厚禮當著使者擲碎於地，罵道：「你給幾個臭錢以為就能打發了我么？」自此把王敦當做仇人。王敦知道自己惹下了這位名將，也把周訪當做心頭之患，打算尋機會將此人除去。
能用嘴皮子說下來這個城池當然更好啦。祖逖於是派桓宣入城。張平、樊雅也是講道理的人，說現在天下大亂，自己在這裡割據無非是據兵以自保，混口飯吃。桓宣說，混能混到什麼時候呢？不如干點兒正事吧。你看，我們是東晉派來的正規軍，打算北伐恢複晉室，你們不如加入我們。大家一塊兒立功建業不好么？
段匹數千人馬自然寡不敵眾，大敗逃回薊城。劉琨的兒子劉群被俘。段末柸對劉群很不錯，不但用貴賓的禮節相待，而且說要任命劉琨為幽州刺史，逼著劉群寫下勸降父親的書信，派密使潛到薊城，請劉琨為內應，一齊對付段匹。
東晉滅了杜曾，國家算是暫且安定，但東晉還有一件大事，那就是祖逖北伐。這時祖逖已經佔據了安徽中南部，正打算攻取安徽西北部的譙郡。譙城守將是張平、樊雅，這兩個人本是中原流民，就是上一章最末講到的乞活軍的一部分。兩人擁兵上萬，在這一帶勢力很強。
張平、樊雅說好啊，兩下里很快談妥。祖逖又派參軍殷義進城收編。殷義是個自命不凡、十分欠揍的傢伙。他進城後故意侮辱張平，指著他的軍府說：「此屋也就能當馬廄。」又指著府中一個大鐵鍋說，「此玩意兒放這兒也是個廢物，不如化了鑄為鐵器。」
盧諶率劉琨余部投奔遼西段末柸，奉劉群為主。幽州晉人有些南去投奔石勒，有些北去投奔劉群，段匹勢力大減。北邊有段末柸不斷進攻騷擾，西南兩方又有石勒大軍進逼，幽州的各個城池漸被段末柸和石勒蠶食。段末柸很快打到薊城，城下一戰，段匹大敗。劉群乘虛佔了薊城。段匹只好率段文鴦等親信部下領著殘兵，一直向南來到山東厭次（今山東惠民縣東），投靠了樂陵太守邵續。
按王敦的承諾周訪應當為荊州刺史，司馬睿也覺得憑周訪的功勞，這個肥缺也應當給人家。偏偏又是錢鳳作梗，勸王敦自兼荊州重地，不可把這個地方給了外人。王敦於是上奏讓晉王司馬睿改派周訪為安南將軍，仍為梁州刺史。司馬睿對王敦當然是言聽計從，當即答應，按照王敦的意見下了任命令。
張平不高興道：「這是帝王鑊，以後咱們北伐成功天下清平後還要用的，怎麼能毀去？」
司馬睿追謚幼帝司馬鄴為「晉愍帝」，立司馬紹為皇太子，加封王導為驃騎大將軍，開府儀同三司，王敦為江州牧，授李矩為司州刺史。所有文武都有封賞。
張平本來就是個粗人，此時再也忍不住了，先把殷義的腦袋砍下。他認為祖逖有意派這個東西來侮辱自己，遂關上城門死守，又把殷義的首級懸在城頭示眾。祖逖見殷義被殺，也沒鬧明白，不過翻臉是肯定的了，當即率兵攻城。張平率眾死守。一連數天祖逖攻不下來。後來還是桓宣勸降了張平手下大將謝浮，殺死張平才得以攻下城池。樊雅率兵前來報仇，被祖逖打得大敗，戰死軍中，剩下的人一看主將死了，便一齊都投降了。
祖逖本打算攻城，參軍桓宣說，大家其實都是自己人，都是漢民，也曾是東晉子民，有話好商量。我正好又和張平、樊雅有過一面之交，不如我進去勸降。
祖逖判斷對方深處河南，糧草需從黃河以北接濟，必定也有糧荒，遂派人繞道桃豹背後，劫了桃豹的軍糧。桃豹一看軍糧無繼，只好撤軍，祖逖因此得了蓬陂，大軍進入河南。
李矩、郭默、趙固、魏該等軍半夜襲擊劉粲，劉粲沒有防備被殺得大敗，率敗軍退到黃河以北。因為晉軍偷營時都喊「生縛劉粲，以贖天子！」劉粲逃回平陽後奏請劉聰殺司馬鄴，說只有殺了司馬鄴才能動搖東晉北伐的決心。
殷義斜著眼看了張平一眼道：「你的腦袋還不定能不能保住呢，你還想保一個破鐵鍋？」
劉聰猶豫道：「我以前殺了司馬熾，民心還不是這個樣子？照樣有新的皇帝被晉朝擁立！還是不要殺司馬鄴了。」
這時又有佔據蓬陂、陳留（今河南開封）的乞活軍首領陳川派大將魏碩在祖逖所佔的各縣搶掠，祖逖派韓潛設伏殺敗魏碩，一直追到蓬陂。陳川猝不及防連丟幾城，知道不是祖逖的對手，乾脆投降了石勒。石勒派桃豹領兵去與祖逖交戰。兩軍相持了將近兩個月，韓潛的軍糧漸漸緊缺。因為當時河南和安徽等地連年戰亂，許多地都撂荒了，很少有人種田。祖逖的軍糧絕大部分需要從江東運來，因為道遠，所以難以為繼。
劉聰被說動了，遂殺司馬鄴，此時為公元317年12月。
北邊暫且放下，再說南邊。司馬睿稱晉王后，繼續全力剿滅佔據荊州的杜曾。這時候，由於陶侃被王敦排擠，陶侃的一部分舊將鄭攀、馬俊等人已投奔了杜曾，杜曾的實力變得很強，把荊州刺史王廙打得屁滾尿流。陶侃原來的副手，勇將朱伺在與杜曾的交鋒中受重傷，不治身亡。趙誘、朱軋等晉將戰死，杜曾的勢力遍及長江中游一帶，成為東晉的心腹之患。
王敦見自己連連挫敗，向謀士錢鳳討辦法。錢鳳道：「要除杜曾，非梁州周士達不可。」周士達，就是當年和陶侃一起定荊湘的潯陽太守周訪，士達是周訪的字。周訪和陶侃是兒女親家。王敦也正因為周訪的關係，當時才沒有殺掉陶侃。
這首《重贈盧諶》後來成為千古傳唱的名篇。此詩前面鋪敘歷史上賢人輔助聖君故事，暗比自己和盧諶、段匹共扶晉室，並說明自己一心為國，不計私怨。詩的後面寫功業未建而身被拘縶的痛苦，傾吐自己壯志未酬、時不我待的悵恨和悲哀。悲涼慷慨，千載之下，尚動人心魄。
劉琨大驚道：「我與你是同盟兄弟，其志在於恢複晉朝，一雪國恥。我怎麼會因為一個兒子的緣故就背叛國家，辜負朋友呢？」
段疾陸眷病卒後，因為他的幾個兒子都還年幼，遂由段疾陸眷的叔父段涉復辰繼大單于位。段匹和劉琨的兒子劉群領著幾千人馬前往遼西為哥哥奔喪。
段疾陸眷的堂兄弟段末柸對段涉復辰道：「我看段匹並非是為奔喪而來，而是來篡位的。」
這時河南有滎陽太守李矩駐兵在新鄭，河內太守郭默駐兵在懷縣，河東太守魏該駐兵在宜陽，這些人都是流民，也算是乞活軍的一部分，平時各自為政，遇有敵人來襲時便聯手互保。他們聽說祖逖進兵河南，便一齊歸順了祖逖。接著，駐守洛陽的漢國大將趙固獻城給李矩，也加入到祖逖的軍隊來。劉聰聽說祖逖盡占河南、安徽之地，便命太子劉粲率軍十萬來攻洛陽。趙固守不住洛陽，敗走陽城山（今河南焦作）。這時李矩、郭默等援兵才剛剛趕到，與劉粲對峙於洛陽城外。
段末柸道：「這很簡單。兵來將擋，水來土掩。叔叔已經是大單于了，難道還要把這個位置讓給他不成？您派大軍去擊敗段匹即可。」段涉復辰於是派十萬精兵去阻截段匹。這十萬兵剛走出去一天，段末柸就在京城發動了兵變，殺死段涉復辰，並殺盡段涉復辰的兄弟子侄及其黨羽，自命大單于。派人將十萬精兵收回，重新整兵之後，再來戰段匹。
消息傳到江東，已經是公元318年3月，建康百官遂請司馬睿稱帝，劉琨、段匹、段疾陸眷、邵續、慕容廆、崔毖等冀北和東北的割據勢力也得到了司馬鄴被害的消息，派使臣前來勸進。司馬睿假裝推託了幾日，然後在王導等人的極力勸說下，終於同意登帝位。
使者被段匹的巡兵捉住，搜出書信。劉琨本來帶兵據守在征北城（今北京市大興縣境內），聽說段匹敗回，便來探望。一來就被段匹扣住，並拿出劉群的書信給他看。
段匹道：「劉兄如果想把小弟獻給段末，小弟願伏首就擒。」
建武二年（318）三月丙辰日，司馬睿正式登基，