光熙元年（307）十一月的一天夜裡，晉惠帝回都洛陽的第三年，司馬越毒死了晉惠帝司馬衷。司馬衷死時四十八歲，在位二十六年。太弟司馬熾繼位，是為晉懷帝，改元永嘉。司馬熾一即位就立刻親政，不斷參與政務，與什麼事都不管的晉惠帝大為不同。司馬越為了削弱司馬熾的權力，遂帶百官至許昌，留少帝司馬熾在洛陽。凡朝廷之事，需司馬越在許昌決定之後才能施行。
司馬越雖然耍了個花招，壓制少帝，重新取得對西晉的絕對統治權，可他為什麼要毒死晉惠帝呢？留著這個百依百順的傀儡皇帝不是更好控制么？其實歷經賈后之亂，八王之亂，當了二十多年皇帝的晉惠帝還是很得人心的，也就是說有一批人很願意跟著這位傻皇帝混，願意支持他。事實上，在八王之亂中，很多人都因為打著擁立晉惠帝的旗號而得到四方的響應。總的來說，司馬熾雖然聰明，但資歷低，沒有自己的人馬，沒有號令天下的威信，還是比較好控制的。而司馬越一旦對司馬炎親自立下的晉惠帝有什麼不敬舉動的話，就很有可能被司馬家族群起而攻之。而且歷史告訴我們，如果一個權臣想當皇帝，他一定會先廢掉一兩個皇帝，以打擊皇權威信，樹立個人權威，然後在口服心服的眾人擁戴下登基。
不過，司馬越趕上的這個時代實在是太亂了。他剛剛毒死晉惠帝，劉淵便把并州都督司馬騰痛打一頓，佔據了晉北。司馬越一時抽不出兵來，劉輿遂向司馬越舉薦他的弟弟劉琨為將。司馬越知道劉琨打仗很行，便命他為并州刺史，他直接對付劉淵，而把司馬騰調到了冀南的鄴城。
司馬騰早被劉淵打怕了，一接到司馬越的調令，沒等劉琨前來，自己就先帶著兵馬及大部分百姓跑到河北了，給劉琨留下一座空城。劉琨是光桿司令，一路走一路招兵。由於山西戰亂頻仍，又被司馬越帶走了一大批百姓，到處少見人煙，豺狼當道，一直走到了并州才招了五百多人。并州留下的都是一些老弱病殘的百姓，個個面帶菜色，羸弱不堪。戰死和餓死的屍體已經變成了白骨，被野狗叼來叼去。劉琨帶著人把街道清理了，房屋修好，城牆加固，又貼出告示，召流民回來耕種荒廢的土地。這時劉淵已經繞過晉陽，直向南攻，很快佔據了除晉陽外的整個山西省。
劉琨這邊守住了晉陽，司馬騰卻沒能守住鄴城。汲桑和石勒被兗州刺史苟晞擊潰以後，落草為寇，竟然很快弄了上萬兵馬，不久又捲土重來，再攻鄴城。司馬騰派大將馮嵩帶三萬兵出戰。馮嵩打了一個大敗仗逃了回來。司馬騰奇怪地問道：「你帶三萬正規軍難道打不過一萬土匪么？」
馮嵩道：「戰士們很久沒有發餉了，過的還不如土匪呢！怎麼能好好打仗？現在國庫空虛，您不如把家裡的錢拿出來來激勵將士，這樣才能取勝！」
司馬騰一聽就怒了：「你怎麼不把你家的錢拿出來？」
馮嵩道：「我那點家產頂個屁用，誰像你有數億家資。再說了，如果鄴城被奪去，你那數億家資還不是被人家奪了去？」
司馬騰一想也有道理，於是命家人把米和布拿出一部分來給大家分，因為實在捨不得，拿出來的並不多，每名士兵不過分到幾天的糧食和只夠做一身衣服的布。將士們見司馬騰這麼摳門，誰還肯為他賣命，領了東西便一鬨而散，跑個精光。司馬騰這下著急了，再想攜家資逃跑，連趕車的車夫都找不到了，只好撿些黃金細軟騎了快馬離城南逃。在城外司馬騰被汲桑部將李豐追上刺死，最終落得個人財兩空。汲桑、石勒本就是做土匪的，進入鄴城之後，把鄴城大大地搶掠一番，又殺了不少百姓，臨走放一把大火，竟把鄴城給燒了。所謂殺人放火搶東西，真是和強盜沒有任何分別。
二人搶完燒完，又舉兵向南，直襲兗州，去攻老仇家苟晞。
苟晞和他的弟苟純、部將王贊帶兵拒敵。汲桑、石勒雖擁有威力很大的精騎兵，但魯西以山地為多，苟晞的步兵並不吃虧，所以雙方打了幾仗，不分勝負，形成僵局。苟晞極善用兵，知道汲桑和石勒兩軍中汲桑最弱，於是派苟純連夜率三千精兵去東武陽設伏，又請冀州刺史丁紹斷汲桑和石勒北逃的後路。安排停當，第二天出兵和石勒混戰。汲桑本來準備整軍增援，哪知道剛走了不一會兒，後營苟純偷襲，急忙回去，又被苟純伏擊。汲桑大敗，幸虧石勒發現右軍出了問題，整兵回救，這才把汲桑救下。但苟晞也乘勢追殺而來，石勒等人來不及整軍，一路敗了下去，敗到河北，又遇到丁紹的伏兵，汲桑、石勒在亂軍中失散。汲桑在今天冀魯的交界處樂陵遇到了司馬騰的舊將田蘭和他所帶的幾百散兵游勇，落地的鳳凰不如雞，汲桑被手下敗將田蘭捉住殺死。
石勒輾轉逃回上黨武鄉，這個地方活動著一支數千人的土匪，匪首叫做張背督。石勒找到張背督，問道：「現在劉淵佔據了整個山西，你認為你能在山西一直立足下去么？」
張背督道：「當然不能了。」
石勒道：「既然不能，而且您的手下都受過劉淵的恩惠，我擔心他們遲早有一天要叛離您啊。」
張背督驚問道：「石英雄，你給你出個主意，我該怎麼辦？」
石勒道：「我看劉淵必成大業，將來天下都可能是他的。咱們不如早一點去投他，混個榮華富貴絕不成問題。」
張背督想了一個晚上，第二天早上便帶眾土匪隨石勒投奔了劉淵。劉淵十分高興，封石勒為輔漢將軍、平晉王，封張背督為親漢王。在歡迎宴上，劉淵無意中提到烏桓人張伏利度是一支隱患。此人在樂平鎮聚有數千兵馬做土匪，仗著天險和劉淵做對。劉淵硬攻無果，招撫又不成。石勒聽了笑道：「這有何難，請讓我為大王招撫。」
劉淵半信半疑，不過既然石勒已經張口，不妨讓他試試。石勒假裝被劉淵趕出來，投奔張伏利度。張伏利度是土匪，石勒也是土匪，見面自然有話談，談來談去，越談越投機，當即便與石勒結為異姓兄弟，派他下山率眾搶劫。石勒打仗很有一套，其他地方的土匪稍觸即敗，可謂所向無敵。漸漸地大家就都認為石勒的才能遠在張伏利度之上，對石勒頗為信服。石勒見機會成熟，在宴會上一把將張伏利度摁住。張伏利度不知道怎麼回事，喊道：「石兄，你這是幹什麼？」
石勒並不理他，轉頭問眾土匪：「我和伏利度，你們願意服從誰？」
眾人齊聲道：「願隨石將軍！」
石勒遂綁了張伏利度，帶了眾人來投劉淵。劉淵對石勒更加信任，又加封石勒為都督山東征討諸軍事。
這時山東青州又有王彌和其堂弟王桑，還有陽平縣劉靈等人，趁著苟晞和石勒交戰也積聚力量，招了數萬兵馬分別造起反來，欲割據山東。司馬越急忙升了苟晞的官，拜他為征東大將軍，封東平郡公，帶重兵前去征討。司馬越也親自帶兵從河南許昌移兵到山東省西南的鄄城參加征討，與苟晞互為聲援。
苟晞和弟弟苟純去打王彌，王彌屢戰屢敗，一路後退，在山東沂蒙山區和苟純捉迷藏。王彌很是辛苦，非常泄氣，卻又想不出好辦法，手下謀士曹嶷道：「苟晞這個人很厲害，兵力也比咱們多。要想打開局面，不如避開他，去偷襲洛陽。」
王彌大惑不解：「你不是和我開玩笑吧？我要是從山裡鑽出來，苟晞一定會追在我的屁股後面打。從這裡到洛陽有上千里，沿途又要攻城奪地，前後受擊，不是自取死路么？」
曹嶷道：「司馬越把所有的兵力分成兩路，一路交給苟晞，另一路由他帶到了鄄城。因此從魯西到許昌再到洛陽，一路空虛，只有些老弱殘兵把守城池，只要咱們騙過苟晞，跑得夠快，不怕洛陽拿不下來。」
曹嶷出的這個主意相當精妙，王彌連稱佩服，立刻整軍帶五萬人馬穿上官軍的衣服向許昌而去，留下曹嶷帶一千人馬繼續跟苟晞捉迷藏。曹嶷命多做草人，穿上軍服，插在山上，竟把苟晞給騙過去了。
王彌詐稱官軍回都，奪了許昌重地，而其餘小城基本無兵把守，所以王彌一路暢通，很快殺到洛陽城下。洛陽城還有一萬禁軍，勉強將城池守住。王彌攻了許多日，眼看就要攻下洛陽了，真是趕的早不如趕的巧，恰好涼州刺史張軌派督護北宮純帶一千多人來京城辦事。見王彌圍城，遂帶千名騎兵直殺過去。
這一千人雖然人數少，但十分勇猛，王彌的軍隊被這麼一衝，頓時大亂，沒了隊形。城裡的軍隊以為是大隊援兵到了，也打開城門殺出來，兩面一攻，王彌潰敗，只帶了幾千兵馬北逃。王彌在黃河邊上看見劉靈也帶著幾百號準備渡河，過去一問，原來劉靈被司馬越殺敗，也是一路逃過來的。兩個難兄難弟一商量，還是投奔劉淵吧。
劉淵聽說兩個人來投，擺宴相迎。宴席上王彌說：「您已經稱王多年，一直割據一方，太可惜了。我看您不如稱帝，然後先西攻長安，再東取洛陽，最後南下統一全國。當年劉邦就是這麼乾的，您何不效仿呢？」
劉淵遂於漢元熙五年（308），即晉永嘉二年十月甲戌日，稱帝於蒲子城。命劉聰、