洛陽之戰後，很多人對司馬越不滿，認為司馬越把所有的兵力調到山東，根本就沒把皇帝的安危當一回事。少帝司馬熾此時也在位一年了，手底下漸漸也有了些寵臣，這些大臣把司馬越的過失到處散布，意在打擊司馬越的威信。司馬越在洛陽安插了不少密探，聽說這件事後帶兵來到洛陽，把少帝司馬熾身邊的心腹近臣中書監繆播、太僕卿繆胤、散騎常侍王延、尚書何綏、太史令高堂沖等十多個人全部殺死。少帝干著急沒辦法，只能趁沒人的時候悄悄在後宮跟幾個心腹太監訴苦，一邊痛哭一邊大罵：「要說奸臣賊子，也不是哪個朝代都有。可為什麼偏偏輪到我呢？」
司馬越又將宮廷侍衛中所有不是自己提拔起來的武官全部罷免，然後留在洛陽，獨掌朝綱，從此徹底在精神上和權力上完全掌握了西晉。
有一個叫朱誕的左積弩將軍也在罷免之列，他十分怨恨司馬越，便投奔到劉淵那裡，稱司馬越和皇帝鬧矛盾，人心不齊，正是攻取西晉的好時機。劉淵早有一統天下之心，既然時機來了，豈能放過，當即命汝陰王劉景帶五萬精兵先攻黎陽。劉景和防衛黎陽的車騎將軍王堪打了一仗，佔了黎陽，劉景進城後縱兵搶劫殺人，又把黎陽三萬多名百姓全部扔到黃河裡淹死。劉淵聽說後大怒，我是要奪天下的，奪天下者先要得民心，你小子這不是讓人民恨我么？遂下令道：「朕讓你去殺司馬氏，不是讓你殺百姓！」將劉景貶為平虜將軍，讓他帶兵返回。另派劉聰、王彌帶兵攻取洛陽。
劉聰、王彌帶兵來攻上黨。太守龐淳帶兵拒敵，連吃敗仗。司馬越急派淮南內史王曠、將軍施融和曹超五萬人北渡黃河增援。過了黃河之後，施融認為太行山險惡，對方又熟悉地形，建議王曠先不要過太行山，一方面偵察敵情，一方面等待對方出山，在平原迎擊敵人最為妥當。王曠罵其膽小，並且說對方都是騎兵，山地有利於己方的步兵，根本不必擔心山地作戰。哪知道王曠的軍隊來到太行山中一個平坦而空曠的山谷中時，遭到劉聰、王彌騎兵的四面掩殺，王曠拚命反擊，總算帶著萬餘人殺出重圍，逃了回去。龐淳見援軍敗逃，只好投降。
劉聰、王彌乘勝渡過黃河，先與鎮守黃河南岸的平北將軍曹武打了一仗，大勝；再和南陽王司馬模從長安派來的援兵淳于定打了一仗，又勝。曹武與淳于定吃了敗仗，先後逃到弘農郡。弘農太守垣延本來也準備出兵，曹武與淳于定告訴他說，劉聰和王彌太厲害了，你這點兵馬根本不夠他塞牙縫的，不如一齊逃吧。垣延很「重視」曹武和淳于定提供的軍事情報，於是說：「既然他們這麼厲害，那我就投降吧。」
曹武和淳于定嚇了一跳：「我們晉朝還有戰鬥力，等各處勤王的軍隊匯合後，定能勝他，你何必害怕成這個樣子？」
垣延嘿嘿一笑道：「我是詐降。」遂與二人定下計策，讓曹武和淳于定帶兵埋伏起來。
劉聰來到弘農郡宜陽城，垣延獻城投降。劉聰有點兒懷疑，不敢入城，在城外紮下營寨。垣延派人備上好肉好酒，運到軍營，大擺盛宴，還找了一些有文藝細胞的軍士為劉聰表演。劉聰的軍隊打了好多天仗，精神也比較緊張，這天晚上得到了很好的放鬆，又唱又跳，又是篝火晚會，又是兩軍大聯歡，鬧到深夜方才休息。
等漢軍都睡得像死豬一樣了，垣延帶著有文藝細胞的軍士便在大營中四處放火。曹武、淳于定早就埋伏在營外了，一見火起，立刻率兵攻進營來。漢軍們在聯歡會上消耗了不少體力，又喝了很多酒，又累又困又醉，兵卸甲馬卸鞍兵器放在床底下，冷不丁被這麼一衝，大多數人都無力還手，甚至沒鬧清是怎麼回事。曹武、淳于定和垣延在營中殺來殺去，漢軍死傷無數。劉聰也被圍在營中，沖不出去。
幸好王彌帶著一支小部隊在遠處安營，聽說大營被踹了，急忙帶千騎來救，總算把劉聰救出。兩個人在前頭跑，垣延等三將帶人在後邊追。劉聰、王彌一直渡了黃河才把晉軍甩開。劉聰收拾收拾敗兵，五萬人還剩兩萬多，恨得牙根痒痒，恨不得咬死垣延。
劉淵得知劉聰吃了敗仗，又派劉曜、劉景率三萬精騎增援劉聰。劉聰、王彌、劉曜、劉景四員大將帶著五萬鐵騎再渡黃河，又一次向弘農攻來。這回二話不說，直接開打吧。劉曜身先士卒，衝上城頭，攻取了城門，大兵一擁而入。垣延剛逃出南城門，被劉曜追上，一刀砍下人頭，獻給劉聰。宜陽一破，洛陽門戶大開。劉聰很快進抵洛陽，分兵四路，將洛陽團團圍住。
司馬越急問眾將怎麼辦？這時那位來洛陽出差的涼州督護北宮純還沒有走，他說道，這有什麼可擔心的？今天晚上我帶著我一千西涼騎兵，先把主帥劉聰的大營踹了再說。
當晚北宮純帶兵偷偷出城，攻入劉聰大營。雖然劉聰晚上也設了警戒哨，絆馬樁，無奈北宮純的西涼兵太猛了，在營里殺來殺去，竟然無人能擋。等其他營寨的軍隊前來增援時，北宮純已經迅速退回城中。劉聰點查損失，死傷兩千兵士，手下大將呼延顥和呼延翼被北宮純劈死。劉聰恨極，猛攻洛陽。但洛陽畢竟是百年古都，城高牆厚，又有重兵把守，攻了半月，絲毫沒有進展。劉聰又分出部分兵馬留守，自己帶了另一部分兵馬離開軍營去嵩山拜山神，想讓山神助他攻城。司馬越聽說劉聰去嵩山了，立刻派兵襲擊留下來的漢軍。劉聰走到半路上得報說自己的大營又被踹了，這回是白天踹的，急忙回來。回來後司馬越又退回城中。劉聰再折了幾千兵馬，手下劉厲和呼延朗兩員大將戰死。
劉聰屢受偷襲，連吃敗仗，攻城又攻不下，走又走不開，連拜山神都不能，只好向劉淵請示後退兵回去。
劉聰這邊勞師無功，石勒和劉靈卻打得很是順手。石勒奉劉淵之命率三萬軍隊在河北活動，很快攻下巨鹿、常山等地，又由於石勒一改匪性，軍紀很嚴，不犯百姓，軍隊的待遇也很好，不欠糧餉，很多百姓也前來投軍，竟然很快發展到十萬大軍。
石勒進入河北後，有一個叫做張賓的人來投奔。石勒問他道：「你是漢人，為什麼要來投奔我羯人呢？」
張賓道：「鳳擇高枝而棲，人擇明主而事。晉朝的氣數已盡，而我看您有漢高祖當年的英氣，我是來助你成就天下大業的！」
石勒這個時候還沒有想當皇帝的心思，不過被人拍馬屁也是一件比較受用的事，所以收下了張賓，但只把他當做一個普通的謀客而已。沒想到後來打仗張賓每每提出建議，不管石勒採納不採納，後來的結果總如張賓所料。石勒這才知道此人是個人物，遂重用張賓，在張賓的幫助下連連攻下中山、博陵、高陽等城，兵馬又增了數萬，很快控制了大半個河北。
石勒接著打算先取幽州，鞏固了北部後方，然後再南取洛陽。大家都覺得這是個穩妥的戰略，張賓則反對說：「幽州王浚很不容易打，軍事力量很強，又有名將祁弘，而且遼西鮮卑也是他的強大盟友。以您現在的力量根本不是他的對手，不如先南下把黃河以北的河北全境全部平定之後，再做北進的打算。」
石勒自打進入河北以來連打勝仗，並且頗得民心。他認為自己再不是當年那個總打敗仗，被人趕得到處流竄，靠著燒殺搶掠為生的土匪頭子了，而是脫胎換骨，百戰百勝，手握十多萬雄兵的大將軍。只要得民心，只要勇猛善戰，那就能打勝仗，幽州王浚、名將祁弘、遼西鮮卑又算什麼呢？
於是石勒傲然答道：「王浚雖然很厲害，但我必取之！」
石勒留張賓、夔安、王陽留守，帶了劉靈、刁膺、孔萇、支雄、桃豹、逯明等將，領大軍十萬，浩浩蕩蕩向幽州殺去。
王浚見石勒來攻，以祁弘為帥，段務勿塵為副帥，又從鮮卑借來幾萬人，一共十二萬大兵在邊界嚴陣以待。這兩家都是掏了家底來戰，兩軍二十多萬人在沙場上一擺，陣勢相當的壯觀。石勒與祁弘殺了整整一天一夜，石勒不敵，連連退守，一直敗退到飛龍山（今石家莊附近），才倚仗著險要地勢，穩住軍隊。
祁弘見石勒據險而守，派段務勿塵率數千兵丁帶了攀山的工具從飛龍山的山後絕壁攀上，又挑逗石勒帶重兵下山來戰。正面戰場上石勒與祁弘殺得正酣，飛龍山上段務勿塵卻已經取了石勒的營寨，然後從山上直撲下來，殺入石勒後軍。石勒腹背受敵，全軍大潰，和他一同平定河北的生死兄弟劉靈也在這場戰役中戰死。石勒總算命大，帶了敗軍一路南逃，祁弘在後緊追不捨。幸好張賓派人前來接應，在山間設下三千弓弩手，讓過石勒敗兵之後，等祁弘追到，亂弩齊發，霎時間便射倒千人，祁弘也被射成重傷。後軍段務勿塵急忙把祁弘搶回，祁弘回到大營，當夜身亡。段務勿塵只好率兵回去。
這場大戰，石勒雖然損兵折將，失了大將劉靈，敗退冀南，但百戰百勝的遼西名將祁宏卻被射殺，可以說各有所獲，各有所失。
石勒率敗軍回到冀州，因連失數員大將，傷亡四五萬人，糧草、輜重也沒剩下多少，便打算休養生息，好好恢複一下元氣。但司馬越聽說石勒吃了敗仗，認為這