再說劉蜀來到建康，宣讀晉愍帝詔命，催促司馬睿起軍北伐，以解關中之圍。司馬睿一開始推說杜弢為患，等杜弢被滅後，司馬睿又敷衍說杜曾還在。
劉蜀聽了大哭道：「杜曾對於我晉朝來說不過癬疥之疾，匈奴卻是心腹之患。現在晉朝就要被漢國滅了，長安危如累卵，收復中原的大任都擔在您的身上。您怎麼可以這樣推脫呢？」
司馬睿沒辦法，便問誰願意領軍北伐。這時候從東晉逃來的舊將亡故的亡故，年邁的年邁，剩下的新興將領都不願意北伐，只有一個人站起來朗聲道：「我不忍看到留在中原的晉朝遺民被胡羯殘害，我願意帶兵北復中原。」
這個人是軍咨祭酒范陽祖逖。成語「聞雞起舞」說的就是此人。祖逖曾經和劉琨一同為司州的主簿，二人感情深厚，不僅常常同床而卧，同被而眠，而且還有著共同的遠大理想：建功立業，復興晉國，成為國家的棟樑之才。
一次，半夜裡祖逖在睡夢中聽到公雞的鳴叫聲，他一腳把劉琨踢醒，對他說：「別人都認為半夜聽見雞叫不吉利，我偏不這樣想，咱們乾脆以後聽見雞叫就起床練劍如何？」劉琨欣然同意。於是他們每天雞叫後就起床練劍，劍光飛舞，聲響鏗鏘。春去冬來，寒來暑往，從不間斷。功夫不負有心人，後來兩個人都成為能文能武的全才。劉琨成為晉朝留在北方的唯一一支重要軍事力量，大大地牽制了漢國；而祖逖則一度收復了黃河以南的大片失地。
司馬睿本來沒有北伐之意，召集眾將無非是做做樣子。但見祖逖慷慨陳詞，涕淚直下，說得十分悲壯，劉蜀也在一旁連連點頭。他只好任命祖逖為奮威將軍、豫州刺史，令其北伐。但並不給一兵一卒，只撥給祖逖一千人三日的口糧，還有三千匹布。讓祖逖自己去造兵械，鑄盔甲，招募士兵。祖逖也不和司馬睿討價還價，回到揚州故地，帶了一百多名舊將和他們的家屬渡過長江。
大船行到江心，祖逖回過頭去再望江南，心情不由激昂起來，手拍船楫發誓道：「我祖逖此行如果不能光復中原，則如大江，一去不返！」眾人聽了無不感到振奮，個個鬥志昂揚。當日來到淮陰，便建起冶鐵爐，開始打造兵器，就地招募戰士。江北的晉民聽說晉朝派人來北伐了，爭先前來當兵，僅僅十日，便募得兩千多人。祖逖北伐的時候，西晉的首都長安卻遭到滅頂之災。
司馬鄴的地盤並不大，劉聰幾次來攻長安，弄得長安的農民種不成糧食，經濟大受影響。結果長安朝廷的財政出現了嚴重的赤字，人民的生活水平也不斷降低。為了解決財政問題，司馬鄴只好派人盜漢墓。
劉聰聽說司馬鄴靠盜墓度日，大喜道：「晉朝就快要完了，他們現在要靠挖人家祖墳才能勉強度日，足見其國力已經十分虛弱，必可滅之！」當即挑出最精壯的士兵十萬，準備再攻長安，仍然以劉曜為帥。又命石勒牽制晉陽劉琨、代北猗盧，使其不能南援。
劉曜這位常敗將軍又當了元帥，不由百感交集，他對劉聰道：「我這些年來盡給您打敗仗了，雖然您從來沒有怪罪我，我卻沒臉活在這世上。我之所以苟且至今，是因為我一直在訓練士卒，操演軍隊，準備一雪前恥，平復關中。這次再去關中，如果戰敗，必當戰死沙場，不再回來。」這一年為建興四年（316）。
劉曜帶兵渡過黃河，先攻下馮翊（大約在今陝西韓城），再進兵北地（今寧夏吳忠西南）。北地是個易守難攻的堅城，太守麹昌拚命守住城池，並向長安求救。長安方面急忙以麹允為大都督，率軍三萬去救。
劉曜一方面派人在城外點起大堆的柴草，令其冒起衝天的黑煙，另一方面派了一些會說陝西話的士兵裝成老百姓，又抓來城外的老弱婦孺混在其間，冒充逃難百姓向南逃去。路上遇了麹允的軍隊都說北地城被攻下了，麹昌戰死了。麹允不明真相，又見遠處黑煙滾滾，因為只帶三萬士兵，不敢與劉曜的十萬軍隊野戰，只好回守磻石谷。
劉曜騙走麹允的援軍，便從容地進攻北地城。麹昌孤軍無援，苦守十餘日後，終於城破戰死，全軍覆滅。劉曜接著進軍磻石谷（今陝西銅川市北），與麹允決戰。麹允不敵，被殺得大敗，丟了磻石谷，逃到長安。劉曜直抵涇陽（今西安市北偏西一百零八里，咸陽市北偏東五十六里），到這個時候整個渭河北岸已經全部被漢軍所佔。劉曜率大軍進逼長安。
這時江東的司馬睿肯定是不會來救援了；就連上邽（今甘肅天水）的南陽王司馬保也手握重兵卻按兵不動，而且還斷了向長安供應的糧草，此人後來靜等著司馬鄴死後稱帝，但天不遂人願，卻讓司馬睿搶了先；涼州刺史張軋已經於上一年，即建興二年病逝。其子張蹇子承父位，到這個時候，涼州張氏雖名為晉臣，實為割據政權，史稱前涼。張蹇倒是發了五千精騎兵去救，並且供應糧食。不過從涼州（今甘肅武威）到長安有一千多公里，即使不帶輜重糧草，全部用輕騎兵也要走十多天，遠水難解近渴。
劉琨兵微將寡，自顧不暇，又有石勒在一旁虎視眈眈，不能來救。按說勢力強大的猗盧被晉朝封為代王，應該來救宗主國。不過這時候代國正鬧內亂。拓跋猗盧廢長立幼，並把長子拓跋六修的生母廢掉，這引起了拓跋六修的憤恨。這一年三月，六修從自己的封地新平城（今山西山陰北）來平城（今山西大同東北）拜見父王猗盧。猗盧讓六修向皇太子比延下拜。面對這個奪去自己太子位的小弟弟，六修的心中只有委屈和憤怒，他毫不猶豫地拒絕了。猗盧並不勉強他，而是在不久之後讓小兒子比延坐自己步輦出來。六修還以為是父王在步輦內，因而下拜，哪知道從裡邊走出來的卻是自己的小弟弟。六修大怒，不和父王打招呼就離開京城回到自己的封地。猗盧知道六修必為後患，便率軍征討。但拓跋六修隨父征戰多年，在軍中頗有威信，自領兵與父親決戰，將父親的軍隊打敗，並俘虜父親。拓跋六修然後做了一件愚蠢的事情，他把父親給殺了。這引起軍心不穩，不久，拓跋六修的叔伯兄弟拓跋普根帶兵打敗拓跋六修並將他殺死，拓跋普根遂成為代國的國王。經此一役，代國的幾股勢力開始分裂，一大批人出奔代國。其中，左將軍衛雄、信義將軍箕澹等趁勢率晉人及烏桓三萬家、馬牛羊十萬頭歸於晉將劉琨。一直沒有緩過勁來的劉琨，這一次兵勢復振。
眼下來救長安的除了西涼五千精騎兵外，還有安定太守焦嵩、新平太守竺恢各帶了兩萬兵馬來救；弘農郡（今河南靈寶東北）郡長宋哲也帶一萬兵馬來援；散騎常侍華輯則召京兆、馮翊、弘農、上洛四郡之三萬大軍駐紮在長安附近。但除了西涼五千精兵進入長安外，其他各路人馬都守在長安之外，不敢迎擊劉聰的大軍，基本上充當了看客的角色。
劉曜猛攻長安，不久攻陷外城。索、麹允等人退守內城。
這時劉琨剛得了代國投來的人馬，正準備南攻平陽，以解長安之圍，但石勒親率大軍來攻劉琨。劉琨率傾城之軍去與石勒交戰。他也只有率傾城之軍了，因為劉琨儘管接收了代國部分人馬，其實舉城之兵也不過三萬。
衛雄建議劉琨不要主動進擊，守住太行天險即可。但劉琨急著擊敗石勒，然後轉攻平陽，緩解長安被圍的壓力，決定與石勒決戰。結果反而是石勒以逸待勞，據險而守。劉琨前鋒箕澹輕敵被打敗，石勒立刻進軍劉琨腹地，佔了陽曲。劉琨被困在晉中腹地，進不能攻，退不能守，正在危急時刻，幽州薊城傳來消息，幽州刺史劉翰反了石勒，投降了段氏鮮卑。又有樂陵太守邵續反了。
原來遼西段氏鮮卑首領段疾陸眷的弟弟段匹先後到幽州和樂陵，以依附晉室為條件策反了這兩位晉室舊臣。石勒急忙派兵去攻樂陵。段匹派弟弟段文鴦帶兵增援，打退了石勒軍。段匹和邵續遣使去江東，表示願受司馬睿的節度，稱臣於司馬睿。司馬睿憑白得了東北之地，當然很高興，便任命段匹為幽州刺史、左賢王、渤海公，邵續為冀州刺史。段匹知道劉琨正在困難時期，遂派人請劉琨來幽州共事。劉琨帶著人馬向幽州方向逃去。石勒念及劉琨與他有送母之恩，並沒有追擊。段匹十分敬重劉琨，劉琨到薊城之後，段匹親自出城迎接，並與劉琨結為兄弟。
代國鬧內亂，劉琨這邊人馬被石勒所滅，司馬睿和司馬保一東一西也不出兵，長安朝廷基本上只能靠自己了。要說來援長安的這幾路兵馬也還算是精兵強將，為什麼他們坐視不救呢？先說安定太守焦嵩。當時司馬鄴十二歲成皇太子，十四歲登基，此時也只有十七歲。朝廷一直被索、麹允把持著。麹允性情寬厚仁慈，沒有威嚴，不夠果斷，喜愛用官爵討好別人。而且他只知籠絡高階層人士，對下面的部屬卻不理會。這就使將領驕傲任性，士卒怨恨離心。焦嵩一向瞧不起麹允，他陳兵在長安之外，放出話說：「等麹允走投無路的時候，我再去救他。」還有新平太守竺恢、始平太守楊像、扶風太守竺爽都認為麹允是無能之輩，要看麹允和索的笑話。
宋哲這個人很神秘，此人不僅是刺史，爵位也很高，被封為公爵，他後來毫髮