經過年余經營，晉陽城「流人稍復，雞犬之音復相接矣」。在虎狼爭鬥之地，附近的漢族人民終於找到了一塊相當安全的飛地，生活、生產、戰鬥三不誤，初具立城規模。劉琨的父母此時也從洛陽趕來與兒子相聚，遠近士子流民也爭相奔赴，依附劉琨。但是，「（劉）琨善於懷撫，而短於控御。一日之中，雖歸者數千，去者亦相繼」。公子哥性情，終歸不能全然改戒。「（劉琨）素豪奢，嗜聲色。雖暫自矯勵，而輒復縱逸」。美女伎樂，揮金如土，此種性格，估計劉琨承襲自那好色、好財、好揮霍的遠祖中山靖王劉勝。
如在歌舞昇平之日，劉琨這種豪奢也沒什麼太可指摘。但是，當時晉陽三面受敵，北有鮮卑，南有匈奴，東有王浚，皆虎視眈眈，視劉琨為眼中釘、肉中刺，皆欲拔之而後快。
公元308年10月，劉淵在蒲子稱帝。其間，漢將石勒連陷巨鹿（河北寧晉）、常山（河北正定）、冀州（河北冀縣），一百多當地塢堡武裝向石勒投降。不久，劉淵的兒子劉聰、漢將王彌與石勒又合軍進攻壺關，劉琨遣去的晉將接連被殺，西晉上黨太守投降。
屋漏偏遭連夜雨。不僅處處戰敗消息傳來，原先附晉的匈奴右賢王劉虎和白部鮮卑也牆頭草順風倒，紛紛向劉淵稱臣，對劉琨的晉陽根據地形成了嚴重的威脅。審時度勢後，劉琨只能遣派使人，帶大份厚禮懇請鮮卑拓跋部酋長猗廬出兵，與自己一道，與劉淵爭衡。
拓跋猗廬倒是很講義氣，派其侄拓跋鬱律率領兩萬鮮卑騎兵助戰。劉淵匈奴兵很能戰，但心理上一直害怕鮮卑人的勇猛和亡命。不僅匈奴劉虎的軍隊大敗，白部鮮卑也損失了不少人馬，皆敗於劉琨、鮮卑聯軍手下。
得勝之後，劉琨與拓跋猗廬置酒高會，兩人結拜為兄弟。由於患難相助，感激之餘，劉琨上表朝廷，奏請拓跋猗廬為大單于，以代郡封之為代公。當時代郡屬於割據一方、懷有不臣之心的晉朝寧朔將軍王浚所統的幽州屬內。王浚當然不答應，並派兵偷襲拓跋猗廬，反被猗廬軍隊擊敗。由此，劉琨與王浚的矛盾也開始表面化。
正在崛起中的拓跋猗廬很想趁機進入漢地發展勢力，便率部落萬餘家從雲中入雁山，向劉琨索求陘北之地。「（劉）琨不能制，且欲倚之為援，乃徙樓煩、馬邑、陰館、繁畤、崞五縣（現山西代縣以北的地區）民於陘南，以其地與猗廬」。
公元311年年底，劉琨與王浚又因州民問題發生了直接衝突。
王浚，字彭祖，是西晉博陵郡公王沈的兒子。這王沈本來也不是什麼好貨色，當初曹魏少帝曹髦帶兵攻打司馬昭，臨行前召王沈、王業兩人，以實情相告。這兩個不忠小人扭頭就跑，馳告司馬昭，使這位曹魏權臣爭得了寶貴的時間，最終導致了少帝曹髦的被弒。
王浚襲其父爵，在晉惠帝時出鎮許昌。愍懷太子司馬遹被賈南風幽禁，王浚承旨，與太監孫慮謀殺了這位太子爺，並獲遷為寧北將軍，不久又徙封寧朔將軍、都督幽州諸軍事。
眼見當時朝廷昏亂，盜賊蜂起，王浚知天下大亂，深為自安之計，結好周邊的少數民族首領。他把一個女兒嫁給鮮卑酋長務勿塵，另一女嫁與胡人酋長蘇怒延。趙王倫篡位，司馬三王起兵，王浚首鼠兩端，持兵觀望。成都王司馬穎當時就想討平他，但內戰繁急，無暇他顧。氣憤之餘，司馬穎以右司馬和演為幽州刺史，暗中囑咐他去殺掉王浚並統領其兵馬。
和演手持成都王司馬穎密詔，先秘見烏丸單于審登，得到對方口頭支持，一同謀執王浚。新官上任，和演和王浚約定在薊城（今北京）城南清泉水上共聚宴飲。當時，薊城內有兩條馳道，和演和王浚各走一道。和演想趁兩人賓隨儀仗交合、馬上作揖行禮時，趁機殺掉王浚。不巧，天降暴雨，兵器皆濕，不便弓刀，謀殺王浚未果。
烏丸族的審登單于很迷信，他和族人嘀咕：「和演想殺王浚，幾乎要得手的時候忽然天下暴雨，定是上天佑助王浚。違天不祥，我們還是別站在和演一邊。」於是，審登單于向王浚告密，告之和演要殺掉他。王浚驚恐之下，忙召集兵士，與審登一起攻殺了和演。
控制了當地局勢後，王浚召來鮮卑女婿務勿塵，率鮮卑聯軍兩萬人，大舉進攻司馬穎，攻擊鄴城，殺死漢族士庶數萬。鮮卑騎士在城裡搶掠了不少漢族美女。回軍途中，王浚怕有誤戰事，下命「有挾藏者處斬」。當時，鮮卑騎兵還很怕晉朝將軍的將命，紛紛把搶來的美女推入易水，淹死八千多人。「黔庶荼毒，自此始也」。
晉懷帝繼位後，封王浚為驃騎大將軍、司空，領烏丸校尉，並封他女婿務勿塵為大單于、遼西郡公。王浚在河北挾勢自重，帶著一大幫鮮卑僱傭軍，與劉曜大將石勒持戰，互有勝負。
劉琨派族人劉希到中山各地活動，「代郡、上谷、廣寧三郡人皆歸於（劉）琨」。王浚見劉琨和自己爭地盤，也顧不得去打石勒，揮轉馬頭，率大軍與劉琨屬軍交戰。王浚的鮮卑聯軍戰鬥力很強，攻殺劉希，「驅略三郡士女出塞，（劉）琨不復能爭」。
由於晉將劉琨、王浚兩人窩裡斗，匈奴劉氏屢屢得手。懷帝永嘉五年，繼石勒全殲司馬越十餘萬眾之後，漢帝劉聰的軍隊攻陷洛陽，生俘晉懷帝，殺傷數萬漢族兵民，滿載而歸。
窘迫之餘，又是鮮卑老哥們兒拓跋猗廬派兒子拓跋六修來助劉琨，並為晉朝守衛新興（山西忻縣）。
與拓跋六修一起守新興的劉琨守將邢延找到數塊上好玉石，進獻給劉琨。為感激拓跋鮮卑人來投附幫忙，劉琨就把這些玉石轉送給拓跋六修。這位鮮卑王子貪財，得了好處不說，又向新興城內的晉將邢延索要更多的玉石。邢延表示所得玉石均已上獻劉琨。拓跋六修不信，把邢延的妻兒抓起來囚禁，逼索玉石，邢延大怒，率所部兵攻襲六修，打跑了鮮卑兵，並以新興城向匈奴劉氏投降，「請兵攻并州」。
局勢如此危急、複雜，自以為有大將氣度的劉琨仍安然自若。晉懷帝永嘉六年（312），他一面移檄所轄州郡，表示十一月會軍平陽（山西臨汾）進攻漢國，一面在治所內大張樂宴，聲色是娛。
河南人徐潤是個音樂家，劉琨引以為同行、知音，非常寵幸他，竟提拔這個填詞作曲的哥們兒任晉陽令。
徐潤驕恣，貪財愛貨，干預政事。劉琨的護軍將軍令狐盛是個正直的軍人，多次勸劉琨殺掉徐潤，劉琨不聽。
徐潤知道此事，暗恨令狐盛。一次，趁劉琨飲酒賞樂興緻正濃之際，忽然「告發」說令狐盛要率眾擁劉琨稱帝。一向以精忠晉室為己任的劉琨大怒，不細審情由，立刻派人斬殺令狐盛。其實，仔細推究，劉琨很有可能一直有忌恨、提防令狐盛的心理，藉此機會正好發泄。
劉琨的母親是個賢明知理的老太太，知曉此事後，嚴責劉琨：「你不能弘圖遠略，駕御豪傑，只想除掉比自己強的人，以此自安，又怎能完成大業呢？如此下去，禍必及我！」知子莫若其母，劉琨的禍事，的確已經不遠。
聞知父親被枉殺，令狐盛的兒子令狐泥忙逃至匈奴漢國劉聰處，具言劉琨虛實。漢國大將劉粲、劉曜以令狐泥為嚮導，率精騎進攻并州。劉琨聞訊東出，四處收兵，以圖抵戰漢兵。劉粲與令狐泥乘虛突襲晉陽得手，殺死劉琨的父母及留於晉陽的家人。晉朝各路軍大敗。
聽聞晉陽失陷，父母被殺，血泣之餘，劉琨只得率十餘騎人馬奔逃至常山。
敗亡危急關頭，又是鮮卑拓跋猗廬出手相助。
公元313年11月，拓跋猗廬以兒子拓跋六修等為將領率眾數萬進攻晉陽，他本人率二十萬大軍殿後。反觀劉琨，此時只有近日招集的漢族散卒數千，夾在鮮卑軍中以充嚮導。
匈奴劉氏的中山王劉矅連忙把軍隊調出，在汾水東岸與拓跋六修軍對陣，雙方開打。匈奴遇鮮卑，如狼對虎，始終心懷畏懼，交戰不久，漢軍大敗，劉曜本人身中七創，差點死於陣中。他逃入晉陽城後，連夜與劉粲等人「掠晉陽之民，逾蒙山而歸」。
拓跋猗廬率大軍追擊，在藍谷（蒙山西南）又大敗漢軍，「伏屍數百里」。其實，這橫倒百里的人屍，估計大半是被漢軍裹挾的晉陽百姓，真正的匈奴兵將有馬有武器，逃跑途中估計也不忘刀砍斧剁，大肆殺戮平民。最可憐的是這些無辜晉民，即使僥倖在匈奴刀口下生存，馬上就被追上來的鮮卑人砍掉腦袋。
劉琨自營門步入拜謝，固請進軍。拓跋猗廬婉言回絕，說：「吾不早來，致卿父母見害，誠以相愧。今卿已復州境，吾遠來，士馬疲弊，待後舉。」他饋送劉琨兵車百乘，馬、牛、羊各千餘以為軍資，並留下兩個本來就是晉人的將軍協助劉琨守衛晉陽。
現在，劉琨經營了幾年的晉陽又變成廢墟，再也無法重建。無奈，劉琨移軍至陽曲（今太原以北），雖然仍兢兢業業，招集亡散，但世易時移，形勢對他越來越不利。
晉愍帝建興二年（314），石勒忽然來書要與劉琨請和，並表示願意率兵征討王浚以效力晉廷。劉