提封天下，十喪其八，
莫不龍旌帝服，建社開祊（音崩）。
華夷咸暨，人物斯在……
其為戰國者一百三十六載，
抑（劉）元海為之禍首雲。
——《晉書·載記序》
「五胡十六國」是指西晉末年出現的由各種非漢民族領袖所創立的割據政權，主要集中於北部中國，與由南遷而建立的東晉政權南北對應。「五胡」通常指匈奴、鮮卑、羯、氐、羌。其實，當時並不僅限於五種非漢民族，也並非只有十六個割據政權。但是，匈奴人所創立的漢趙國（包括劉氏漢國與前趙國）是「十六國」時代的開創者，則是無可置疑的。官修史書《晉書》為此特創一種體例——「載記」，來記述十六國開創者的事迹，漢趙國的開創者劉淵自然名列前茅。同時，漢趙國的創立及其歷史地位，也是與南遷的匈奴族在中國民族史的地位與作用相一致的。
一般說來，以長城一線為界，歷史上南北主要民族關係的發展大致可分兩大階段：一是對峙時期，一是入居時期。比較而言，對峙是南北民族關係中最常見的態勢。然而，當北方游牧民族入居漢地之後，即成為真正的移民之後，南北民族的關係就進入了一個複雜而特殊的階段。籠統地說，南北民族融合的大趨勢是「漢化」，即非漢民族逐步接受農耕經濟及中原文化。南遷的匈奴族也在接受漢化方面作出了很好的表率。
中原漢族傳統士大夫出於狹隘的民族偏見，往往對少數民族的風俗習慣極盡醜化之能事，然而，就在地位崇高的「正史」（如《晉書》）之中，後世的史官卻對劉淵等人的漢化程度作了十分肯定的評述。這也引起了眾多研究者的關注。
劉淵，字元海，因觸犯唐高祖李淵名諱，故史書習稱其字。他是十六國時期最早出現的劉氏漢國的創立者。據載，他是新興（今山西忻州市）匈奴人，是匈奴單于冒頓之後代。因漢高祖將皇族女子嫁與冒頓為妻，故而，冒頓後裔都以劉為姓氏。劉淵之父為左賢王劉豹。劉淵雖出身於匈奴酋長之家，但自幼就以好學聞名，拜上黨籍儒士崔游為師，攻讀《詩經》、《易經》、《尚書》等儒家經典，尤其喜愛《左傳》、《孫子兵法》等書，博覽《史記》、《漢書》及諸子百家之書，學識大進，并州地區的漢族名士，如屯留崔懿之、襄陵公師彧、太原王渾等人都與他有深厚的友誼。與此同時，匈奴上層貴族也積極與漢族士大夫交遊，與漢族朝廷及士大夫的關係日益融洽，深受漢族文化熏染。這一點在劉淵等人身上表現得特別明顯。
西晉末年，劉淵曾任匈奴五部大都督，聲望更著，「幽冀名儒，後生秀士，不遠千里，亦皆游焉。」可以說，除卻其民族屬性，我們很難發現劉淵與一般漢族士人的差別。除劉淵外，劉氏漢國的後繼者及主要匈奴族官員也都具有較深的漢文化素養，如頭號功臣劉宣（字士則），也是匈奴貴族後裔，以儒生孫炎為師，好學精思，廢寢忘食，深受漢族友人的推重。晉末綱紀大亂，劉宣多方策劃，極力勸說劉淵自立稱王。劉淵之子劉聰的漢文化造詣較之其父有過之而無不及。他自幼聰悟好學，博通經史，廣涉百家之言，《孫子兵法》等書能背誦如流。精於書法，文筆暢達，創作述懷詩百餘篇，賦、頌等50餘篇，稱得上是一位頗有成就的才子。弱冠後，劉聰遊歷京師洛陽，漢族名士爭相與之訂交。其出類拔萃的人格魅力顯然出於他對漢族傳統文化的極高造詣。
劉淵等人經過深思熟慮，決定以打出恢複劉氏漢朝政權的旗號，他說：
……夫帝王豈有常哉？!大禹出於西戎，文王生於東夷，顧惟德所授耳！……吾又漢氏之甥，約為兄弟，兄亡弟紹，不亦可乎？
劉淵自認為在姻親關係上是劉氏皇族的外甥，匈奴單于曾與劉氏子弟約為兄弟，兄位弟承，有何不可！?儼然以漢室繼承人自居，以恢複劉氏王朝為己任，完全可與晉朝司馬氏相頡頏，這也就是他將「漢」立為國號的原因。劉宣等人策劃的這一場宣傳攻勢收到了良好的效果，劉淵漢國創立之初，聞訊而來的「華、夷」人士達數萬人。劉淵任命著名儒士雁門人范隆為大鴻臚，上黨人朱紀為太常。從這個意義上講，將劉氏漢趙國完全歸為匈奴族的民族政權，也不是非常恰當的。
經過細密的準備，劉淵首先在左國城（今山西離石市東北）被匈奴部眾推立為大單于，受到各部匈奴的積極響應。「二旬之間，眾已五萬，都於離石（今山西離石市）。」永興元年（公元304年），劉淵又於左國城即漢王位，定年號為元熙，並置百官，劉氏漢國正式創立。劉淵軍隊在較短時間內，先後攻陷太原、泫氏、屯留、長子、中都及河東、平陽等地，所向披靡。永嘉二年（308年），劉淵即皇帝位，並遷都平陽（今山西臨汾市）。關於劉淵漢國的早期疆域，《晉書·地理志》載：「及永興元年，劉元海僭號於平陽，稱漢，於是并州之地皆為元海所有。」晉建興六年（316年），漢國大將劉曜率領漢國軍隊最終攻克長安，俘虜晉愍帝，西晉王朝最終滅亡。
劉氏前趙國的創立者為劉曜。劉曜為劉淵的族子，由劉淵撫養成人，很早便以出色的文武才幹獲得了劉淵的寵信。「讀書志於廣覽，不精思章句，善屬文，工草隸。雄武過人，鐵厚一寸，射而洞之，於時號為神射。尤好兵書，略皆闇誦。」他胸懷大志，常自比於樂毅、蕭何、曹操。劉氏漢國建立後，劉曜得到重用，屢立大功，頻任高職，率領重兵鎮守長安。
劉氏漢國最終敗亡於內亂之中，當時鎮守長安的劉曜擁兵自立，並決定徙都長安，並於太興元年（318年）即皇帝位，改國號為趙，史稱前趙。關中本是氐、羌及西部各民族的聚居之地，因此，前趙國受到了極大的挑戰。與漢國相比，前趙國的民族成份相當複雜。「（劉）曜署劉胤為大司馬，進封南陽王，以漢陽諸郡為國；置單于台於渭城，拜大單于，置左右賢王已下，皆以胡、羯、鮮卑、氐、羌豪桀為之。」前趙國最後被石勒的後趙國所吞併。
南遷匈奴族的影響並沒有因為漢趙國的滅亡而煙消雲散。南北朝時期，北部中國「稽胡」族的強盛又是其影響的典型例證。匈奴人大規模南遷始於東漢初年，南匈奴首先入居的諸郡（即北地、朔方、五原、雲中、定襄、雁門、代郡等）就包括今天的雁門關以北地區。至魏晉時期，南匈奴的居留區進一步向南伸展，覆蓋了山西大部分地區，並形成幾大聚居中心，如茲氏縣（今呂梁汾陽）、祁縣（今晉中祁縣）、蒲子縣（今臨汾隰縣）與新興縣（今忻州市）等。其中今天山西呂梁地區與陝西陝北地區已成為南匈奴部眾聚居的最重要的區域，十六國初期，劉淵首先在離石（今呂梁離石）發難，顯然與這一移民運動的大背景直接相關。而在劉淵南遷平陽之後，這一區域似乎為世人所遺忘，直到「稽胡」出現之後。
數量龐大的「稽胡」（又稱「山胡」），長期居住在包括今山西西部、陝西北部、甘肅東部的遼闊地區，實際上形成了具有十分獨特風貌的「稽胡文化區」。關於稽胡文化區的主要特徵，《周書·稽胡傳》進行了十分精闢的概括：
稽胡一曰步落稽，蓋匈奴別種，劉元海五部之苗裔也。或雲山戎赤狄之後。自離石以西，安定以東，方七八百里，居山谷間，種落繁熾。其俗土著，亦知種田。地少桑蠶，多麻布。其丈夫衣服及死亡殯葬，與中夏略同。婦人則多貫蜃貝以為耳及頸飾。又與華民錯居，其渠帥頗識文字。然語類夷狄，因譯乃通。蹲踞無禮，貪而忍害。俗好淫穢，處女尤甚。將嫁之夕，方與淫者敘離，夫氏聞之，以多為貴。既嫁之後，頗亦防閑，有犯奸者，隨事懲罰。又兄弟死，皆納其妻。雖分統郡縣，列於編戶，然輕其徭賦，有異齊民。山谷阻深者，又未盡役屬。而兇悍恃險，數為寇亂。
與其他文獻資料相參證，我們可以對山西境內的「山胡」情況有一個較全面的認識：
首先，山胡區範圍相當廣，「自離石以西，安定以東，方七八百里。」安定即今甘肅涇川，離石即今呂梁離石。顯然這種估計過於保守。如東魏孝靜帝在鼓吹高洋等人的功績時曾說：「胡人別種，延蔓山谷，酋渠萬族，廣袤千里，憑險不恭」云云。另外，各種史籍往往以居留中心地為各地山胡命名，而這正為我們確定其活動區域提供了方便。這類名號有「離石胡」、「西河胡」、「吐京（今山西石樓）胡」、「河西胡」、「并州胡」、「汾州吐京胡」等。又據《周書·韋孝寬傳》載：「汾州之北，離石以南，悉是生胡，抄掠居人，阻斷河路。」《周書》所載是以北周轄境為限。以黃河一線為界，稽胡區可分為東、西兩個部分，而東部應為當時中國北方山胡或稽胡居留最集中的區域。這一區域又以離石、吐京為核心，完全覆蓋了今天的山西呂梁地區。居住於黃河以西的稽胡，又被稱為「河西山胡」。西部稽胡區則涉及今天陝西北部及甘肅東部地區。又據《周書·稽胡傳》記載，當時稽胡聚居的河西州縣有：夏州（治今陝西靖邊縣北）、延州（治今陝西延安