建安二十一年（216年），南匈奴呼廚泉單于朝見魏王曹操，被強留鄴城。這個曾經馳騁草原的民族，從此被分割為左、右、南、北、中五部，遷居并州貧瘠山地。《晉書·匈奴傳》記載：“其左部居太原茲氏，右部居祁，南部居蒲子，北部居新興，中部居大陵。“

於夫羅之子、呼廚泉單于之侄劉豹被任命為左部帥，統領萬余戶。這是五部中實力最強的一支，卻也逃不過被監視的命運。漢族都尉常駐各部，掌握實際兵權，連部落首領任免都要經過他們首肯。老牧民們常在篝火邊低聲說：“漢人的官印壓彎了單于的腰。“

西晉建立后，繼續沿用曹魏對匈奴的分化政策，通過“網格化管理”分散安置匈奴部落，并配備漢族監察員監督。西晉將匈奴五部（左、右、南、北、中）集中安置在并州（今山西中部），形成“并州匈奴”集團。這些區域多為貧瘠的山地與河谷。匈奴部眾被強制從事農耕，同時承擔兵役，形成“且耕且戰”的雙重奴役模式。需向朝廷繳納“義米”（額外賦稅），并為西晉軍隊提供戰馬與兵員。

西晉延續曹魏的“質子制”，要求匈奴貴族子弟長期居住洛陽，并在五部設漢族都尉直接監控。劉豹雖為左部帥，也需將兒子劉淵送往洛陽作為質子，以換取西晉朝廷的信任。

正始十年（249年），十二歲的劉豹之子劉淵被送往洛陽為質。這一去就是十余年，期間他拜上黨儒生崔游為師，刻苦研讀《春秋左氏傳》《孫子兵法》，能熟練背誦《尚書》中的名篇，騎射在同輩中無人能及。他“身材魁梧，身高八尺四寸，胡須長三尺多”，屯留人崔懿之見到他的相貌后，私下對弟子說：“這個孩子目光炯炯有神，鼻梁高挺如膽，匈奴百年都沒出過這樣的人物，定是雄主。”

在洛陽的十年間，劉淵與西晉權貴王渾、王濟等人相交甚密。咸寧三年（277年），王渾向晉武帝推薦說：“劉元海（劉淵字元海）文武雙全，才能超過了漢初的匈奴降臣金日磾和由余。”武帝雖然贊賞他的才能，但仍以“非我族類”為由，只授予他北部都尉的虛職，沒有實權。

劉淵心里清楚，漢人表面上以禮相待，實則像防賊一樣防著他——質子府外，羽林衛每天輪流值守；往來的書信，都必須經過尚書臺檢查。但他沒有浪費時間，不僅精通漢家典章制度，還暗中觀察西晉朝政的弊端，與石勒等胡族將領結下了深厚的情誼。

泰始五年（269年），劉豹去世，劉淵代理左部帥。

泰始六年（270年），鮮卑禿發樹機能反叛西晉，秦涼地區震動。尚書仆射李憙兩次上奏：“派遣匈奴五部的軍隊，授予劉元海將軍的稱號，向西進軍，很快就能平定叛亂。”但侍中孔恂極力反對：“如果授予劉淵兵權，平定樹機能之后，他必定會成為心腹大患。”武帝采納了孔恂的建議，只命令劉淵在并州征發兩千匹戰馬、一萬斛糧草支援前線。劉淵雖然沒有親自出征，但因后勤調度得力，逐漸獲得朝廷的認可。

到咸寧五年（279年）叛亂平定，他正式接任左部帥，開始掌控五部的實權。劉淵憑借父親的余威與自身威望，順利接管左部兵權。

劉淵暗中積蓄力量。他采取“明刑法，禁奸邪，輕財好施，推誠接物“的策略，吸引幽冀儒生來投，同時秘密聯絡匈奴貴族劉宣等人。劉宣常懷復興匈奴之志，曾對族人說：“昔我先人與漢約為兄弟，憂泰同之。自漢亡以來，魏晉代興，我單于雖有虛號，無復尺土之業。“

此時的匈奴五部，正深陷西晉的“網格化管理“之中。朝廷將他們集中安置在并州貧瘠之地，既作防御鮮卑的屏障，又充軍事屯田的勞力。《徙戎論》描述其狀：“且耕且戰，更相兼役”。

匈奴人承受著賦稅和勞役雙重壓榨：匈奴部眾需繳納“戶調”（絹帛）與“田租”（糧食），稅率比漢族編戶高 30%以上。此外，他們還需承擔修筑長城、戍守邊疆等無償勞役。西晉法律將匈奴視為“雜胡”，規定“胡漢相犯，胡罪加一等”。匈奴人若盜竊漢人財物，刑罰比漢人重兩倍；反之，漢人傷害匈奴人則量刑較輕。

泰始六年（270年），匈奴右賢王劉猛因不堪重負起兵反晉，其檄文稱“晉人視我等如牛馬，賦役不息，生不如死”。叛亂雖被鎮壓，但仇恨的種子已深埋。

晉武帝司馬炎去世后，外戚楊駿輔政，為鞏固權力，他試圖拉攏匈奴勢力制衡宗室。劉淵因漢化程度高、在匈奴五部中威望日隆，成為楊駿的首選。

太熙元年（290年），楊駿任命劉淵為建威將軍、五部大都督，封漢光鄉侯。五部大都督統轄匈奴五部，使其名義上成為匈奴五部的最高統帥。雖然實際權力受西晉朝廷制約但這一職位為劉淵整合五部提供了合法名義，他借此機會整合分散的五部力量：左部駐扎茲氏，右部駐扎祁縣，南部駐扎蒲子，北部駐扎新興，中部駐扎大陵，每年在離石舉行會盟，初步顯現出統一的態勢。

284年，匈奴郝散率部反晉，攻破上黨郡；294年，郝散之弟郝度元聯合氐、羌起兵，引發關中大亂。西晉朝廷商議調匈奴兵平叛，劉淵向并州刺史司馬騰請戰，稱“愿為陛下效死，斬送度元首級”。雖因西晉大臣猜忌未獲批準，但此舉既向晉廷展示了“忠誠”，又在匈奴部落中樹立了“能為族人爭取利益”的形象，鞏固了自己在匈奴五部中的領袖地位。

西晉為平叛調動了關中、并州的大量兵力導致北方邊防空虛，西晉在并州的控制力大幅下降。

永康元年（300年），八王之亂愈演愈烈，并州刺史司馬騰橫征暴斂，匈奴部眾的“戶調”比漢民高出五成，還強征壯年男子修筑長城，路上到處是累死的百姓。匈奴貴族劉宣秘密聯絡五部的首領：“從前我們的先單于與漢朝約為兄弟，如今晉人把我們當作奴隸，此仇不報，還算什么匈奴！”

永安元年（304年），劉宣等貴族推舉劉淵為大單于。同年十月，劉淵在離石起兵，二十日內聚眾五萬。他登上高處大聲疾呼：“我們匈奴本就與漢室約為兄弟，兄長滅亡，弟弟繼承，理當延續漢統！”于是建立“漢國”，追尊蜀漢后主劉禪為孝懷皇帝，設立漢高祖以下三祖五宗的神位。這一舉措得到了漢族士人的響應，幽州儒生崔游、冀州名士劉殷都前來歸附，十天之內，部眾增加到十萬。

劉淵在左國城（今山西離石北）搭建祭壇，匈奴巫師和漢族禮官并肩而立，胡漢部眾共同祭祀天地，標志著匈奴從被統治的群體轉變為主動爭奪中原正統的政治力量，也成為第一個入主中原的游牧民族政權。

308年，劉淵稱帝，遷都平陽（今山西臨汾），模仿漢制設立三公九卿的官僚體系，又設置“單于臺”統轄各族胡人，胡漢分治的“胡漢雙軌制“由此開始。

他派養子劉曜攻打并州，接連攻克太原、泫氏、屯留，又聯合流寇王彌、羯族石勒的勢力，形成了對洛陽的戰略包圍。

308年、309年，劉淵兩次攻打洛陽：第一次被晉軍夜襲打敗，第二次雖然攻入宣陽門，卻因為糧草不足而撤退。他的謀士劉殷感嘆道：“我們的軍隊擅長野戰，卻不擅長攻城，若想平定天下，必須學習漢人的城防技術。”劉淵深以為然，于是在平陽設立“工兵營”，招募漢族工匠傳授攻城器械的制造和使用方法。

到永嘉六年（312年），漢國的疆域東到太行山，西到黃河，南到河內，北到雁門，統治人口三四百萬，胡漢百姓雜居，商隊往來不斷。

310年，劉淵病逝，兒子劉聰殺兄自立，改元光興。劉聰雖然勇猛過人，卻沉迷酒色，常常“三日不醒“于后宮，與庶母單氏私通；政事都交給太子劉粲處理。

318年，大將軍靳準發動政變，將劉氏宗室幾乎屠殺殆盡，自稱漢天王，縱火焚燒平陽宮室，匈奴太廟中高祖劉邦的神主牌位也被燒毀。

鎮守長安的宗室將領中山王劉曜和屯兵河北的羯族將領石勒分別起兵平叛。

光初元年（318年）十月，劉曜在赤壁（今山西河津）稱帝，起初仍沿用“漢”國號，第二年改國號為“趙”，遷都長安，史稱前趙。追尊劉淵為“光文皇帝”，仍以劉淵建立的政權為法統基礎。

他以匈奴冒頓單于為始祖，確立“胡漢分治”制度：胡人由單于臺管轄，漢人由尚書省治理，試圖重振匈奴的地位。

劉曜稱帝后，與石勒的“后趙”長期對峙，最終于 329年在洛陽之戰中兵敗被俘，前趙滅亡。

至此，匈奴作為獨立政治力量退出中原舞臺。

匈奴漢趙政權雖短暫，卻開創了少數民族入主中原的先例。劉淵提出的“帝王無常、華夷無別“理念，打破了“非我族類“的傳統觀念。其“胡漢分治“政策為后續少數民族政權提供了范本，客觀上推動了北方民族大融合。《魏書》評價：“劉淵以匈奴之胄，首亂中華，其后諸胡迭據中原，皆其遺類也。“

從曹魏五部到前趙覆滅，匈奴人用百年時間走完了從附庸到主宰再到消亡的悲壯歷程。并州的山谷間，至今還流傳著古老的匈奴歌謠，只是再無人聽懂那蒼涼的詞句。