漢趙光文帝元熙元年（甲子，公元304年），劉淵漢國初建，劉曜已嶄露頭角，被封為漢國建威將軍，率兵相繼攻克泫氏（今山西高平縣）、屯留（今山西長子縣）、中都（個山西太原市）等地，為漢國在并州的發(fā)展奠定了基礎(chǔ)。

漢趙昭武帝光興元年（辛未，公元311年），劉淵駕崩，其子劉聰繼位。不久，劉聰命劉曜與河內(nèi)王劉粲等進(jìn)攻洛陽。劉曜長驅(qū)入洛川（位于延安市南部），與西晉軍隊(duì)周旋于河南一帶，攻陷晉臺壘一百余處。劉曜攻洛陽時，命其部下燒毀洛陽坊市，殺諸王公及百官以下三萬余人，并將晉懷帝、羊獻(xiàn)容皇后以及傳國璽送于平陽，被劉曜署為車騎大將軍，開府儀同三司、雍州牧，封中山王，身居顯職。

漢趙昭武帝麟嘉三年（戊寅，公元318年），劉聰駕崩，其子劉粲繼位。此時，匈奴漢國形勢發(fā)生了急劇變化，權(quán)臣靳準(zhǔn)因其女得寵于劉粲，逐漸竊取漢國政權(quán)，發(fā)動政變，將居于平陽的匈奴劉氏宗室無論少長皆斬于東市，胡氏也在這次動亂中被殺。靳準(zhǔn)叛亂時，胡氏的兒子劉曜時為相國、都督中外諸軍事，正在鎮(zhèn)守長安。同年十月，劉曜進(jìn)占赤壁（今山西河津縣西北赤石川），太保呼延晏等人從平陽前來歸附，并共推劉曜為帝。劉曜稱帝后，派征北將軍劉雅、鎮(zhèn)北將軍劉策進(jìn)屯汾陰（今山西萬榮），與石勒有掎角之勢，共同討伐靳準(zhǔn)。靳準(zhǔn)見劉曜和石勒共同討伐自己，于是派侍中卜泰向石勒請和，但石勒將卜泰囚禁后送交給了劉曜。結(jié)果，劉曜卻對卜泰說：“先帝劉粲在位時確實(shí)亂了倫常，司空靳準(zhǔn)執(zhí)行伊尹和霍光廢立之權(quán)，令我得以登位，實(shí)在是有很大的功勛。若他早早迎接我入平陽，我就將朝政大事全部委托給你，何止免死？”于是將卜泰送返平陽。靳準(zhǔn)聽到卜泰的傳話后，因?yàn)樽灾?dāng)日奪權(quán)時殺了劉曜母親胡氏和劉曜兄長，所以猶豫不決。同年十二月，其堂弟靳康聯(lián)結(jié)喬泰等人殺死靳準(zhǔn)后，共推尚書令靳明為主，又命卜泰帶傳國六璽向劉曜投降。此舉令石勒十分憤怒，于是領(lǐng)兵進(jìn)攻靳明。大敗后的靳明退入平陽后，向劉曜求救。劉曜遂派劉雅和劉策迎接，靳明于是帶著一萬五千名平陽人逃出平陽。劉曜及后卻大殺靳氏，一如靳準(zhǔn)殺劉氏一樣。石勒在靳明逃離后亦攻入平陽，留兵戍守后東歸。

漢趙末帝光初二年（己卯，公元319年），劉曜遷都長安，并在此設(shè)立宗廟、社稷壇和祭天地的南北郊，改國號為‘趙’，其追尊其父劉綠為‘宣成皇帝’，其母胡氏為‘宣明皇太后’。同年，石勒自稱趙王，正式建立后趙。漢趙就此一分為二。