東晉剛剛安定的時候，劉曜的前趙已經發展得很富強了，經濟得到一定的恢複，人民也得到休養，與少數民族關係搞得也比較好。許多少數民族主動前來投奔，其中最重要的兩個人物是略陽（今漢中市境內）臨渭（今渭南市境內）的氐酋首領蒲洪，還有南安赤亭（今甘肅隴西西面）的羌酋首領姚弋仲。此二人手下都有數萬兵馬，且十分勇猛。劉曜得了這兩個人，更是實力大增，便有了一統北方的打算。
永昌二年（323），劉曜率大軍三十萬，向西去攻取涼州。剛在涼州的河東紮下營來，涼州河東的守兵便望風而逃。劉曜的手下大將見戰事如此順利，都十分興奮，一致請求劉曜乘勢西攻，一鼓作氣，拿下涼州。
劉曜道：「從表面上看我有三十萬大軍，光紮下的大營就數以萬計，遮天蔽日。其實其中有三分之二的人不是咱自己人，是各個民族迫於咱們國家的威勢才跟隨而來的，倉促應戰，並沒有必勝的把握。不過，只要咱們按兵不動，每日把三十萬大軍調出來列隊操練，故意讓涼州兵看到，僅以我方的威勢就能震懾住對方。不超過十日，張茂的降表必到。」
三十萬大軍操練起來是個什麼樣子，幾千隻大鼓敲起來又是什麼聲音，那陣勢的確把涼州上下給鎮住了。劉曜且令將士向對岸揚言道：「將百道俱濟，直抵姑臧！」涼州大震。
這時候涼州牧張蹇已於兩年前亡故，世子張駿年紀還小，國家政事由張蹇的弟弟張茂負責。張茂召開軍事會議，商量怎麼辦。軍事參謀陳珍分析說：「劉曜的兵馬雖多，但精兵極少，大多數為氐、羌等少數民族，憑劉曜的威信恩德還不足以能真正統馭這些人，所以他絕不可能快速拿下涼州；而劉曜的東面還有石勒這個後患，他也不敢跟我們打持久戰。您只需撥給我一萬兵馬，我便可使劉曜退兵。」
張茂聽陳珍分析得很有道理，乾脆親自率領三萬兵馬前去迎陣。哪知道他在前線一見到劉曜的三十萬大軍，當時就暈了。只見帳篷接天連地，一眼望不到邊；旗幟遮天蔽日，如海洋一般；鼓聲如雷，殺聲似濤。這麼大的陣勢，張茂想都沒想過，更別說見到過了。
張茂回營後說，這可不能打啊，我要和這樣的軍隊打，不是白白送死么？
張茂手下的幾個軍事參謀都勸張茂一戰，說劉曜是勞師遠伐，人心不齊，不能久戰，和劉曜打起來未必就會輸；而且人家打到家門口了，你一仗沒打就認輸，很丟面子的，以後你還怎麼在涼州混？
張茂想了很久，還是決定投降，不過這個投降是有條件的，只稱藩稱臣，按期納貢，不交出兵權和地盤。如果劉曜不同意這樣的條件，那就決一死戰。第二天張茂向劉曜獻了降表，並上一千匹馬，幾千頭牛，十萬隻羊，還有美女、黃金和西域珍寶物產。劉曜也好說話，收了東西，交換了文書，接受了張茂的投降，任命張茂為涼州牧，封為涼王，隨後還兵長安。
劉曜兵馬撤走後，張茂覺得自己對不住晉室，憂恨成疾，於第二年五月病死，臨終前囑託張駿道：「我們張家世代擁奉晉室，如今雖天下大亂，仍不可改。將來你要替我為涼州恢複晉臣的身份。」
張茂病死後，侄兒張駿繼位。劉曜拜張駿為上大將軍、涼州牧、涼王。張駿迫於當時的形勢，只好接受，並派參軍王騭出使長安稱謝。
劉曜親自接見王騭，問他道：「你們能保證長期向我們稱臣么？」
王騭答道：「不能。」
劉曜奇怪道：「為什麼？」
王騭道：「春秋的時候，齊桓公在貫澤召天下諸侯會盟，當時憂心忡忡，害怕憑自己的威信沒人會來尊自己為盟主，結果卻是所有諸侯都很快地來了。後來齊桓公又在葵丘會盟，自認為國家強大，盛氣凌人，其實國家已衰，結果有九個國家叛盟不來。如果您趙國能夠保持現在的強盛，我可以擔保涼州永不叛趙。如果趙國衰微，那就連身邊的變化都不能察覺，更何況鄙州呢？」
劉曜聽了不怒反笑，嘆道：「你真乃涼州之君子也，張駿真是會選大使啊！」
劉曜定了涼州，遂又出師東征。派他的堂弟、中山王劉岳與鎮東大將軍呼延謨，率兵兩萬，東取後趙國的洛陽。
洛陽的守將石生出洛陽迎戰，兩軍在孟津交戰。石生連打兩次敗仗，損兵折將，逃回洛陽，閉城不出，並派人向石勒求救。
石勒這個時候正派大將石虎統兵四萬去討伐山東半島的曹嶷。曹嶷這個人我們已經很久沒有提到他了。石勒攻破洛陽，誘殺王彌的時候，曹嶷已經佔領了山東半島。曹嶷是王彌的一支部隊，王彌死後，曹嶷便一直盤踞魯東。曹嶷先是向漢國稱臣，漢國滅亡後，又向石勒稱藩。東晉太寧元年（323），石勒再也不能容忍曹嶷的擁兵自重，便派石虎去討伐，以絕自己進攻前趙的後患。巧的是，這一年前趙也在進攻西涼，以絕自己進攻後趙的後患。
曹嶷連連戰敗，東萊太守劉巴、長廣太守呂披接連投降。曹嶷本打算渡海逃跑，正好當時山東半島疾疫流行，沒能走成，被石虎的大軍圍在廣固城。曹嶷堅持了幾個月，最後開門投降，被殺。
攻陷廣固之後，石虎把城中軍民三萬餘人全部活埋，剩下幾百口人，石虎還想殺掉。石勒任命的青州刺史劉征正好上任趕到，他氣憤地對石虎道：「你把青州的人全殺光了，青州沒有了居民，我給誰做刺史？我乾脆回去算了！」石虎這才罷休，總算給廣固留了七百餘口人。
石勒命石虎率步騎四萬去馳救洛陽。劉岳遂東進與石虎交戰。石虎有四萬人，劉岳有兩萬人；石虎的兵又都是他精挑細選，多年征戰一直帶在身邊的，戰鬥力很強。所以劉岳很快就吃了敗仗，大將呼延謨戰死，兩萬兵馬折了三分，剩下的退守石樑戍，被石虎包圍。劉岳急忙向劉曜求援。
劉曜忙親率三萬人來救。等趕到石樑戍時，劉岳已經斷糧數日，只能靠殺馬為食。石虎讓石生率兩萬人繼續圍困石樑戍，自率兩萬人對陣劉曜。兩軍交戰十多天不分勝負，都人困馬乏。
石虎帶著兩萬人回去和石生圍困劉岳的兩萬人換了一下，第二日又來戰。劉曜的人已經累得要命了，而石虎新換上的這兩萬人都是生力軍，結果劉曜便大敗，退軍三十里。石虎並不帶大兵去追，而是派兩千精騎兵跟在後頭。一到三更半夜，就在劉曜的營外敲鼓放炮，並圍在四面大喊道：「石虎來劫寨了！」
劉曜的軍隊真的以為有人劫寨，褲子都顧不上穿，騎上馬就跑。就這樣劉曜一直跑到前趙國，石虎的兩千精騎才退回去。劉曜的軍隊雖然沒有傷亡，卻在一路上跑散了一大半，直到退回長安之後，才陸續有士卒回來。
石虎這邊從從容容地攻下了石樑戍，還是老規矩，把所有的降將降兵全部挖坑活埋。一共坑殺劉岳及其將佐八十餘人，坑士卒萬人。劉曜得知，出城祭奠，大哭七日，方才入城。
劉曜統一北方的雄心受阻，至此消沉起來，開始大興土木，先前停建的酆明觀與西宮又建了起來，又為自己在霸陵西南修築壽陵，後來又在滈池建起陵霄台，動用了大量民力。
一些大臣也勸阻說這樣做太勞民傷財了，不是咱們這樣的國力可以承受得了的。劉曜不但不聽勸，建完這些大型工程之後，又開始在粟邑為他的父母建造大陵。這個大陵光地基就周長二里，高有百尺，動用六萬男子為役，百姓不堪其苦。許多大臣勸諫，劉曜仍是不聽，又常在宮中設宴，與公卿聚飲，而不許談論朝政。
五年之後，即咸和三年（328）七月，石勒覺得時機已到，命石虎帶著他的四萬精兵來攻前趙。
石虎先佔蒲阪（今山西永濟蒲州鎮），再向西一路攻城略地，沿途五十餘縣紛紛投降，警報如雪片般飛入長安，劉曜命只有十多歲的太子劉熙與自己的二兒子南陽王劉胤守住長安，親自率國中十五萬精銳兵士去和石虎決戰。
劉均勸道：「皇上您只需派一名上將就足夠了，不應當親自出戰！」
劉曜哭道：「劉岳之死，朕時時不能忘記。正要報當年洛陽之仇，怎能不親自出戰？」遂由衛關北渡黃河，分十路包圍石虎軍。石虎見對方勢眾，急忙率軍撤退。劉曜一路窮追猛打，石虎損兵折將，四萬精兵，損失大半，直逃到朝歌（今河南鶴壁淇縣朝歌鎮）方才立住腳。
劉曜乘勝由大陽關南渡黃河，再攻洛陽。石生不敢出戰，死守城池。劉曜攻了半個月也沒有攻下。因多日不克，劉曜便把洛陽邊的大堤給決了，水淹洛陽。洛陽城內的百姓和士兵找到地勢高的地方居住，繼續守城不降。又過了三個多月，劉曜見實在是難以攻下洛陽，便分兵先取了汲郡（今河南衛輝市）、河內（今河南部泌陽）、滎陽（今河南滎陽）和野王（今河南博愛縣）。後趙震驚。
石勒親自去救洛陽，右長史程遐說：「劉曜現在勢頭很猛，和他正面衝突討不到便宜。洛陽城堅糧足，他一定攻不下來。而劉曜孤軍深入千里之外，肯定不能持久，不如等他打累了，自然就會退兵。您不應當出師。」