馬超跑了，但韓遂還在，涼州還不算完全平定。馬超第二次起事，自始至終沒有看到韓遂的影子，他還在涼州嗎？
答案是：直到建安十九年（214年），韓遂一直都在涼州。
渭南大敗後，韓遂也逃到回了涼州，在金城郡（今甘肅蘭州一帶）附近活動，和馬超相比，他的鬥志不那麼強，還始終抱著有朝一日與曹操和解的幻想，但又覺得不那麼切合實際，在馬超積極活動進行反攻的時候，韓遂雖然沒有反對，但態度一點都不積極。
閻行的事前面做過交代，他的父親還在鄴縣。大約在馬超第二次起事之後，已身在鄴縣的曹操終於忍無可忍，下令將衛尉馬騰以及包括馬騰兩個兒子在內的馬家數十口全部誅殺，一同被殺的，還有韓遂的兒子。
曹操沒殺閻行的父親，只是把他關了起來。據《魏略》說，曹操親筆給閻行寫了一封信說：「我看韓遂的所作所作，十分可笑（觀文約所為，使人笑來）。我前前後後給他寫了不少信，信中無話不講，到了這種地步還如何忍耐？你的父親知曉大義，目前很平安（卿父諫議，自平安也）。即便如此，牢獄那種地方不是贍養父母的只所（牢獄之中，非養親之處），況且我也不能長期為你贍養父親呀。」
曹操給閻行說得很明白，他的父親不會有生命危險，但不能等得太久。韓遂見曹操不殺閻行的父親，擔心閻行有二心，於是強迫閻行娶了自己的女兒（聞行父獨在，欲使並遇害，以一其心，乃強以少女妻行）。韓遂讓閻行擔任西平郡太守，在那裡發展勢力。閻行卻趁機向韓遂發起進攻，但是沒有取勝，帶領家人逃往東方，後來見到了曹操，曹操封其為列侯。
據《魏略》說，閻行向韓遂發起攻擊時，韓遂徹底傷心了，他對另一個叫成公英的心腹說：「大丈夫遇到危難，禍患的根源居然從婚姻開始！如今連親戚都要背叛我，人馬又少，看來只能從羌中向西南去投奔蜀地了。」成公英勸他：「將軍興兵數十年，現在雖然遇到挫折，哪能放棄自己的門戶投靠他人？」韓遂說：「我年紀大了，你有什麼辦法幫我（吾年老矣，子欲何施）？」成公英說：「曹操不可能親自從遠方趕來，這也就是姓夏侯的主事而已。夏侯的人馬追不上我們，又不能在這裡久待，我們暫時在羌中修養修養，等待他離去，然後聚集以前的人馬，我們還會有所作為的。」
韓遂接受成公英的建議，帶隨從男女數千人到羌人那裡，由於他向來對羌人很好，羌人願意保護他。
這時大約正是馬超自漢中殺回、夏侯淵率軍救援姜敘的前後，後來馬超再次敗走，而夏侯淵大老遠來了一趟，什麼都沒幹，有點不甘心，想順便把韓遂收拾了。
據《三國志夏侯淵傳》記載，當時韓遂駐紮在漢陽郡冀縣以北的顯親，夏侯淵發起攻擊，韓遂不敵逃走，夏侯淵繳獲了不少韓遂的輜重糧草，同時展開追擊，一直追到略陽城，此地在顯親縣東北方向不遠。
對於下一步行動，夏侯淵手下諸將有不同意見，有的認為應該攻擊略陽，有的認為應該攻擊興國的氐王。夏侯淵認為韓遂人馬雖然不多，卻都是精兵，而興國城池堅固，不能立即得手，所以應該攻擊長離一帶的羌人（以為遂兵精，興國城固，攻不可卒拔，不如擊長離諸羌）。
夏侯淵的判斷是，直接攻打略陽不划算，而韓遂部下與長離諸羌關係密切，很多人的家眷都在長離，攻擊那裡韓遂必救無疑，在運動中可以找到消滅敵人的機會（救長離則官兵得與野戰，可必虜也）。夏侯淵留下人守輜重，自己率輕兵直趨長離，韓遂果然率部來救。這時，敵眾我寡，諸將看見有點擔心（諸將見遂眾，惡之），想結營與敵人打持久戰。夏侯淵說：「我們輾轉千里，士兵們已經很累了，再修築營壘，士兵會更疲憊。敵人雖然很多，沒有什麼可怕的（賊雖眾，易與耳）。」
夏侯淵下達攻擊令，為了鼓舞士氣，他親自擂鼓，曹軍將士個個用命，最後大敗韓遂軍，繳獲了敵人的指揮旗，之後得勝而回，又攻克略陽。長離和略陽得手後，夏侯淵又率軍進攻興國，一直駐紮在興國的名叫千萬的氐王逃奔至馬超處。夏侯淵又轉擊高平的屠各族首領，把他們打敗，繳獲不少糧谷牛馬。
在隴西郡有一個地方叫罕，位置大約在今天甘肅省臨洮以西，這裡有個叫宋建的人，趁著涼州大亂，自稱「河首平漢王」，任命了丞相等官員，像袁術那樣做起了土皇上，已割據長達三十餘年。曹操下令夏侯淵趁著連克馬超、韓遂以及眾氐王、羌王、屠各王的聲威，遠擊罕。
夏侯淵率張深入隴西郡，滅掉了宋建的獨立王國，同時渡過黃河上游，進入小湟中一帶，黃河西岸各羌族部落全部投降，隴西也宣告平定。
曹操專門向夏侯淵發來了嘉獎令：「宋建作亂三十多年，夏侯淵將軍一舉滅之，虎步關右，所向無敵，正如孔子所說的『吾與爾不如也』。」
到這個時候，涼州全境可以說基本平定了，馬超到張魯之後的事下面再說，韓遂的下落史書沒有明載。在裴松之注《三國志張既傳》時，引用了《魏略》一段話，其中提到略陽之戰結束不久，韓遂就死了，是死於戰鬥，還是死於疾病，不得而知。
不管怎麼說，博大而神奇的涼州已經掌握在曹操的手中，自建安十六年（211年）到建安十九年（214年），曹操用了三年多的時間，在沒有付出特別大代價的情況下，平定了關中，得到了涼州，收穫十分巨大。
曹操命令夏侯淵仍撤回長安，授予他「假節」的特權，統籌西部地區的軍務。同時下令撤銷涼州建制，改設雍州，剛剛就任長安特別市市長的張既被任命為雍州的首任刺史，統一管理關中以西地區的政務。
據《三國志張既傳》記載，張既臨上任前專程赴鄴縣聽取曹操的指示，曹操笑著對張既說：「你這次回到家鄉，可以算得上衣錦還鄉了吧（還君本州，可謂衣繡晝行矣）。」曹操這樣說，是因為張既是馮翊郡高陵人，也在雍州轄區內。張既能在家鄉當父母官，說明漢末的「三互法」早已蕩然無存了。