魏孝武帝果然是才出虎穴，又入狼口。史載孝武帝閨門無禮，有堂妹三人皆不令出嫁，名義上封為公主，實際上在宮中充當嬪妃。其中一個平原公主元明月最受他寵愛。宇文泰慫勇西魏元姓諸王把平原公主從孝武帝身邊搶出來殺掉，以消亂倫之丑。
孝武帝恨恨不平，美人被奪，悲憤可知，他不時在宮內彎弓搭箭，或以刀砍擊桌案，宣洩不平，言語之間也掩飾不住對宇文泰的恨意。宇文泰在皇帝身邊耳目甚多，聞此也做事乾脆，派人把毒藥放進孝武帝的酒里，毒死了這位很有主見的皇帝，時年二十五歲。隨之，他立平原公主的親哥哥元寶炬為帝。
宇文泰，字黑獺，是鮮卑化的匈奴人。其父宇文肱最早是六鎮叛軍中鮮於修禮的將領。其父戰死唐河後，宇文泰又加入葛榮軍。爾朱榮擊滅葛榮後，喜歡他的驍勇善戰，授他為統軍一職。高歡滅爾朱氏後，他受賀拔岳之託去并州查看虛實，高歡見他身長八尺，垂手過膝，相貌非凡，想留下他為自己效力。宇文泰固請返軍復命，高歡猶豫中允許他回去。過後馬上反悔，想殺掉宇文泰以絕後患，追至關口也未趕上，正如項羽不殺劉邦、曹操放走劉備、桓玄容納劉裕，最終養虎貽患。宇文泰之後最終滅掉了高歡之後。
高歡換掉皇帝後，又覺洛陽西近西魏，南近梁國，就決定遷都鄴城。命令下達後，三日即行，四十萬戶民眾狼狽就道。又任命司馬子如為尚書左僕射（此人就是爾朱榮被殺後不顧妻子隨爾朱榮一家逃跑的那位流氓文人。他當時還勸爾朱世隆反攻洛陽，魏孝武帝之死，究其根由，實賴其成），高隆之為右僕射，高岳為侍中，孫滕留守鄴城，共執朝政。
536年，高歡率大軍造三座浮橋，在蒲坂準備搶渡黃河。第一次東西魏大戰——小關之戰拉開序幕。
宇文泰確實是兵中奇才，他對諸將說：「高歡三面圍住我軍，搭建浮橋表示他要過河進擊，實際上是想吸引我軍的注意力，使竇泰從西進軍兩面夾攻我們。竇泰是高歡的一員驍將，屢戰屢敗，將士必起驕心，我們發奇兵先擊竇泰，高歡則不戰而勝。」諸位將領都不以為然，認為高歡近在眼前，不戰不防反而掉頭擊竇泰，萬一出了差錯會全軍覆沒。
宇文泰的族侄宇文深與他意見相同，認為如果在蒲坂迎擊高歡軍，竇泰肯定乘機從反面撲來，雙方夾擊下一定會失敗。他建議選精銳兵騎直出小關（在潼關之左），竇泰性急必來赴戰，而高歡行事謹慎，肯定觀望，戰勝竇泰後再回擊高歡，敵軍可破。
果然，西魏軍突至小關，竇泰猝不及防，引兵赴陣，宇文泰從馬牧澤中殺出，大破竇泰，東魏兵死傷殆盡，竇泰自殺。
由於黃河冰薄，人兵輜重無法過去，高歡只能撤毀浮橋回軍。西魏軍從後追擊，高歡殿後的大將薛孤延一戰之中砍壞十五把鋼刀，戰事異常慘烈，最終才保得高歡一行人逃脫。雙方第一次交手，以高歡失敗告終。
高歡另一路人馬高敖曹進軍順利，從商山出發所向無前，在他率兵猛攻上洛時，被流矢射中，遍體鱗傷，其中三處是貫穿傷，死而復甦。為安慰軍心，他馬上跳起來騎馬免胄巡城，大大鼓舞了士氣，攻陷上洛城。城克之後，他躺在帳篷中療傷，感覺自己要死掉，嘆息道：「遺憾的是不見弟弟高季式當刺史。」高歡聞言，馬上任命高季式為并州刺史。
高敖曹是死於孝武帝和高歡兩個人權謀的高乾的三弟，名昂，以其字敖曹知名於當世。此人龍眉豹須，姿體雄異，自少年時代起就桀驁不馴，招聚劍客四齣劫掠。《太平廣記》中載有其詩三首，其中《征行詩》：「龍種千口羊，泉連百壺酒。朝朝圍山獵，夜夜迎新婦。」可以想見他年青時放蕩不羈的生活。爾朱榮惡其英武，一度把他誘捕關在洛陽。孝庄帝殺掉爾朱榮後，知道高氏兄弟英豪，於黃河邊親自送他們還鄉招集部曲。高敖曹意氣慷慨，臨行舞劍，以示效死之心。
孝庄帝被害後，他投奔高歡，大破爾朱氏。後來孝武帝殺掉他哥哥高乾，又派人殺他，他率十餘騎奔赴晉陽歸高歡。高歡引以為大將，南征北討，立功很多。小關之戰後，高敖曹全軍而還，被授為軍司大都督，統七十六都督。
當時，高歡屬下以鮮卑將領為主，都輕蔑漢人，唯獨懼怕高敖曹。高歡在號令手下大將時，常常用鮮卑語發號施令，但只要有高敖曹在側，他一定改用漢語講話。鮮卑將領劉貴與高敖曹不和，有一次兩個人同在一處議事，下面有人家報告治河役夫好多人淹死，劉貴故意說：「性命只值一文錢的漢人，隨他們死！」高敖曹聞言大怒，拔刀就砍劉貴。劉貴奔逃還營，高敖曹隨之鳴鼓召集屬下，勒兵欲攻，最後經別人勸了好久才罷手。又有一次高敖曹與北豫州刺史鄭儼祖玩握槊遊戲（一種棋類），劉貴派手下召鄭儼祖商議軍事。高敖曹不讓鄭儼祖走，並派兵把劉貴的使者用木枷夾住站在一旁呆著。劉貴的鮮卑偏將恃勢驕橫慣了，在旁跳腳喊：「枷則易，脫則難。」高敖曹聞言，從隨從手中抽出一刀，往此人脖子上猛勁一抹，說：「又有何難！」人頭落地。劉貴聞知後也不敢過來理論。還有一次高敖曹去大丞相府拜見高歡，門口護衛不讓他進去，他兜轉馬頭，彎弓搭箭，回手射殺門卒。高歡聞知後也不怪罪……由此可見，高敖曹在高歡心目中的位置是何其重要！
高歡深知屬下鮮卑士兵與漢人之間的矛盾。他左右逢源，對鮮卑人講：「漢人是你們的奴僕，男人為你們耕作，女人為你們織衣，上交粟帛賦稅讓你們溫飽無憂，為什麼還要欺凌他們呢？」又對統下漢人講：「鮮卑人是你們僱傭的兵客，得到你們一些衣物吃食，為你們防盜擊賊，能保你們安寧度日，幹嗎那麼恨他們呢？」
對於迂腐不知變通的漢族大臣，他也想方設法予以說服。一次高歡要出門打仗，一名叫杜弼的大臣請求高歡出征前先消除內賊。高歡問內賊是什麼人。杜弼說是那些掠奪百姓的鮮卑貴族。高歡沒有立刻予以作答。他下令營中軍士都搭弓上箭，高舉大刀，握鞘向前，夾道層層而立，接著命令杜弼在行列中來回走動一次。杜弼是個書生，哪裡見過這種陣勢，嚇得渾身哆嗦，冷汗直流。
見此，高歡對杜弼說：「雖然搭箭不射，持矟不刺，舉刀不砍，你都被嚇得失魂落魄。諸位勛貴將領在戰場上衝鋒陷陣，百死一生，雖然有人或許有貪污冒搶的行為，但與他們平時的戰功相比，怎能相提並論？」杜弼跪地頓首，為自己冒失的舉諫表示道歉。一舉兩得，既堵住了諫官的嘴，又收買了鮮卑軍士的心。
537年，高歡自己帶兵二十萬自壺口出發趕往蒲津。第二次東西魏大戰（河苑之戰）開始。
宇文泰由於關中旱災大飢，帶著不到一萬的軍馬在恆農穀倉休整了五十多天，好容易才讓餓得幾乎皮包骨的軍士歇緩過來。聽說高歡渡河來戰，趕忙入關準備。
高敖曹帶三萬兵馬把恆農團團圍住。高歡的參謀勸說道：「西魏賊兵連年饑荒，所以冒險到陝州來搶倉粟糧食，現在高敖曹已經圍住恆農糧倉，糧食運不出去。我們最好分兵諸道，不與敵兵接戰，等到麥秋時分，敵方軍民餓死大半，宇文泰不死也得投降。所以我們最好別渡黃河。」
大將侯景也勸告，「我軍幾十萬士兵一舉前來，萬一不勝，一時難以集結兵馬。不如把大軍一分為二，相繼而進。前軍若勝，後軍全力攻上；前軍若敗，後軍可以接應，到時作為後備隊出擊迎敵。」
高歡對這兩條意見都沒有聽進去，自蒲津渡過黃河前進。
宇文泰到了渭水南岸，徵召的諸州兵馬都沒有到位。他手下諸將以為眾寡懸殊，建議待高歡軍隊再往西行後才出兵相會。
宇文泰堅持不可，「高歡如果到了長安，肯定人情民心全都會降服於他。現在趁他遠來新到，正好一舉可以擊破。」於是造浮橋渡渭河，令軍士精裝帶三天糧食，距高歡軍六十里屯軍。又派手下將領達奚武帶三個騎兵化裝成東魏軍士，傍晚混入高歡營內偵知軍中口令，昂首揚鞭，假裝成督察官，各個軍營都轉了一圈，看見有衣冠不整或不遵法紀的高歡兵士，還上前舉鞭亂打一頓，轉了個通宵，查明高歡軍中一切部署後才返回營中復命。
高歡得知宇文泰兵到，引兵會敵。
宇文泰手下李弼認為敵眾我寡，不能平地置陣，可在十里以外渭曲長滿蘆葦的沼澤地埋伏。宇文泰覺得此計可行，命令軍士都偃旗息鼓，埋伏在蘆葦叢中，聽見鼓聲就一齊衝出。
高歡部下都督斛律羌舉勸說：「宇文泰只想決一死戰，就像個瘋狗一樣，豁上命也要咬人。渭曲蘆葦茂密，泥濘不堪，士兵交戰用不上全力，不如與其相持，再暗中派精兵掩襲長安，端掉敵軍的老窩，如此則宇文泰必可生擒。」
高歡聽說渭曲蘆葦叢生，靈機一動，「放把大火把敵軍燒死，怎麼樣？」
一向精明的侯景這時出了個餿主意，認為，「應該生擒宇文泰宣示百姓，如果他被燒成焦炭，誰會相信我們真的大勝呢？」
躇躊之間，高歡大將彭樂盛氣請戰，