北伐戰爭結束後，原直系的吳佩孚、孫傳芳勢力被一掃而空，張作霖在退回關外時被日本人炸死，奉系元氣大傷，蔣介石、馮玉祥、閻錫山及李宗仁的桂系則異軍突起，成為主宰大局的新軍閥。
「共患難易，享富貴難」，新崛起的這四家很快便在戰後的地盤分配上發生了尖銳的矛盾。原來，西北軍長期局促於西北瘠苦之地，他們迫切希望向外發展，正如馮玉祥說的：「我們連個海口也沒有，向國外購買一些軍事裝備，真是太不方便。」北伐後期，馮玉祥派鹿鍾麟指揮韓復榘等部在河北擊退奉軍並直取平津立下汗馬功勞，因而馮玉祥認為論功行賞，河北、平津理當划到西北軍的名下。
對此，閻錫山與蔣介石不以為然，閻錫山也想向外發展，這塊地盤同樣志在必得；蔣介石則認為西北軍擴張太快，將影響到自己的領袖地位，所以要挑撥並利用馮玉祥與閻錫山之間的矛盾。搞笑的是，馮玉祥這個人一向擔心別人說他爭權奪利，儘管他是想拿下這塊地盤的，但他又不明說，因而蔣介石趁勢將河北、平津劃給了閻錫山，理由是馮玉祥已經有了魯、豫、陝、甘、寧、青六省的地盤，而閻錫山只有冀、晉、察、綏四省，應該平衡一下；再者，列強在平津兩地勢力深厚、關係複雜，馮玉祥性格剛直，對外交並不內行，因而交給閻錫山應付為宜。
馮玉祥吃了個啞巴虧，但他又不便當場反對，因為在之前的一段時期，馮玉祥與蔣介石的關係搞得一團火熱，蔣介石答應幫西北軍解決經濟上的困難，馮玉祥則公開表示了對蔣介石的擁戴。從名義上來說，蔣介石、馮玉祥兩人還是剛換譜的弟兄，特別在北伐戰爭結束後，馮玉祥為了表達對蔣介石的擁護，甚至要在鄭州為蔣介石鑄造銅像（經左右勸阻未果）。
話雖如此，兄弟之間翻臉不認人也實屬正常，何況是這種「萍水弟兄」。在失去河北和平津後，馮玉祥給自己的部隊講話，說「地盤要小，軍隊要少，工作要好」，說白了就是對此事大發牢騷。
緊接著，各派系又於1929年1月在南京召開全國編遣部隊的會議，馮玉祥對此倒是非常積極，他提出了一個編遣準則：「強壯者編，老弱者遣；有槍者編，無槍者遣；有訓練者編，無訓練者遣；有革命功績者編，無革命功績者遣。」按照這一準則，馮玉祥提出一個方案，即第一、第二集團軍（即蔣介石、馮玉祥）各編十二個師，第三、第四集團軍（即閻錫山、李宗仁）各編八個師，其他不屬於各集團軍的軍隊共編八個師。
馮玉祥原本以為，西北軍「兵員最多、素質最好、訓練最精、戰功最大」，理當多編幾個師，但要超過蔣介石的話，也不太好，於是計畫將第一、二兩集團軍拉平，把閻錫山、李宗仁的第三、四兩集團軍和其他雜牌軍壓低，他自以為這樣就可以蔣介石、馮玉祥的團結為中心，控制其他方面……但馮玉祥的想法也未免太天真。
作為北伐後名義上的領袖，蔣介石當然無法容忍其他派系的兵力超越或者與之平行，而閻錫山也不會被馮玉祥給輕易地打壓下去，於是他也提出一個方案，那就是第一、二、三、四集團軍各編十一個師，另設一個中央編遣區十一個師。這個方案實質上是要「抬蔣壓馮」，因為「中央編遣區」的十一個師是由蔣介石掌握的。蔣介石對這個方案很滿意，而勢力最小的李宗仁、白崇禧的桂系見自己與馮玉祥、閻錫山平起平坐，當然也就雙手贊成。
馮玉祥見自己的方案遭到眾人的反對，於是在正式開會時「稱病」不再出席。有一次，馮玉祥正與部屬談話，孔祥熙突然來訪，馮玉祥趕緊鑽進被子，捂得大汗淋漓並假裝呻吟不止。此事傳出去後，得知內情的人都暗笑馮玉祥患的其實是「心病」！到後來，馮玉祥乾脆離開南京，跑到豫北輝縣百泉村「養病」去了。
在蔣、馮矛盾尚未完全公開化時，李宗仁、白崇禧、黃紹竑的桂系因爭奪湖南地盤而與蔣介石集團搶先翻臉，結果引發了1929年初的「蔣桂戰爭」。在進軍之前，蔣介石以行政院長和兩湖地盤為條件，拉攏馮玉祥南下夾擊桂系，馮玉祥則玩起了「卞莊刺虎」的把戲，他一方面暗中許諾李宗仁出兵相助，另一方面則答應蔣介石南下進攻，實際上是坐山觀虎鬥，兵發遲遲，既不攻桂，也不援蔣，而是等蔣桂兩敗俱傷後坐收漁翁之利。
但「蔣桂戰爭」的發展卻出乎了所有人的預料，由於桂系將領李明瑞的突然倒戈，李宗仁等的軍隊迅速潰敗，蔣軍則以迅雷不及掩耳之勢攻佔了武漢。這下，馮玉祥投機不成反弄巧成拙，非但失去了奪取武漢的時機，就連被他催促南下的手下大將韓復榘也被蔣介石暗中收買了過去。
眼見自己的圖謀被蔣介石識破，馮玉祥乾脆撕下面紗，決定武裝反蔣並自任護黨護中國軍隊西北路總司令。開戰之際，馮玉祥認為西北軍的戰線拉得太長，為防止腹背受敵，馮玉祥決定收縮兵力，放棄山東、河南地盤並將軍隊全部西撤，集中在豫西、陝西待命。用馮玉祥的話來說，這叫「拳頭收回來之後，打起來更加有力」。
但是，馮玉祥的一些部將並不理解這個策略，因為陝西連年荒災，生活困苦不堪，他們之前是嘗過這個苦頭的，因而不願意回到貧瘠的西北去。在蔣介石的拉攏和分化下，韓復榘、石友三及西北軍的外圍部隊劉鎮華、楊虎城、馬鴻逵等部紛紛叛馮附蔣，令馮玉祥軍力大損，未戰而敗。無奈之下，馮玉祥只好通電下野並聲稱入華山讀書，實則是以退為進，避戰自守，令蔣軍失去進攻的口實。（註：韓復榘與石友三在1926年南口大戰時，曾因西北軍大敗而短暫投靠了閻錫山，頗為西北軍將領所不齒，這次投蔣也與此相關。）
馮玉祥的下野並沒有得到蔣介石的認可，其堅持馮玉祥必須離開軍隊、出國遊歷，戰爭方可結束，在這種情況下，閻錫山跳出來表示願意做個和事佬，為雙方做個調停。蔣介石對此未置可否，馮玉祥則積極響應，於是閻錫山便親赴運城將馮玉祥接到太原，並隨後將之安置在自己的家鄉五台縣（離閻錫山的老家河邊村有數里之遙）。
在李宗仁、馮玉祥相繼失敗後，閻錫山的舉動頗引人關注。據閻錫山手下的炮兵司令周玳回憶，閻錫山這一時期經常對手下的高級將領和幕僚縱談國家大勢，說「蔣介石雖然佔據江南，但他的內部很不穩固。如汪精衛、胡漢民等恨蔣的人很多，李宗仁、白崇禧更是恨他」；又說「袁世凱是最厲害不過的，我都應付過去了，蔣介石不如袁世凱多了」；「蔣介石這個人器量狹小，排除異己，遇事操之過急，終不能成大事」；閻錫山還說「漢陽兵工廠只能製造輕武器，我們還能製造炮兵等用的重武器」（當時太原兵工廠能批量生產迫擊炮和手提機關槍即衝鋒槍）。閻錫山的話，隱約透露出逐鹿中原的打算。
以閻錫山的資格，當然比馮玉祥、蔣介石、李宗仁都要老得多，在辛亥革命的時候，他已經當上了山西都督，時年不過三十歲。在袁世凱時期，閻錫山韜光養晦、戰戰兢兢，未有大的作為，直到袁世凱死後，閻錫山才真正掌握了山西的軍政大權並成為地方軍閥中的不倒翁。相比馮玉祥，閻錫山要更圓滑也更有心計，譬如在開編遣會議時，閻錫山提前裝病，直到馮玉祥等人已經出好牌後，他才後發制人，佔了很大的便宜。事後，閻錫山還得意地對手下說「我們遲來的辦法做對了」，「等到他們鬧成分裂之局的時候我再去，那時雙方都需要我，那就好了」。
正因為如此，閻錫山邀請馮玉祥入晉既有討好馮玉祥的意思、也有「挾馮自重」的用意。馮玉祥到山西後，實際上是被閻錫山變相軟禁了起來，而閻錫山卻對外宣稱要與馮玉祥偕同出洋考察，消弭戰禍。蔣介石接電後大為驚異，急忙對閻錫山加以挽留而只要求馮玉祥一個人出國。由此，閻錫山又將自己的地位提高了一大截，幾乎可以與蔣介石平起平坐了。
蔣介石雖然比馮玉祥、閻錫山年輕幾歲，但也不好對付。之前蔣介石雖然把平津分給了閻錫山，但蔣介石很快派宋子文到北平劃分國家稅和地方稅，閻錫山只好將平津稅收機關的晉方人員撤回，條件是財政部支付京津地區晉軍的餉項。但財政部實行一個月後便停止支付，閻錫山大呼上當，於是借口北伐時期山西省銀行曾墊付3000萬元作為軍費，因而向財政部申請發行省公債作為彌補，不料蔣介石很快將之駁回。
閻錫山氣得要命，他怒氣沖沖地把桌子一拍說：「以前，我以為蔣介石還可以相處，不料他這樣排除異己，現在居然逼到我的頭上來了！」「我很後悔北伐時墊此巨款，這件事我們做錯了。現在蔣要用經濟手段把咱們困死，咱們沒有錯，他不敢用兵來打咱們，只有在經濟上來困死咱們。」像閻錫山這種凡事都要打算盤的人，蔣介石的做法對其刺激很大，於是堅定了他反蔣的決心。
而在馮玉祥被閻錫山軟禁期間，西北軍群龍無首，部分將領開始與蔣介石來往，甚至密謀攻打山西，這讓閻錫山感到十分不安並感到軟禁馮玉祥毫無用處，於是便親赴建安村將馮放出，並表示願與之合作