話說馮玉祥在接到那封求援電報後，隨後便迅速班師回京。1924年10月22日晚，馮玉祥的部隊便神不知鬼不覺的摸到了北京城下，而守衛北京的正是馮玉祥之前設下的內應，孫岳的第十五混成旅。
孫岳是直隸高陽人，1878年生人，據說是明末名將孫承宗之後，他早年行俠仗義，曾因打死了當地的一個惡霸而隱姓埋名，削髮為僧，後來又不甘寂寞而考入了保定武備學堂炮兵科，畢業後被分派到北洋軍第三鎮，在辛亥革命的時候孫岳任鎮參謀官。孫岳很早就加入了同盟會，並且是北方的重要負責人之一，可以說是個老革命黨了。
武昌起義後，孫岳因為捲入了「灤州兵諫」，後來便南下投了革命政府，但孫岳到了南京後，革命同志誤以為他是袁世凱派來的探子，差點就給自己人給幹掉了。受此打擊後，孫岳由一個積極的革命志士變成了一個頹廢主義者，最後還是找到自己的老領導曹錕，謀得軍官教導團團長一職，並升任了大名鎮守使兼第十五混成旅旅長。
馮玉祥與孫岳在清末便是熟人，在馮玉祥打算髮動北京政變後便與他交了底，孫岳聽後表示贊同，並主動承擔了與陝軍胡景翼、岳維峻部的聯繫工作。在直奉大戰前，因為原負責北京治安的王懷慶被調往前線，馮玉祥便把孫岳推薦給曹錕，讓他做北京警備副司令。曹錕不知是計，便同意了馮玉祥的提議，將孫岳部由保定調入北京。事後，孫岳笑著對馮玉祥說：「弄了半天，原來你是特意把我弄來給你們開城門的啊！」
說完了孫岳，卻在細細說說這次政變的大主角馮玉祥。馮玉祥，字煥章，祖籍安徽巢縣，1882年生於直隸青縣，童年在保定長大。馮玉祥的父親早年投入劉銘傳的銘軍，曾參加過鎮壓太平軍、捻軍、陝甘回亂等戰事。同光年後，天下太平，因銘軍解散，馮父也就解甲歸田，但多年的從戎生活使得他已無心從事其他行業，最後還是投入淮軍並隨軍分駐直隸等地。
馮玉祥的父親是個低級軍官，加上家裡的孩子比較多，因而馮玉祥小時候的生活非常艱苦。馮曾在回憶錄中說，自己小時候都跟著哥哥去拔草拾柴，幫襯家計；家中房子之小，有時候客人來了連坐的地方都沒有。由於生活艱辛，馮玉祥經常要去當鋪典當家中物品（因為大人不好意思去），以勉強維持家中生計。正因為這樣的生活經歷，馮玉祥對清廷幾無好感，對舊社會極為痛恨。
馮玉祥原本不叫馮玉祥，而是叫馮基善。當時保定的練軍大都是父子兵，也就是父親退役、兒子遞補進營，外面不相干的人是很難補得進去的。因此，一年半載的出個缺，爭的人很多。馮玉祥的父親當時境遇困難，這是他的同袍都深知的，有一次營中正好出了個缺，當時一個姓苗的管帶便說：「這回補馮大老爺的兒子」，旁邊的人問：「那他叫什麼名字？」苗管帶一下想不起來，那人便說：「讓我問問去」。苗管帶怕他去一問而耽誤了時間，於是忙擺手道：「我知道，用不著問」，隨後便在紙上寫了「馮玉祥」三字。
於是，馮基善便成了「馮玉祥」。
馮玉祥補上學兵的時候不過11歲，但他從小便身材高大魁梧，天生就是軍人的料。成年後，馮玉祥的身高超過一米九，膀大腰圓，人稱「馮大個兒」。但是，由於馮家並沒有什麼顯赫的背景，馮玉祥小時候接受的教育也比較有限，因而不像其他的軍官一樣讀過武備學堂之類軍校，他完全是靠著自己的努力，在軍隊里摸爬滾打了多年才逐步升遷的。正因為如此，他的日常作風非常簡樸，也從不沾染當時的一些惡習如吸鴉片、賭博、狎妓等，這和其他的高級將領完全不同。
由於當時的淮軍已經疲弱不堪，馮玉祥後來便改投了袁世凱的武衛右軍，因為當時的武衛右軍無論是在訓練還是待遇等方面都是最好的。由於他的身材高大，在慈禧太后從西安迴鑾的時候，馮玉祥還作為儀仗兵在保定親眼見過慈禧太后（心裡很不爽）。在袁世凱的軍隊中，馮玉祥逐漸由副目、正目、哨長、隊官等一路升遷上去，並在清末的時候做上第二十鎮的營管帶。
武昌起義後，潛伏在第二十鎮（駐紮灤州）的革命黨也蠢蠢欲動，當時的骨幹便有營管帶王金銘、施從雲、馮玉祥及其張樹聲、張之江、鹿鍾麟、李鳴鐘、龔柏齡、商震、劉驥等同袍或部屬，就連鎮統制張紹曾也是傾向革命的，由此也引發了後來的「灤州兵諫」。
可惜的是，由於張紹曾舉棋不定，自請辭職，「灤州兵諫」最終以王金銘、施從雲等十四名革命黨被殺而告終。馮玉祥等參與者還算幸運，只是被解除軍職並押送回籍了事。無巧不成書的是，軍法處的人押送馮玉祥路過北京的時候，正好偶遇了曾經的老上級陸建章。
原來，賦閑三年的袁世凱在復出後，對之前編練的北洋軍已無絕對掌控之信心，所以要組建一支忠於自己的嫡系軍（後來的事實也證明袁世凱的判斷是正確的），這就是之後的五路備補軍。當時陸建章被袁世凱從廣東潮州鎮守使調回來擔任左路備補軍統領，他對當年馮玉祥帶兵的印象不錯，而他這裡又急缺優秀的中下級軍官，於是當即決定讓馮玉祥留下來幫忙。
由此，馮玉祥便留在陸建章的左路備補軍中擔任營長，隨後又升為團長。在民國初年「剿白狼」中，馮玉祥被提升為旅長，並隨陸建章入陝。袁世凱稱帝後，馮玉祥的第十六混成旅奉命開進四川與護國軍作戰，但未及半年，袁世凱便因病去世，護國戰爭不了了之。
而在這時，忠於袁世凱的陝西督軍陸建章也被皖系軍閥陳樹藩驅逐，馮玉祥失去了靠山，也無法回陝西，只能由陸軍部指定迴廊坊一帶駐紮，第十六混成旅也險些被解散。所幸的是，後來張勳鬧復辟，段祺瑞組織討逆軍，實際上他並沒有基本部隊，因而第十六混成旅正好派上用場，老段也由此對馮玉祥另眼相看。
但是，馮玉祥終究不是段祺瑞的嫡系，後來廣東護法軍攻入福建時，第十六混成旅奉命前去支援，但部隊到了南京後，江蘇督軍李純奉總統馮國璋之命（馮國璋反對段祺瑞的「武力統一」政策）將之留下，直到段祺瑞一派在北京取得優勢，才奉命離開南京，前往湖南參加湘鄂之戰。
1918年2月，在陸建章的鼓動下，馮玉祥部開到皖鄂贛交界的武穴時突然宣布主和，並指斥段祺瑞「對外宣而不戰、對內戰而不宣」，這不但對皖系軍閥的震動很大，也很是傷了段祺瑞的心，並最終導致了後來陸建章的被殺（「武穴主和」據說是陸建章的主意）。儘管馮玉祥後來還是迫於皖系軍閥的壓力而率部駐紮湖南常德，但在吳佩孚率軍北撤併在直皖戰爭中擊敗皖系勢力後，第十六混成旅也隨即北上投入曹錕、吳佩孚的門下。
馮玉祥本人貧困出身，一向艱苦樸素，與士卒共甘苦，因此他帶的部隊很團結，凝聚力很強。儘管他的部隊屢遭排擠，但卻磨鍊了部隊的頑強作風，其戰鬥力不容小視。1921年，馮玉祥作為先鋒部隊進入陝西驅逐皖系督軍陳樹藩，隨即因為閻相文自殺而接任了陝西督軍的職位。在第一次直奉戰爭中，馮玉祥擊敗河南督軍趙倜有功而做上了河南督軍的位置。但是，由於吳佩孚的軍隊駐紮在洛陽，一山不容二虎，因而馮玉祥很快便被排擠到有職無權的陸軍巡閱使一職，這也是馮、吳產生矛盾的直接原因。
早在第二次直奉大戰前，馮玉祥便通過部下與奉系接洽，密謀共同反吳。在得知馮玉祥在京中極為苦悶困窘之後，張作霖決定聯合馮玉祥並接濟了馮部一些軍械和錢餉（一說是二百萬日元，一說是奉天官銀號一百多萬小洋）。隨後，馮玉祥又與同為非嫡系且有同盟會、革命黨背景的孫岳、胡景翼、岳維峻等人聯繫，共組馮、孫、衚衕盟，這也是後來國民軍系列的最初雛形。這時，曹錕的手下大將、直隸軍務督理王承斌因為被吳佩孚削去第二十三師的軍權也心懷異志，並暗中與馮玉祥合作，這也是後來吳佩孚派王承斌去古北口監視馮玉祥而反被馮玉祥利用的原因。
馮玉祥雖然看上去高大魁梧，像個軍界老粗，但實際上膽大心細。他在軍事上做好準備後，在政治上也在有意識的尋找替代曹錕政府的人選，這便是前內閣總理張紹曾和做過外交總長和教育總長的黃郛。張紹曾在清末的時候便傾向革命，而黃郛更是個頭顱有價的革命黨，他是陳其美的盟弟、也是後來發家的蔣介石之盟兄。在革命失敗後，一部分革命黨改變策略和信仰，重新進入了北洋政府，張紹曾和黃郛便是其中的傑出代表。馮玉祥在第二次直奉戰爭前做的這些聯絡工作，都是為後來的政變埋下伏筆。
直奉大戰打響後，馮玉祥以訓練新兵為借口，在城中留下一營兵力作為內應，其他部隊則陸續開出城外，但每日行程不過二三十里，行動十分緩慢。馮玉祥的司令部到達古北口後，隨即借口籌措給養，並令鹿鍾麟部每日練習行軍，讓沿途居民見怪不怪，免得到時班師回京引起外間的注意。
鹿鍾麟學兵出身，在四川的時候投入第十六混成旅任營長，很受馮玉祥的器重。他在進入北京前，每次