在第二次直皖戰爭中，段祺瑞確實發揮出了他舉足輕重的作用。盧永祥在浙江的作戰固然引爆全局，而馮玉祥的倒戈也與他有著直接關聯。為促馮倒戈，段祺瑞事前派親信攜其親筆函見馮，提出「不贊成內戰，並希望馮對賄選有以自處」。除親筆函外，他還設法籌集十萬大洋，轉送給馮玉祥，作為臨時倒戈的代價。
不過在擁孫還是擁段的問題上，馮玉祥的態度一度較為微妙。據說那時馮玉祥已讀過三民主義的書籍，而且很感興趣，他對孫中山也不止一次地表示過敬仰，而在北洋系中，馮玉祥又基本屬於思想「異類」，與段祺瑞、張作霖打交道時不免感到勢孤，如果能夠與孫中山互相呼應和支持，自然對他是有利的。
由於馮玉祥有擁孫的可能，所以曾有消息說張作霖、馮玉祥已發電報到廣東，請孫中山到北京主持一切，然而不久這一消息就被證明純屬誤傳。
馮玉祥倒戈後，以他為後盾的攝政內閣只是一個過渡。馮玉祥練兵尚有一手，但搞政治是其最大的短板，時人評價他將政變後的北京政局弄得「似革命非革命，似依法非依法」。同時，他又被直系視為叛徒，直系長江各省均予以通電討伐。面對這一嚴峻形勢，馮玉祥等人乃聯名擁段為「國民軍大元帥」，欲藉助其聲望來減輕自身所受壓力。
蟄居四年，終於要出山了。這本是段祺瑞一直以來所期待的，然而當命運的大門即將向自己開啟時，他又不由得躊躇起來。最主要的擔心，就是不知道各省對他的態度究竟如何——幾年前，當他辭去督辦下野時，人們可是彈冠相慶，如果這回貿然出山，再遭各方反對，那豈不是自討沒趣，這老臉可往哪裡擱？
段祺瑞於是對馮玉祥等人的擁戴既不表示接受，也不加以推辭，既不說來京，也不說不來，只是表示：「此時將自重，必等各省一致擁戴，然後出山。」
戰事稍定，段祺瑞就發電報給馮玉祥，讓他速來天津商議國是。馮玉祥到天津的第二天，張作霖也到了天津，奉軍兩個師還先行在津駐紮。
馮玉祥到天津後，立即發現段、張均完全無意於孫，而奉軍又咄咄逼人，連自己從吳佩孚手中收編的一些部隊也被奉軍給繳了械，這使得馮玉祥不僅完全打消了擁孫的念頭，而且被迫對張作霖唯唯諾諾，裝出一副全無成見的樣子。
張作霖在戰爭中擊敗吳佩孚，其氣勢就跟以前的吳佩孚一樣，恨不能立馬掃平天下。在天津會議上，他甚至主張繼續派兵南下，從而一舉掃清直系在長江流域的實力。馮玉祥同樣想藉機到南方搶佔地盤，於是也表示贊成。
武力統一曾經是段祺瑞一貫堅持的政治理念，如果是放在過去，他還恨不得敦促奉、馮兩軍晝夜南下呢，可是現在他自己已對這一理念產生了懷疑和動搖。
曾經對段祺瑞武力統一政策批評很厲害的一個人，是著名政治活動家章士釗。章士釗認為，武力統一乃是「欲以一派勢力消除它派勢力」，是「不知國家根本組織之道」。在他看來，一個社會必定會有各種各樣的勢力，它們利益不同、情感不同，自然意見和希望也不同。國家要做的事，是調和、容納這些勢力，「使之得相安」，倘若強行以武力消滅以達成所謂的統一，那是假統一，是註定要失敗的。
那什麼是真統一呢？章士釗忠告段祺瑞：「真統一者，乃在國家意志之統一而不在獨夫之專擅也。」
退居天津前，段祺瑞對章士釗的批評，要麼沒有注意到，要麼就是當成了書生之見，壓根兒沒放在心上。他真正感覺到這些批評言之有理，是在退隱靜思，細細回味那些經歷過的失敗之後。
就在息影的第三年，段祺瑞很感慨地說：「曹（曹錕）、張（張作霖）、吳（吳佩孚）皆我提拔出來。我扶植他們長大，可是後來卻又全部打起我來了。我致力於武力政策，結果如此，現在覺悟了。」
段祺瑞終於明白，如果單純靠武力統一，打掉一批老的實力軍頭，又會養成一批新的實力軍頭，到最後免不了還是一場空。
因為有了這樣的新認識，段祺瑞不同意張、馮的用兵主張。他認為，曹、吳在長江各省的勢力還很大，困獸不可窮追，一窮追，對方就會合力死斗，到那時候就不好辦了。
段祺瑞提出，只要長江各省能「竭誠贊助統一」，同時又不再支持曹、吳，就不應繼續用兵。張作霖、馮玉祥聽了，覺得長江各省「合力死斗」的情況未必就不會發生，於是也都不得不在原則上同意段祺瑞的意見。