正當黎總統和段總理互有攻守的時候，北京的《京報》突然披露了一個爆炸性的消息，那就是段內閣正在與日本秘密談判，主要內容是日本借給中國一億日元幫助中國參戰，條件是聘用日本武官訓練中國軍隊、聘用日本管理人員來主持中國的軍事工業等等。
這消息披露後，立刻在全國引起了強烈的反響，各種質疑和罵名紛至沓來，令段祺瑞極為被動，只得多次出來辨明並無此事，其暗中與日本的談判也就不了了之。
在段祺瑞陷入被動的時候，總統府的人卻興奮了起來，他們一致建議黎元洪乘機將老段趕下台，而黎元洪也覺得這次輿論上的勝利揚眉吐氣，大快人心，從此腰杆子也可以硬起來，也不必再看老段的臉色了。
此刻的老段，也感覺到了總統府和國會的壓力，他不得不後退一步，不再糾纏參戰案的事情，而是重新擬定了一份內閣改組的名單，準備替換那些辭職的閣員。為了向黎元洪和國會示好，段祺瑞還特意挑選了一些親近總統府的人入閣，以便順利通過。
但是，黎元洪此時已經下定決心要倒段祺瑞的閣，他對這份內閣的新名單挑三揀四，一會說這個不行，那個不信任，老段忍耐不住，便和黎元洪爭論了起來：「內閣應由總理全權組織，通過與否是國會的事情，不是總統的職權！」
黎元洪哼了一聲，說：「國會對你已經毫無信任，之前公民團的事情又鬧得不像話，現在督軍團還干涉制憲，說什麼要解散國會，這難道不是你總理的責任嗎？」
段祺瑞聽了這話，氣得鼻子都歪到了一邊，他站起來一拍桌子，吼道：「我不幹了！」說罷，一跺腳，掉頭便走。
有了段祺瑞的這句話，黎總統一不做、二不休，當天下午便簽署命令，將內閣總理段祺瑞免職，理由是段內閣閣員長期虛懸，國務院內只剩下光桿總理一人，對國事不利，應重新選擇總理並另行組閣。與此同時，黎元洪又批准了段內閣其他總長之前送來的辭呈，唯獨留下外交總長伍廷芳的一份，並令伍廷芳暫代內閣總理一職。
黎菩薩終於發飆了，這可是他到北京以後所干過的第一件大事。
此令一出，老段的鼻子再次歪到了兩指開外，他怎麼也沒有想到，黎元洪竟敢真的將他免職！要知道，上次他不過出走天津，黎元洪便被嚇得屁滾尿流，連連求饒，想不到這還沒幾天，翅膀就硬起來了！
好，好，此處不留爺，自有留爺處，你不讓我干，老子走！
當天晚上，段祺瑞便收拾行李，帶著衛隊營的部分衛兵乘火車前往天津。這次的「府院之爭」，也就以段祺瑞的去職出走而告一段落。
在臨走之前，段祺瑞向各省督軍發了一個通電，稱：「按共和各國的責任內閣制，命令非經總理副署，不能發生效力。調換總理之命令，未經祺瑞副署，將來地方、國家因發生何等影響，祺瑞概不能負責。」
段祺瑞的意思是，黎元洪的這個免職令沒有經過他的副署，不能生效。這又是怎麼回事呢？原來，《臨時約法》中規定大總統提名內閣總理組閣，而行政事務均由責任內閣負責，大總統發布的命令也須總理副署，這個自相矛盾的規定，之前已經讓袁世凱和唐紹儀發生矛盾並導致唐紹儀負氣出走，這次又輪到黎、段衝突了。
按說，中國是個大國，本就該實行總統制，可當時制定《臨時約法》時，那些革命黨議員們為防止袁世凱當上大總統後大權獨攬、延續專制，便將南京臨時政府的總統制又改為責任內閣制。但這種非驢非馬的制度在中國完全水土不服，實行的結果便是惹出種種風波，反而讓國事不暢。如此反思下來，堂堂一個憲法性文件，濟濟一群年輕有為的制憲議員，因為個人的私心而置國家大事於不顧，這豈不是大大的誤國？（真正成熟的責任內閣應是由在國會選舉中勝出的黨派來組織，本就不該由總統來提名組閣的，但考慮到民國初年完全不成熟、不理性的政黨狀況，總統提名卻又是必然）
黎元洪對段祺瑞的免職令發到各省後，也引起了一場極大的震動，而當時的一些督軍們正在徐州開會，聽到這個消息立刻蹦了起來。原來，在督軍團在向總統府提出解散國會的要求後，但未見黎元洪有絲毫的退讓，僵持了兩天後，這些軍頭們只好悻悻然的於5月21日集體離京，前往徐州赴辮帥張勳邀集的會議去了。
說到張勳，這裡卻要補充幾句。張勳，字少軒，江西奉新人，他比袁世凱要年長5歲，參加過中法戰爭並在鎮南關大捷中立下軍功，也還算得上是個抗法英雄；後來因為在甲午戰爭中大敗而歸才投到了袁世凱的門下，成為北洋系中一名老資格的將領。在庚子之亂後，慈禧太后從西安迴鑾，張勳所部承擔了護衛任務，後來又被調到北京充當扈從部隊，由此皇恩浩蕩，加官晉爵自然不在話下。
清朝的最後一年，張勳被外放江南提督，並在辛亥革命中死守南京城，與革命軍血戰一場，最終不敵而退往徐州。袁世凱當政時期，張勳所部被改名為「定武軍」，駐兗州。由於張勳自命忠於清廷，他嚴禁其部卒剪辮，所以他的軍隊也被人稱為「辮子軍」，「辮帥」之名，也由此得來。
「二次革命」爆發後，張勳在袁世凱的命令下，率領數千如狼似虎的辮子軍急進猛攻，並率先殺入南京，報了當年的一箭之仇。後來，因為辮子軍軍紀敗壞，張勳退出南京而被袁世凱授予長江巡閱使，所部駐守徐州。
徐州乃南北要衝，自古便是兵家必爭之地，以當時張勳的實力，任何人都不敢小覷。袁世凱在搞洪憲帝制的時候，屢次催促張勳出征護國軍，但都被拒絕。袁世凱死前，江蘇督軍馮國璋請各省督軍到南京會議，試圖形成袁世凱和護國軍之間的第三派勢力，結果張勳和安徽督軍倪嗣衝過去一陣亂搞，把馮國璋的一台好戲硬生生的攪黃。
袁世凱死後，張勳反客為主，他把參加南京會議的各省軍頭及其代表們邀到徐州（計有奉天、吉林、黑龍江、直隸、河南、山西、安徽七省代表）開會。在會上，張勳仗著自己的老資格而大放厥詞，聲稱君主制與共和制無非是各抒己見，公論自在人心，不能以成敗來論英雄。張勳的表態，其實是話裡有話，他既反對懲辦洪憲帝制中的罪魁禍首，而且隱然透露出復辟的願望。
段祺瑞一向以北洋系正統自居，原本是看不起張勳這樣被收容進北洋的雜牌軍的，但張勳拉攏了數省督軍，他也不敢怠慢，隨後便派出代表前去參加徐州會議。在張勳的主導下，徐州會議最後議定十條決議，其中第一條便是「尊重清室優待條件」，第二條則是「保全袁大總統家屬生命財產及其身後一切榮譽」。
張勳刻意保全清朝遜帝和洪憲皇帝袁世凱的利益，正應了他在辛亥革命後說的一句話：「清帝故主也，袁總統恩師也，今袁為總統，宣統仍為皇帝，我為國民服務，公義私恩，兩無妨礙。」由於徐州會議進行得很成功，張勳在會後便得意洋洋的自認為是北洋系各路諸侯的「大盟主」，隱然執各督軍之牛耳。
在黎元洪與段祺瑞在北京「府院之爭」的時候，張勳卻在徐州冷眼旁觀，伺機而動。對於民國後搞的「民主共和」，張勳是有一肚子的牢騷和不滿的。在他的眼裡，「共和民主」簡直就是胡鬧，這總統、總理、國會搞來搞去，亂七八糟，弄到最後是一團亂象，什麼也幹不成。要總這麼下去的話，倒不如回到原來的老路上去……還政於清，復辟算了。
當然，張勳的觀點固然可以發表，但在當時畢竟是少數派和非主流，要真做起來的話，恐怕就不是那麼回事了。
1916年9月21日，在國會重新召開不到兩個月，張勳再次召集各省督軍及代表進行第二次徐州會議。這一次會議的規模遠大於上一次，參加這次會議的有山東督軍張懷芝、第五師長張樹元、奉天督軍張作霖、吉林督軍孟恩遠、黑龍江督軍畢桂芳、江蘇督軍馮國璋、河南督軍趙倜、湖北督軍王占元、江西督軍李純、福建督軍李厚基、直隸督軍曹錕、直隸省長朱家寶、浙江督軍楊善德、淞滬護軍使盧永祥、第七師長張敬堯、袞州鎮守使施從濱、兩廣礦務督辦龍濟光或指派代表等，就連京師警察總監吳炳湘和北京步軍統領江朝宗也派了自己的代表前來參會。
在這次會議上，張勳屢次或明或暗的發表復辟言論，只可惜沒有得到其他代表的積極響應，老張也只好作罷。不過，第二次徐州會議也有收穫，那就是他被推舉為十三省區的大盟主，隱然成為北京政府與西南革命黨勢力之外的第三方力量。
在督軍團要求解散國會的要求被向大總統黎元洪拒絕後，張勳覺得時機成熟，於是便將這些軍頭們再次邀請到徐州，商議如何對付黎總統和國會。正在議論間，黎元洪將段祺瑞免職的消息傳來，這下可就炸開了鍋了。
對於派系之外的黎元洪，各軍頭們原本是輕蔑有加的，他們怎麼也沒有想到，這個無兵無權的空頭總統竟敢真的將老段免職了。你想啊，老段是誰？自己人啊！
在震驚之餘，這些武夫們