廣東的軍政府包括：國民黨、政學系、桂系、滇系、粵系，以及名流派如唐紹儀等。當然大家意見並不一致。前面已敘述過廣東桂系與地方派粵系軍人的鬥爭，駐粵滇軍的內鬨等。粵系軍人首領前廣東省長李耀漢被桂系迫下台赴港養病後，仍然保有肇軍總司令的名義，其部將翟汪代理省長，古日光代理肇陽羅鎮守使，其他粵系軍人如廣惠鎮守使李福林、警衛軍統領魏邦平都和李耀漢有密切的聯繫，所以桂系對粵系戒心未除。民國8年6月12日廣東督軍莫榮新進一步下令通緝李耀漢，並沒收其財產，派桂系健將林虎繼任肇陽羅鎮守使，時軍政府下令罷免李耀漢的肇軍總司令一職，14日林虎前赴肇慶布置一切，這是在廣東的桂系準備以武力剷除李耀漢勢力的具體行動。由於桂系的壓力，廣東代理省長翟汪力辭代理職務，派張錦芳暫行護理省長。
桂系在廣東對廣東軍人的壓制行為，引起了廣東人民和各方面的極大反感，因此廣東人民舉行了大罷工、罷市、罷課來表示抗議。廣九、廣三鐵路火車停駛，廣州市電燈不明，形勢極為緊張。這時候廣東老百姓只希望桂系力量能夠早日被逐出，他們曾有計畫擬選舉伍廷芳為省長以對抗桂系另派省長。同時在軍事上粵系地方派也想連絡國民黨內的粵系軍人，當時國民黨內的粵系軍人實力分子是陳炯明，陳炯明這時擔任粵軍總司令正駐軍閩南，陳炯明的離粵，也是受到桂系的排擠，他內心當然想回廣東，廣東地方派軍人魏邦平和李福林派人暗和陳炯明通款曲，要求陳率軍秘密開回廣東，魏李等在內接應，以便裡應外合驅逐桂系。
然而桂系在廣東的力量究竟是最大的，所以魏邦平和李福林這個計畫是不容易實現的，因為桂系一直有軍隊監視粵閩邊區的陳炯明，陳炯明回車的行動立刻會引起阻止行動，很難達到目的。
陳炯明率軍回粵的消息傳出去了，可是實際行動卻很難實現，因此陳炯明只好公開通電否認他要率軍回粵的謠言。否認儘管否認，事實上陳炯明在6月25日即秘密與福建督軍李厚基簽訂了粵閩劃界停戰協定，這就表示陳炯明隨時可能率軍由閩南撤出，不會受到福建方面的追擊。
陳炯明當然是日夜希望回到廣東，他又何嘗忘了廣東督軍的寶座。
南方的軍政府由單一的大元帥制改組為合議形式的總裁制後，實際上的軍政府並不在七總裁控制中，而是由桂系所控制。同時名雖號稱七總裁，可是這時候，孫中山先生已去上海，宣布辭職。唐紹儀一直在上海擔任南方的議和總代表。唐繼堯在雲南。陸榮廷則留在廣西。所以在廣州只有岑春煊、伍廷芳、林葆懌三人。雖然那些不在廣州的總裁們都派有代表列席政務會議，可是桂系只承認陸榮廷的代表合格。孫、唐、唐的代表桂系都不承認。主席總裁岑春煊則一切聽命於桂系。
8年8月7日孫中山在上海通電辭去總裁一職，並聲明自辭職日起，以後軍政府所發文電如果仍簽署他的名字，概不負責。11日廣州國會開會議決挽留孫中山。這個期間廣州舊國會內政學系議員和照霞樓派議員之間衝突更尖銳化了（照霞樓派是國民黨系議員的代稱，因為當時國民黨籍議員多數下榻照霞樓）。由於對軍政府極為不滿，照霞樓派策動第二次改組軍政府，首先提案查辦廣東財政廳廳長楊永泰，提起楊永泰也是個了不起的人物，他是政學系的軍師和智囊。隨後照霞樓又建議撤回南方議和總代表，改組軍政府為正式政府。對北京政府明令討伐。又因岑春煊私派代表到北京秘密接洽和議，違反《約法》精神和軍政府的合議制，照霞樓派議員提出不信任主席總裁一案，岑春煊於是忿而辭職。這期間政學系很孤單，舊國會各黨派與國民黨聯合起來，於是改組軍政府一案遂得通過。九十月間，軍政府和國民黨佔有優勢的舊國會已經處於對立的地位，使得軍政府的地位搖搖欲墜。
這時候，滇系和桂系還是和好時期，所以唐繼堯、莫榮新、譚延闓、劉顯世聯名通電，反對軍政府改組。陸榮廷、林葆懌、譚延闓、譚浩明則紛紛通電挽留岑春煊。
9年初，滇桂兩系因為爭奪駐粵滇軍的統率權而翻臉，唐繼堯也打算辭去總裁以拆軍政府的台，於是南方的政治局面為之一變，滇系和國民黨結合起來，桂系便陷於孤立。國民黨計畫以雲南為新根據地，把廣州的非常國會搬去昆明，並在雲南組織新的西南政府。當北江滇軍問題發生時，廣州參眾兩院議長吳景濂、林森都秘密地由廣州潛赴香港，舊國會議員們也一批一批地前往香港集中。
唐繼堯計畫和粵軍總司令陳炯明兩面向廣東進兵，夾攻桂系，粵軍由閩回粵的謠言盛傳一時，陳炯明不但和福建督軍李厚基秘密妥協，並與親桂系的滇軍師長方聲濤部在粵閩邊境發生衝突。
9年3月29日軍政府政務總裁伍廷芳及參眾兩院議長林森、吳景濂以反對岑春煊，悄然離粵赴上海。
伍廷芳的不辭而別，使軍政府有點手足無措，並不是伍廷芳有什麼重要過於孫、唐、唐三總裁，而是伍廷芳有他的價值，因伍兼任軍政府的外交部長和財政部長。8年6月外交團取得北京政府的同意，以關稅餘款的百分之十三撥交南方軍政府作為政費，這筆款項指定由伍廷芳簽字具領，如今伍廷芳悄然去港，外國人只認簽字，誰也無法冒簽伍的簽字，換句話說領這筆錢發生了極大的麻煩，這就是伍廷芳比其他總裁重要的地方。
同時伍廷芳經手領取的關稅餘款共五次，全數390餘萬元，除支付外，還存了180餘萬元。這筆錢在伍出走時也沒有移交，全數攜之而去。
伍這一著，比帶了軍隊走還要凶，因為在當時的軍政府，財政是最重要的一環。岑春煊趕回廣州後立刻寫了一封親筆信，派專人到香港敦請伍回穗，岑在信中說了許多好話，只要求伍回來，無話不可談，無事不可商。然而伍則堅決拒絕，任來人怎麼懇求，就是不肯回去。
軍政府只好發表公報：4月8日軍政府政務會議解除伍的外交、財政兩部長兼職，仍留總裁本職。同時譴責伍廷芳不告而行，既不接受勸告回省供職，又不辦理移交。尤有甚者，伍攜走了關稅餘款180萬元，致使庫空如洗，軍政各費均無從應付。另一公報則宣布：政務會議議決免除伍廷芳外交、財政部長兼職，特任溫宗堯為外交部長，陳錦濤為財政部長。陳錦濤未到任前，由次長文群代理部務。
伍廷芳這次攜官印出走是第二次了，其第一次是在民國6年7月張勳復辟時，他攜帶外交總長的印信由北京到上海，仍然自居為合法的外交總長；這次也是一樣，4月10日他在香港發出通電，宣布繼續執行外交、財政兩總長的職權。軍政府除通電否認其職權外，並電請北京政府轉告外交團，以後關稅餘款請直接解交軍政府領收。
4月中旬，軍政府在香港延聘律師控告伍廷芳捲款潛逃，伍也聘律師對抗。香港中外報紙大登特登。這一來大家都知道南方的軍政府不只是四分五裂，根本是一息奄奄了。
這真是一件極可惜的事，對於南方軍政府，因為這時正是北方直皖兩系瀕臨破裂，戰爭一觸即發，如果南方真的護法，團結一致，則北方的變局將使南方漁翁得利。不料南方也是一樣，一方面滇粵軍發生衝突，另方面軍政府則四分五裂。相對的，北方也是自顧不暇，不能抓住這個機會來統一南方，如果這時北方直皖兩系不是到了最後火併的時候，則用兵南方不難底定全局的。
對南方軍政府最嚴重的，是國會議員也成批地不辭而別，甚至還帶走了檔案。4月1日，非常國會眾議院副議長褚輔成去了香港，行前曾召國民黨籍議員到香港集中，兩院秘書廳在國民黨議長指揮下，把兩院檔案卷宗全部打包疊好，分批運赴香港，這一來真是徹底地搬了家。使得廣州的非常國會變成了真空狀態。
4月3日，岑春煊風聞國會已搬空了，乃下令派憲兵前往兩院搜查，果然發現國會重要文件全部已經運走，大為光火，因之派警察嚴密監視兩院。
4月6日，留穗未走的國會議員召開聯席會議，非國民黨議員公推孫光庭為參議院主席，陳鴻鈞為眾議院主席，代行議長職權。同時通電宣布眾議院議長吳景濂、副議長褚輔成、參議院議長林森等「帶印潛逃，嗣後如假議長名義在外發表文電，一概認為無效。」
國民黨籍議員在香港舉行座談會，會中討論主題是把國會搬到什麼地方？有的主張搬到雲南，一部分則主張搬去上海。主張遷上海的人認為上海是皖系勢力範圍，而皖系對國民黨日益表示好感，自不會幹涉國會在上海集會。上海是全國重心，一舉一動容易受人重視，耳目靈活，宣傳的效果也很大。可是反對派則認為國會之所以播遷，就是因為受皖系軍閥的迫害，當年就是皖系軍閥強迫北京政府下令解散的，現在的安福國會也是皖系一手孕育出來的，因此國會再投奔皖系勢力範圍之內，未免太沒有骨氣了。所以這派人主張國會遷昆明。可是反對遷昆明的人理由也很對，他們認為雲南僻處一隅，交通不便，國會遷滇無法號召，在政