有名無實的統一之後，蔣介石雖高高在上，控制唯一合法的中央政府——南京政府，但事實上不過是佔領東南幾省的一個諸侯。他環顧當時的中國，自南至北，除他之外，還有五個權力中心：廣州的李濟深、武漢的李宗仁、開封的馮玉祥、北平的閻錫山以及瀋陽的張學良。這種國民黨內群雄割據的局面，多少由蔣一手助成。他為了建立個人的軍事勢力，不惜一再打擊黨的威信，甚至否認武漢黨中央而別立南京中央，開了國民黨內軍頭主義的先河。他又為了早日完成北伐，不惜容納軍閥餘孽，並與各派軍頭妥協，允諾地盤以及其他政治與經濟利益，最後造成以國民黨新軍閥取代北洋舊軍閥的後果。
更糟糕的是，北伐完成，若論戰功，蔣介石的第一集團軍無論如何擺法，必然在四個集團軍中「憾」陪末座。號稱第一，實居第四，若論功行賞，欲以第一集團軍通吃其他各軍，必難以服眾。「功」之外，蔣之「德」更不堪聞問，即連始終幫蔣抬轎子的丑角吳稚暉，私底下也說：「蔣先生是個流氓底子出身，今已黃袍加身，一躍而為國府主席，自然目空一切。」(《李宗仁回憶錄》，頁三九四至三九五)「黃袍加身」是宋太祖趙匡胤的故事，明末清初大儒王船山於《宋論》中暢言，宋太祖取天下自知無德、無功，乃重一「懼」字，即懂得謹慎小心的道理，逐步杯酒釋兵權，重文偃武，使天下晏然。蔣介石若有慎懼之心，自應面對現實，認可中央與地方均權分治，在聯省自治的基礎上，更上層樓，以便避免戰禍，和平建設，逐步完成真正的全國統一。然而他既無德無功亦不懼，才會「目空一切」，悍然欲以武力征服所有的異己，以遂其迫不及待的中央集權心愿，結果弄得全國騷然，黨爭無已，兵戈不休，最後釀成中原大戰。此役為時之久、殺戮之慘、破壞之厲、百姓之苦，皆為北洋軍閥時代所未曾見，
蔣於動武之前，早已有一連串的動作。他於一九二八年六月九日，眼見北伐即將告成，突然宣布辭去黨政軍各職，其動機不外有二，其一於此緊要關頭，撒手不幹，必獲各方呼籲挽留，以增身價；其二欲「以身作則」，誘各軍頭效法，如在辭職電文中所謂「此後軍權統歸政府」云云，以便戰後削藩。但這場戲演下來，只遂其一。果然自中央到地方欲請蔣留職的電文交馳，蔣然後於六月十七日打消辭意，要負責到底。三日之後即部署改直隸為河北，北京為北平，並任命新人事，以削閻錫山之權，逼使閻於六月二十七日辭去京津衛戍司令一職。
李宗仁在其回憶錄中透霹一則自稱「驚人的消息」，謂蔣在北伐剛完成時，已經企圖用武力消滅異己。這則驚人消息，是他於一九二八年七月底在李濟深家裡聽到的!
李濟深當時住在南京鼓樓附近一座小洋房裡，蓋因曾兼黃埔軍校副校長職，故家中常有黃埔學生出入。某次，有一位粵籍黃埔生去找他，並告訴了他一項特別消息。略謂：
蔣校長此次(十七年七月杪)自平返京道上，曾在蚌埠稍事逗留，並召集駐津浦沿線的第一集團軍中黃埔軍校出身上尉以上軍官訓話，訓話時，發給每人一小方白紙，並詢問大家，北伐完成後，軍閥是否已經打倒？認為已經打倒的，在紙上寫「打倒了」三字，若認為尚未打倒，則寫「未打倒」三字。各軍官不知校長的用意，為仰承其意旨起見，概按照事實，做正面的答覆。蔣看後大不以為然，遂再度訓話說，你們認為軍閥已打倒了，其實不然，舊的軍閥固然是打倒了，但是新的軍閥卻又產生了。我們要完成國民革命，非將新軍閥一齊打倒不可。蔣氏最後更強調說，只有連新軍閥一齊打倒，你們才有出路，你們現在當連長的人，將來至少要當團長云云。(頁三九—)
李濟深是國民黨老軍頭，北伐初期第四軍軍長，留守廣州，併兼黃埔軍校副校長。有軍校出身軍官將此事相告，不足為奇，何況寫紙條的軍官必不在少數，人證很多，絕不可能是流言傳說。然則蔣視馮、閻、二李為新軍閥，已呼之欲出。如果國民革命軍的第二、三、四集團軍皆為新軍閥，則第一集團軍豈能例外？蔣無意之間認同了毛澤東所謂「國民黨新軍閥蔣桂馮閻四派」(見《毛澤東選集》合訂本，頁四十七)的說法!
動武需要準備，一口難吸西江之水，故蔣同時採取別種步驟。他於宣告北伐完成之際，立即強調軍政時期已經結束，將進入訓政時期。訓政由黨，他顯然想用黨來收軍權，然後可由他所控制的黨來控制一切。基於此一考量，他處心積慮地要建立與國民黨始祖孫中山的親密關係，造成他才是嫡傳與承繼革命法統的印象，想要挾「死中山」以令諸侯。在這一方面最具戲劇性的表演，莫過於邀集了連他本人在內的四大集團軍總司令，以及麾下芸芸將星，於七月六日到北平碧雲寺舉行祭奠孫中山靈柩的大典。典禮於八時二十分開始，蔣主祭，馮、閻、李等襄祭，蔣讀祭文曰：
維中華民國十七年七月六日，國民革命軍既奠北平，弟子蔣中正謹詣香山碧雲寺，致祭我總理孫先生之靈曰：溯自我總理之溘逝，於今已三年余矣，中正昔待總理，親承提命之殷殷，寄以非常之任，教誨拳拳，所以期望於中正者，原在造成革命之武力，剷除革命之障礙，以早脫人民於水火……
此時蔣與宋美齡結婚將近一年，與孫中山已有連襟之誼，不稱姻弟，而降格稱弟子，實欲著重革命的師承關係，耳提面命之親密關係，寄以非常之任的特殊關係，而此革命之武力即由其遵孫命而建成。他以主祭者身份，祭告北伐勝利，統一大業完成，更有不辱使命、居功不疑的神態。名為祭告，實在是做給睽睽眾目看的。所以他更於開棺瞻仰遺容之際，竟當眾扶棺號哭，情同孝子。然而從相陪的目擊者如馮玉祥、李宗仁的回憶看，他們並不吃那一套(見馮玉祥《我所認識的蔣介石》，頁十六；《李宗仁回憶錄》，頁五六九)，不過是在看演戲罷了。祭靈哭棺後不到三個月，蔣即議定迎櫬南下，積極準備，大肆鋪張，並定一九二九年三月十二日為奉安日期，飭令平漢鐵路局趕造靈車，向美國訂購奉安汽車，訓練杠夫百餘名。尋因趕工不及，推遲奉安日期至六月一日。蔣介石親自擔任奉安委員會主任委員，經由國民政府下令自五月二十六移靈之日起，全國一律下半旗七天，人民臂纏黑紗七天，並停止一切娛樂、慶典。靈車先自碧雲寺移下至北平東站，掛列車十五輛，直抵浦口，由蔣介石領導迎櫬，中央大員一律藍袍、黑褂、白帽、黑履、黑襪，肅立行禮。禮畢，移靈至威勝軍艦，渡江上岸，自蔣以次，依序執紼，隨靈車到中央黨部禮堂，舉行停靈禮，仍由蔣主祭，獻花上香。然後蔣以下中央委員、特任官六十六人，三人一班，每夕輪流守靈，直至六月一日奉安之期為止。是日靈車啟行徑往紫金山，杠夫人一百零八名，由蔣介石、孔祥熙引導拾級而上，扶櫬入祭堂，舉行奉安典禮，再由蔣主祭，獻花圈，宣讀誄文，行禮如儀。禮成，移櫬入墓門，鳴炮一百零一響，蔣等依次進墓門瞻仰，最後集合眾人行三鞠躬禮，奏哀樂而禮成。(參閱《奉安實錄》)
如此鋪張繁費，還要全國人民戴孝，封建帝王色彩已十分濃厚，較之一九O八年光緒皇帝與慈禧太后的出殯大典，有過之而無不及，真是對一個革命家的大諷刺，另一個革命家章太炎實在看不過去，做了一副極為挖苦的奉安輓聯：
舉國盡蘇聯，赤化不如陳獨秀；
滿朝皆義子，碧雲應繼魏忠賢。
章氏早以孫中山的聯俄容共為赤化，但孫之赤化卻不如中共陳獨秀的正宗；新成立的南京政府，自蔣介石以下，人人奉孫中山為國父，豈非「滿朝皆義子」，真可直追明朝權宦魏忠賢了，而魏之墓在香山東麓的碧雲寺之後，正是孫死後停靈柩之處，可謂巧合。奉安大典無疑是按照蔣介石的意思辦事，死去的革命家讓他做此「封建」安排，無可奈何。他做這樣安排，感恩圖報其次，想回收政治資本的投資，才是真的。
蔣介石於香山扶柩哭靈之後，就動腦筋如何整肅異己，當時他幕下已增添了不少北洋政客策士，不時獻計討好，其中有楊永泰，字暢卿，廣東茂名人，歐戰爆發後與黃興、陳獨秀等組織「歐事研究會」，戰後改名「政學會」，世稱政學系，後回任北京國會議員，事段祺瑞，北伐後投靠蔣，任參議，促效永貞朝士獻策唐順宗，削藩權歸朝廷故事，建議將地方軍頭請到中央做官，達到「離窩毀巢」的效果，推行全軍整編，以消化地方武力。蔣遂於一九二八年八月八日借在南京召開國民黨二屆五中全會之便，拋出「軍事整理案」，以冀同化異己部隊，聲稱應自「軍政時期」邁向「訓政時期」，以黨治國，並據此提議撤銷各地政治分會。但是政治分會之設立，緣由蔣於二屆四中全會上主動提出，並有案保留至三大召開時再做決定。蔣之猴急，自難以自圓其說，於是借二屆五中撤銷政治分會的企圖，只好落空。「軍事整理案」雖然列入議程，前途未卜。蔣之中央與地方角力，頓成僵持之局。此時適胡漢民回國，亦倡言黨權，主張取消政治分會，其動機或與蔣有異，然近程