在盟兄陳其美死後的很長一段時間裡，蔣介石在國民黨內部的地位不高，離核心領導層也距之甚遠。直到1922年，因陳炯明背叛革命，孫中山困守永豐艦，蔣介石得訊後立刻從上海飛奔到艦上與之共患難，事後還寫了一本名為《孫大總統廣州蒙難記》的小冊子，以吹捧孫中山的形式來抬高自己的身價，由此也成為了孫中山所倚重的極少數成員。
蔣介石訪俄回國後，正值國民黨改組的「一大」會議在廣州舉行，但大會選出的中央執行委員24人、候補中央委員17人中都沒有蔣介石的名字，而共產黨人林伯渠、張國燾、瞿秋白等人卻赫然在列。當時已經被任命為黃埔軍校籌備人的蔣介石在一氣之下留書請辭，未及孫中山批准便「拂然而行」，直到兩個月後才回到廣州，正式接辦黃埔軍校的建校事宜。
訪問蘇俄與出任黃埔軍校校長是蔣介石提升自己地位的重要契機，特別是孫中山制定「聯俄」政策及蘇俄顧問在廣東革命政府鞏固了自己的地位之後，蔣介石更是其中最大的獲益者（譬如蘇俄援助的經費及武器的分配）。當時的蔣介石表現也很積極，他常在公開的演講中大喊擁護「聯俄」政策、反對帝國主義等漂亮的口號，這也讓蘇方代表鮑羅廷及國民黨左派人士大為賞識，並將之視為可以信任的人。
1924年底，孫中山應馮玉祥之邀北上商談統一大計，汪精衛、鮑羅廷也隨同前往；次年3月，他們成為了孫中山去世後遺囑的見證人。孫中山死後，繼承其領袖地位呼聲最高的是胡漢民、汪精衛及廖仲愷，但胡漢民的右派立場在一定程度上削弱了他的影響；汪精衛作為孫中山遺囑的實際執行者，倒是很想繼承孫中山的地位，但汪精衛是個優柔寡斷的人，缺乏感召力，因而得不到太多的擁護；廖仲愷因為積極與蘇俄專家合作，當時也是個炙手可熱的候選人。除去以上三位，粵軍將領許崇智及黃埔軍校校長蔣介石則是排名其後的備補人選。
但1925年後的事態發展卻大大出乎了所有人的意料。首先是第一次東征的大獲全勝，這使得原本並不十分出名的蔣介石一下子成為了家喻戶曉的大英雄；接著，蔣介石又回師平定楊希閔、劉震寰叛亂，其掌握的「校軍」規模也由此大大擴充，成為一支不容小覷的武裝力量。
勝利之餘，廣東革命政府由大元帥制的軍政府改組成委員制的國民政府，值得注意的是，原為軍政府「代帥」、被認為是孫中山第一號繼承人的胡漢民在這次改組中卻未能順理成章地成為國民政府主席，而僅僅擔任了外交部長；汪精衛則在鮑羅廷的暗中策划下當上國民政府主席，成為黨內第一號人物。
被視為軍事專才的蔣介石在這次改組中也沒有太大的收穫，他未能進入國民政府委員會而僅被選為軍事委員會中的八個委員之一。不過，廣東革命政府隨後對各軍隊進行了改編，蔣介石所掌握的「校軍」及一部分粵軍被編為第一軍，名列各軍之首（依次為譚延闓的第二軍、朱培德的第三軍、李濟深的第四軍、李福林的第五軍、程潛的第六軍，兩廣統一後，李宗仁部被編為第七軍）。除了擔任第一軍軍長之職外，蔣介石還擔任了軍事委員會委員、黃埔軍校校長、廣州衛戍司令、長洲要塞司令等職。不過，這些職務都是軍職，蔣介石當時尚未能在黨政方面立足。
1925年8月發生了一件大事，頓時令廣東政局風雲突變，這就是「廖仲愷遇刺案」。廖仲愷於1877年出生於美國的一個華僑家庭，1902年到日本早稻田大學留學期間結識了孫中山，由此走上了革命道路。廖仲愷曾擔任過同盟會外務部幹事並做過中國留日學生會會長，在「二次革命」失敗、孫中山流亡日本期間，廖仲愷成為孫中山的堅定追隨者。
廖仲愷祖籍廣東，與孫中山為同鄉，其身材不高、臉龐消瘦，外表因多年的奔波勞累而顯得比實際年紀要大一些。但是，廖仲愷是一個意志極堅定、有恆心、能吃苦的實幹家，他在黨內一直負責最困難、最繁瑣的經濟事宜（譬如為黃埔軍校籌集經費而被稱為「黃埔的慈母」），其貢獻在黨內有口皆碑。
汪精衛做上主席之後，實權卻是控制在廖仲愷手中的，因為他是蘇方代表鮑羅廷的堅定盟友，而鮑羅廷在當時廣東革命政府中的地位是極特殊的。鮑羅廷在俄國「十月革命」前也曾在美國生活過很長一段時間，他與孫中山、廖仲愷都不存在語言上的隔閡，因而在孫中山死後，廖仲愷幾乎事事都與鮑羅廷商量。
對於孫中山提出的「聯俄政策」，廖仲愷是自始至終的堅定支持者，也是最有力的擁護者；汪精衛最開始持反對態度，但蘇俄援助到後，嗅覺靈敏的他立刻變成了一個積極的左派；胡漢民一開始是中立的，最後卻變成了反對「聯俄政策」的右派代表。至於蔣介石，或許是因為他的訪蘇經歷，他才是「聯俄政策」的最大受益者，因為黃埔軍校及第一軍始終是蘇援的最優先者。
「廖仲愷遇刺」一案事態嚴重，國民黨中央很快成立以汪精衛、許崇智、蔣介石為首的特別委員會進行調查。在查辦「廖案」的過程中，一些粵軍將領及右派分子被發現牽涉其中，而胡漢民的堂弟胡毅生也有嫌疑（他還是廖仲愷結識孫中山的中間人）。從各種事實來看，胡漢民雖然沒有直接涉案，但他對暗殺一事卻是知情的，因此事後他沒有辯解而是主動要求保護，汪精衛則順水推舟，令蔣介石將之軟禁在長洲要塞。執行時，蔣介石假惺惺地對胡漢民說：「大家都認為您與此案有關。可是兄也該明白我們的苦衷，我們也拿不出您無牽連的依據，只好委屈您了。」一個月後，胡漢民以前往蘇俄「考察」的名義被送上「蒙古」號輪船，實則是被驅逐出廣東。
到底誰是刺殺廖仲愷的幕後兇手，至今仍舊是一個謎。現場的兩名直接兇手，一個被廖仲愷的衛士當場打死，另一名則身受重傷，不久後即死去，也沒有留下有價值的線索。至於一些可疑的人物，如胡毅生、朱卓文、魏邦平等人早已聞風逃竄到香港，被捕的只有林直勉一人，但事後也因查無實據而釋放（目前論者大多認為系朱卓文買兇殺人，朱卓文也曾旅居美國）。
同時捲入「廖案」的還有許崇智屬下的梁鴻楷等粵軍將領，許崇智由此落入了尷尬的處境。9月20日，蔣介石突然令黃埔學生軍將許崇智軟禁，其所部粵軍遭到遣散或改編。許崇智、張靜江、蔣介石三人曾為八拜之交，蔣介石做過許崇智部多年的參謀長，但隨著時間的推移，兩人矛盾漸深。許崇智所部軍閥習氣濃厚，軍餉遠超過其他部隊，而許崇智本人在廣州「狂嫖闊賭」並有私吞公款、剋扣軍餉等惡名，因而蔣介石的行動在當時並未遭到非議。
後來，蔣介石給許崇智送了一封信，信中曆數了他多年的罪狀，並勸他自動「卸職」，以對「總理在天之靈」；信末，蔣介石又假惺惺地說，這樣做是為了許崇智「個人計」，並答應許崇智「暫離粵境，期以三月，師出長江，還歸坐鎮，恢複令名」，但許崇智被下屬旅長陳銘樞武裝押送到上海休養後，終身未問及政治。
廖仲愷遇刺後的幾個月中，汪精衛與蔣介石兩人心照不宣、密切合作，聯手將政敵胡漢民、許崇智一一逐出廣東。從結果上來看，汪精衛固然是如願以償地成為「四位一體」（國民政府主席、政治委員會主席、軍事委員會主席及中央執行委員會主席），集黨政軍大權於一身，但從長遠來看，最大受益者卻是蔣介石。因為「四位一體」要沒有軍隊支持的話，所謂的「領袖地位」不過是政治傀儡。
汪精衛是聰明人，他當然不會不懂這點。1926年2月初，在國民黨「二大」閉幕後，鮑羅廷因為要回國述職而暫時離開廣州，軍事總顧問加倫將軍則在此之前因為舊傷複發而北上（一說是到馮玉祥的國民軍中去指導工作），當時充當蘇方臨時總顧問的季山嘉與蔣介石在多個問題上發生衝突，而作為國民政府主席的汪精衛則緊緊跟在季山嘉的後面，由此，汪、蔣之間的矛盾急劇上升，兩人的政治蜜月宣告結束。
季山嘉與蔣介石的矛盾主要有以下幾個方面：一是北伐問題，蔣介石希望能儘快北伐，而季山嘉認為各方面條件都準備不足，北伐應該從緩；二是軍隊組織與經費問題，軍委會曾在2月6日決議撥給黃埔軍校30萬元經費，王懋功的第二師12萬經費，但在第二天，又突然改成黃埔軍校27萬元，第二師增至15萬元，這讓蔣介石感到十分不安，因為第二師雖然歸他節制，但師長王懋功是汪精衛的人，蔣介石認為這一變動一定是季山嘉在背後起了作用，而目的是要讓第二師從第一軍中獨立出去。
而在這時，廣西軍隊被改編成第八、第九軍，算上廣東原有的六軍，第七軍的編製就被空了下來，這讓蔣介石更加懷疑汪精衛、季山嘉是要讓第二師升級為第七軍。為此，蔣介石於2月26日突然將王懋功扣押，改派自己的親信劉峙為第二師師長（從某種意義上來說，這其實已經是「中山艦事件」的預演了。當然，這尚屬於蔣介石的職權範圍，後來廣西軍隊也獲得了第七軍的編號）。