黃埔軍校開設之時只有極少軍械，後來蔣介石通過私人關係從石井兵工廠搞到500支步槍，而黃埔軍校第一期學生於1924年6月16日入學為499人，同年11月30日畢業合格者為456人，這500支步槍及第一批學員，也就成為蔣介石發家的第一筆本錢。
在訪問蘇聯期間，蔣介石將其主要精力用於考察蘇聯紅軍各兵種、軍事院校、兵工廠以及紅軍的編製、管理、政治工作、黨代表制度等，而在後來的黃埔軍校及軍隊建設上，蔣介石也運用了其中的部分經驗，但這點並不是最重要的。對蔣介石來說，訪蘇的經歷奠定了其出任黃埔軍校校長的堅實基礎，並為其之後的飛黃騰達打開了通衢之路。
在孫中山所領導的革命團體中，蔣介石的排名並不靠前，但前面的幾個人如胡漢民、廖仲愷、汪精衛三人都不具備軍事經驗，唯獨蔣介石擁有正規的軍校學習履歷並具備相當程度的軍事經驗（其在許崇智的粵軍多次擔任過參謀長）。許崇智是早期的日本士官學校畢業生並在清末時已經做上協統（其叔祖父曾任浙閩總督），論資格比蔣介石要老得多，但他過於奢靡的軍閥生活作風則為黨人所不喜。
在當時來看，黃埔軍校校長在國民黨內可能並不算是特別顯赫的職位，但其潛力卻是無窮的。1924年1月24日，在蔣介石被任命為陸軍軍官學校籌備委員會委員長後，孫中山親自前往擬定校址察看，最終將校址設在黃埔島，也就是原廣東陸軍學校及廣東海軍學校校舍，因而新辦軍校又名「黃埔軍校」（正式名稱應為「國民革命軍陸軍軍官學校」）。
黃埔島位於離廣州20多公里的珠江下游，島上有一座長洲要塞，這裡四周環水，雖環境幽靜，卻是拱衛廣州之水路要衝。孫中山認為，在這樣一個軍事重地進行學習與訓練實屬相得益彰，這也符合了蔣介石當時的辦學理念：「不要以為學習與打仗是兩回事！」
據黃埔軍校教授部主任王柏齡回憶說，軍校籌辦之時，各人都認為訓練期間至少一年，而蔣介石獨稱三個月，並說如果再延遲的話，中國可能在此期間已經亡國云云；最後，才折中為六個月。軍校開辦之初，蔣介石几乎將全部的時間與精力都傾注於此，從教官的選任、教學的內容，到學員的訓練、校務的管理，甚至到軍服的設計、校舍的衛生，無一不經蔣介石親身的參與並決定。
蔣介石常說，「第一期學生可說是我個人親自指導出來的多」，正因為如此，黃埔一期生最為蔣介石所重視，其中出人頭地的比比皆是，如宋希濂、胡宗南、余程萬、關麟征、蔣孝先、黃維、王耀武、鄭洞國、杜聿明、孫元良、李仙洲、李默庵、范漢傑、陳明仁、鍾偉、賀衷寒（以上為國民黨方面）、左權、徐向前、陳賡、周士第、侯鏡如、宣俠父（以上為共產黨方面）等。1926年1月，在黃埔一期生畢業未及一年半，蔣介石在對後幾期學員的講話中透露：「第一期學生原只有四百六十名，但連第二、三、四期已畢業、未畢業的，今天共有五千四百四十名學生了。可是第一期學生，而今只存一百四十名，其餘非死即傷。」蔣介石的這段話，也從側面揭示了軍功升遷的殘酷性。
在經濟上，黃埔軍校開創之初也是極端困難的。當時廖仲愷名義上雖然是黨代表，但實際任務卻是為黃埔軍校籌款。據廖仲愷的夫人何香凝回憶說，黃埔軍校開辦時常無隔宿之糧，廖仲愷為了籌措米飯菜肴經費，時常要忙到深夜兩點多鐘才回來。有一次，廖仲愷凌晨四點才回來，他說：「我晚上在楊希閔家，等他吸完了大煙才拿到這幾千元錢給我，不然，黃埔學生再過兩天就無米食了。」王柏齡也說，蔣介石當時為了籌集經費，也是經常親自出面向外借錢，有一次借來的尚是汪精衛夫人陳璧君的私蓄，條件是日後加倍奉還！
當時的廣東，東江一帶系陳炯明勢力控制，南路有軍閥鄧本殷，廣州一帶的稅收則是滇系軍閥楊希閔、桂系軍閥劉震寰所把持。滇軍將領范石生曾對李宗仁述及當時廣州的情景：「有時我們正在煙榻上吸煙，忽然部屬來報告說『大元帥來了』，我們便放下煙槍，走出去迎接大元帥，回到煙榻房間坐下，請問大元帥來此有何指示。如果是譚延闓或胡漢民來訪，我們就從煙榻坐起，請他們坐下商談。有時蔣介石也來，我們在煙榻繼續抽鴉片，連坐也不坐起來的。」李宗仁聽後，覺得無限心酸，但他也承認，范石生說的確系實情。當時孫中山的大元帥府因政府財源無著，有時甚至無米為炊，黃埔軍校之艱難，可想而知。
創業固然艱苦卓絕，但從1924年黃埔建校到1926年進行北伐前的這段時期，則是蔣介石打造自己幹部隊伍及發展壯大嫡系軍隊的關鍵時期，其間又主要有四大事件可圈可點，即平定廣州商團叛亂，第一次東征，平定楊希閔、劉震寰軍閥叛亂及第二次東征。
1924年8月初，就在黃埔一期生入學不久，一艘懸掛著挪威國旗的洋輪「哈佛號」從香港駛至廣州，經查，船上計有長短槍近萬支，子彈300餘萬發，系廣州商團向香港南利洋行訂購的。此事件發生後，這批槍械被扣，廣州商團則發動罷市抗議，要求發還槍械。
罷市發生後，靠截取廣州、佛山一帶稅收自存的滇軍介入調停，其以商團向政府報效50萬元為條件，請求當局將槍械發還，但數天後因為「江浙戰爭」爆發，孫中山認為北伐時機已到，隨後親率大本營北上，歸還槍械也就無從實施，因為部分槍械子彈已經北調（北伐隊伍斷無不使用新式槍械的道理）。為籌措北伐軍費，大元帥府提出商團須額外代籌北伐經費300萬元為發還軍械的條件，雙方在爭持不下的情況下，廣州商團於10月初聯絡廣州及100餘個縣鎮發動笫二次罷市。
在此期間，孫中山命蔣介石率領黃埔軍校學生北上韶關參加北伐的軍事行動，但遭到蔣介石的拒絕，蔣介石複電稱：「埔校危在旦夕，中正決死守孤島，以待先生早日回師來援。必不願放棄根據重地，致吾黨無立足之地也。中正料不久逆敵必反攻韶關，各軍非準備南下，擊滅逆敵，斷難北伐。中正當死守長洲，盡我職務。」
蔣介石所說的「危在旦夕」，實指商團之亂，因為黃埔軍校訓練剛剛開始，「三個月內，必有一支勁旅，可作基幹之用，以之掃蕩一切殘孽，先圖鞏固革命根據地之廣州」，一旦廣州有失，非但北伐失去後方基地，「吾黨永無立足之地」。正因為蔣介石的堅持，黃埔軍校才沒有變成「韶關軍校」，而從後來的歷史來看，蔣介石的堅持是對的，孫先生的北伐仍以失敗而告終。
所幸的是，第一批蘇聯援助的武器在「沃羅夫斯基」號的載運下於10月7日抵達廣州，計有步槍8000支、子彈400萬發，另有野炮、山炮、輕重機槍等重武器，商團武器及實力已無足輕重，解決商團引發的危機也恰逢其時。在孫中山的命令下，大元帥府從韶關調回的三千湘軍為主力，以民團及黃埔一期的第二、第三隊學員為輔助，向商團武裝發起了最後的猛攻。這次戰鬥進行得並不激烈，天未明前開戰，至晚間商團即戰敗乞和（商人畢竟捨不得本錢）。三天後，黃埔一期的學員舉行了畢業典禮。
在黃埔軍校的學員陸續入校的同時，蔣介石又在江浙、安徽等地募兵（以陳果夫在上海的交易所為中轉站），準備建立教導團。黃埔一期的學生畢業時，教導團也已編練成軍，黃埔軍校軍事總教官何應欽出任團長，軍事教官陳繼承、顧祝同為營長，連長則由原畢業生中的隊長充任，一般畢業生任排長或者班長。一個月後，教導2團成立，王柏齡出任團長，蔣鼎文、鄭洞國等出任營、連長。這支武裝，其骨幹力量均為黃埔軍校人員所組成，因而當時又被稱為「校軍」，這也是蔣介石親手打造的第一支隊伍，後來的軍隊擴張均以此為基礎。這支部隊的成員，後來大都成為國民黨的高級將領或官員，即「黃埔系」之搖籃也。
在此期間，蘇聯的援助至為重要。在第一批軍械解了燃眉之急後，蘇方又於1925年後運來第二批軍械，價值56萬盧布。1926年運來四批軍械，第一批有日本製造的來福槍4000支，子彈400萬發，軍刀1000把；第二批為蘇聯造來福槍9000支，子彈300萬發；第三批有機關槍40挺，子彈帶4000條，大炮12門，炮彈1000發；第四批為來福槍5000支，子彈500萬發，機關槍50挺，大炮12門。除此之外，還提供了一定數量的通訊器材等。
蘇聯援助的這些軍械及器材，蔣介石拿到了大頭，但在北伐之後也分出一批給其他部隊，如李宗仁的第七軍也曾領到過1000支步槍和少量通訊器材。不過，蘇聯在北伐前後不僅給廣東革命軍提供過軍事援助，其在北方也給馮玉祥的國民軍提供過至少同等數量的武器援助。除了軍事援助之外，蘇聯還為廣東革命政府提供了一定的經濟援助，其中光黃埔軍校的辦學經費可能就達到200萬盧布之多，這也是黃埔軍校每一期的學員從幾百迅速擴展到上千的重要原因。
192