就在這時候，一位國民革命軍中頗有聲望的將領，卻毅然選擇了處於低潮中的共產黨。就像這次選擇一樣，後來他在中國革命諸多危難之機，都起到了關鍵性作用，他有一個響亮的名字：葉劍英。
葉劍英是廣東梅縣人。據葉氏宗祠族譜記載，葉劍英的祖先是宋朝時由中原南遷的漢人，即所謂「客家人」。
少年時，葉劍英漂泊南洋，習武雲南，以後追隨孫中山，投奔粵軍，於1920年春加入國民黨。黃埔軍校籌辦時，他在講武堂時的老師王柏齡非常器重他，調來做助手，後被正式任命為教授部副主任。教授部主任就是王柏齡，他也逐漸覺察到葉劍英同廖仲愷、鄧演達等國民黨左派和一些共產黨人過從甚密，曾多次告誡葉不要對政治太熱心。葉劍英並不理會，曾想去蘇聯學習，也向黨組織正式提出過加入中國共產黨的申請。中共組織接到葉劍英的申請後，派熊雄同他談過一次話，談後卻一直沒有迴音。後來，他才得知個中緣由：當時，中共組織的大多數成員都認為可以吸收葉劍英入黨，但有少數成員提出，葉劍英是蔣介石嫡系部隊的高級軍官，需要慎重，作較長時間的考驗，事遂擱淺。葉劍英倒並未灰心，仍在積極爭取。因為葉劍英英勇善戰，指揮有方，北伐開始後，蔣介石調任葉劍英為總預備隊指揮部參謀長。兩次攻打南昌，一師師長王柏齡和代師長王俊都不聽葉劍英的建議，結果都招致敗跡。參加戰鬥的黃埔學生怨氣橫生，紛紛向蔣介石告狀。直到第三次攻擊，才佔領南昌。由於王柏齡臨陣脫逃，葉劍英率總預備隊指揮部，隨一師駐守南昌。南昌之役，費盡九牛二虎之力，使蔣介石深感自己的嫡系部隊問題嚴重。他痛誡一、二師長官，責罵王柏齡、王俊「根本不是帶兵人才」，提出對二王懲辦、撤職。他聽說在南昌戰役中二王不聽葉劍英的勸告，以致連連失利，於是特意召許葉劍英佩劍晉見。蔣介石見到葉劍英，先是誇獎一番，然後攤出了此次召見的底牌，說：「現在一師沒人指揮，我看你就去一師當師長吧！」
葉劍英絲毫沒有思想準備。他想到一師是蔣的嫡系，有些軍官目空一切，很難管束，同二王的關係也很難處，而且對蔣介石的面目還看不清楚，所以婉言謝絕說：「謝謝校長好意，只是我身體不大好，待打完仗再說吧，我還願意繼續當參謀長。」
蔣介石信以為真，立即吩咐軍醫官給葉劍英看病。軍醫官煞有介事地檢查了半天，拿不準是什麼病。葉劍英憋住笑：「我還沒吃早飯呢，等你檢查確診，人都要餓死了。」
軍醫官沒有辦法，只好胡亂開個藥方子。葉劍英懂得一點中醫，看了看方子，是些「太平葯」，便叫護兵煎幾付吃下去，應付了事。
南昌之役，北代軍俘虜了孫傳芳的軍官數百名，士兵數萬人。蔣介石為了擴充實力，決定將收編過來的贛軍組成新編軍，任命葉劍英為新編軍第二師代理師長。葉不便再推辭，只好受命，領兵開赴吉安。
那時的葉劍英才30出頭，高高的個頭，白白凈凈的面孔，人不胖，不大穿軍裝，經常穿一身中山裝。人很帥，也很威風。他的衛隊，每人都帶著20響駁殼槍。但他為人和藹可親，沒有一點官架子。
不久，蔣介石在上海發動了「四一二」反革命政變，江西也很快陷入一片白色恐怖之中。吉安的反動分子，也在全城實行戒嚴，查封工會、農會、學生會、報館等革命機構，強行押送國民黨左派和革命團體負責人出境，並收繳了縣農協自衛隊的武器。共產黨人被迫轉入地下活動。
尋覓中的葉劍英，一下被現實推至十字路口：
繼續留在蔣的隊伍里，為蔣效命，升官發財，對他來說易如反掌。蔣介石很賞識葉劍英。他不單單看重葉劍英年輕有為，才華出眾，更重要的是因為這個出生在廣東的儒將，曾經追隨和保衛過孫中山，在廣東地區和粵軍中很有些影響。他想把葉拉過來，以便利用其威望和才幹，籠絡住人心，將來控制南粵當不成問題。
另一條路閃閃爍爍，朦朦朧朧，究竟在何方，他一時也難以說清。但有一點，他心裡清清楚楚：這必定是一條充滿艱辛而重新開始的路。而正是曙光之路才有希望。50年後，葉劍英曾對採訪人談起過當時的心情：「寧漢分家以後，蔣介石說漢口反革命，武漢說蔣介石反革命，兩下吵。我對武漢沒有多少懷疑。但蔣介石還是總司令。究竟跟著誰走？那時沒人來，也沒電報來。我就自己看報紙，關上門，想了幾天，什麼問題都想到了。我想到自己年輕時立志為國為民做點事，參加革命後當了師長。那時師長每月差不多都 有二三萬元收入。二三萬元不少了，10個月就是二三十萬，公公道道，做二三年師長就是個百萬富翁。 如果只是為了個人，跟蔣介石走，至少可以做大官。但是，蔣介石在上海屠殺工人，屠殺群眾，變成了十足的反革命！一個革命，一個反革命，陣線已是很分明了。參加革命，還是反革命？想了想，只有革命才有出路。所以我就下了決心，通電全國反蔣。一邊倒，倒到武漢方面。」
葉劍英定下決心，就同身邊幾個要好的軍官談了自己的打算：通電全國，公開反蔣。而後召集全師的軍官開會，明白告訴大家：願意革命的，擁護武漢政府的留下；擁護蔣介石，想去南京的，也請自便。葉劍英的這一舉動使當時政界和軍界大為震驚。原第四軍副軍長陳可鈺將此事報告了蔣介石：「葉師長反我們！」蔣介石連頭都沒抬，嘴裡說知道了，其實根本不信。陳可鈺再次報告：「葉師長真的反對我們！」蔣介石偏了偏頭，說：「好啦，知道了，你下去吧。」還是將信將疑。
這時，吉安二師的右派軍官和「孫文主義學會」分子與當地右派勢力勾結起來，準備鬧事。葉劍英與左派軍官緊急秘密商議，決定二師舉行武裝暴動，拉隊伍北上，投向武漢國民政府。
吉安的反動勢力似有覺察，也加緊了行動。他們的矛頭直指葉劍英。
這一來，葉劍英在吉安便站不住腳了。他決定先去武漢聯絡。臨走前，幾個相近的軍官和師部人員以給師座祝賀生日為名， 在師部駐地後花園，擺開幾桌酒宴，席間，議論起軍機。有的團長急於舉事，對葉劍英說：「師座，還是快乾吧！」葉劍英示之以緩：「舉兵重在擇時，或早或晚都受其亂。」為了掩人耳目，他和幾個軍官上路時都化了裝，並分頭起程。他剛走，二師左派軍官成立了臨時革命軍事委員會，於5月6日通電討蔣。電文一發出，遭到右派軍官的激烈反對，一時間雙方劍拔弩張，二師陷於分裂狀態。臨時革命軍事委員會見勢不妙，於13日夜舉行了武漢暴動，以迅雷不及掩耳之勢，逮捕了反動軍官，控制了部隊。
但是，這次暴動由於缺乏經驗，孤軍無援，很快就被朱培德第三軍的楊竹軒、楊如軒所部包圍繳了械。
消息傳到蔣介石那裡，這才記起陳可鈺的話，大為惱火，立即吩咐下屬給國民黨中央執委會起草呈文，要求將葉劍英開除出黨，並加通緝。
再說到達武漢的葉劍英，所聞所見並非是他想像中的革命政府。不要說政府自己「四面楚歌」，就是武漢市內也是米荒鹽荒油荒煤荒，到處是失業的工人。在亂糟糟的現實面前，葉劍英再次陷入迷惘。他住下後，便去找軍事部長譚延闓述職。他向譚延闓報告了新編二師和吉安的現狀，請求接濟槍械、糧餉。他哪裡知道譚延闓早與蔣介石暗送秋波，是個腳踏兩隻船的老投機家，怎肯資助反蔣的二師呢？他勸葉劍英暫時留在武漢，看看局勢的發展再說。
葉劍英只好下榻武昌朝陽旅館。朝陽旅館是廣東人開的，常有廣東籍的客人來往和住宿。說來也巧，正在他心神不定時，遇到了梅縣同鄉李世安。李是秘密的共產黨員，在廣州時就與葉劍英見過面，1925年第一次東征時葉劍英任梅縣縣長，李世安也在梅縣葉劍英的母校任教，倆人建立了友誼。李還結識了東徵到梅縣的周恩來。1927年2月，李世安離開梅縣到上海，在那裡又見到了周恩來。後來轉到武漢，在市公安局當主任秘書，他以這個公開身份作掩護，從事黨的地下工作。這次與葉劍英相見，倆人徹夜長談，都有一種他鄉遇故知之感。葉劍英閑住幾日後，軍事部來人通知他出席武漢政府召開的國民議會，會議由譚延闓主持，討論寧漢分裂後的形勢和前途。
會上，葉劍英也談了自己的看法：「有人說我是蔣介石的嫡系，蔣待我不錯，蔣介石給了一個『巴掌』（職權），我拿這個『巴掌』打老蔣，這不合人情，對不住老蔣。其實，不是我對不住他。他在上海殺了那麼多人，我怎能還跟著他干呢？」
在這次會上，獨立十五師師長賀龍也慷慨激昂地發表了反蔣言論。這是葉劍英與賀龍的第一次見面，雙方印象都很深刻。
葉劍英還是想回到吉安。路過南昌時，見到軍官教育團團長朱德，在反蔣大會上，葉劍英忍不住又打開話匣子：「有人問我反蔣圖什麼？我說我反蔣不圖什麼，只圖個革命。我們革命的槍口要對準反革命。蔣介石自己跑到我們槍口上來，