胡漢民以國民黨元老之尊、以立法院院長之尊，僅因政見有異，被蔣介石說抓就抓，軟禁七個多月之久，痛定思痛之餘，決心要打倒蔣介石個人獨裁，並不是僅僅為了雪個人之憾，在他看來，亦要為黨國除去「一大毒瘡」。他在一封密函中用暗語說：
門與門係為中國致命一大毒瘡，能請西醫割去，是一治法，否則用中醫拔毒(什麼內托外消)、打消方劑，抑或見效。除卻二者便無是處也。(《胡先生親筆函電及批註》，哈佛燕京學社圖書館藏，轉引自楊天石《尋求歷史的謎底》，頁五六五)
門，用《水滸傳》「武松醉打蔣門神」典故，隱指蔣介石，即不惜以「外科」或「內科」手術，來取掉蔣介石這個「大毒瘡」，銜恨之深，可以想見。
胡漢民於一九三一年十月十四日被釋放後抵達上海，翌日馳電廣州非常會議委員，承認國民黨內「糾紛迭乘，政治舉措失當」，希望黨人「徹底覺悟，力圖團結」。再過一日，公開批評蔣介石的南京政府應付日帝侵略，只有「三無主義」，即「無辦法、無責任、無抵抗」。這樣下去，「則必至國亡種滅而後已」。(參閱胡漢民《亡國之三無主義》，載《胡漢民先生政論選編》)蔣介石不抗日足以亡國，所以他要抗日反蔣以救國。他不會再與蔣合作，可見之於十月三十日的《致粵中央電》，他明言不會與汪精衛入京任職，而力言「迫某(蔣)辭職，並促制度上限制個人權力，打破獨裁」！
胡氏「打破獨裁」的立場，自然更堅粵方要求蔣介石下野的決心，胡於十二月五日與粵方非常會議選出的中委，聯名領銜通電，催蔣下野，解除兵柄。蔣果於十天之後，通電辭去國民政府主席、行政院長、陸海空軍總司令本兼各職。
蔣介石下野之後，寧粵合流，表面上出現各方合作，蔣汪胡攜手的形象。但事實上，胡漢民留居香港，拒絕入京。他對蔣之復出以及蔣汪合作，不僅厭惡，而且決心倒之。當時剛辭去行政院長的孫科，對於蔣汪的向日退縮政策甚表憂慮，曾於密電中告訴胡漢民，蔣曾責令十九路軍將領，不得「擅起戰端」，後來軍民奮戰，「乃表示抵抗，然仍令十九路軍將領只准抵抗，不必擴大」，認為「日方計畫摧毀長江一帶軍事勢力，結果南京中央必然崩潰」，所以建議在粵中另立政府。(電文全文可見於楊天石《尋求歷史的謎底》，頁五六八)胡漢民雖然沒有另立政府，但繼續積極活動倒蔣。他想統一西南各地實力派的力量，以與蔣汪南京政府抗衡，以抗日為號召，並藉此攻擊蔣汪的不抵抗政策。他還與華北的馮玉祥取得聯繫。馮主抗日甚力，對蔣之向日本委曲求全，甚表悲憤，也想聯絡西南倒蔣。(見張允榮一九三二年八月十八日《致展堂先生函》)此時馮已自徐州移居泰山，名為養病讀書，實與在山東的韓復榘有所密謀，與胡自亦一拍即合。胡於一九三二年五月五日復函馮玉祥，有謂「過去四五年，只見有個人，而不見有黨」，「凡所措施，無不出於個人私意」，此個人即蔣介石也，暗示如果倒蔣，「必竭誠襄助」。(胡函原件藏哈佛大學東亞圖書館)胡與北方的張學良、韓復榘、閻錫山、孫殿英、石友三之間，也互通音問，設計如何抵禦氣焰方張的日寇，如何去除劫國的「獨裁之魁」蔣介石。(參閱楊天石《尋求歷史的謎底》，頁五七O)他還取得國民黨海外支部的支持，同情他抗日反蔣的立場。可見他發展「反蔣」關係，十分廣泛。事實上，他已著手組織新國民黨，強調紀律、團結與反蔣，活動範圍擴及江蘇、浙江、安徽、江西、湖南、湖北、四川七省。
南京政府的蔣汪合作，蔣主軍、汪主政，也不如表面上看來那樣和諧地分工合作。如周德偉所指出的，蔣仍遙控政治，「不脫軍閥素習」、「軍費佔歲入百分之八十以上，各省封疆大吏，則一仍其舊，汪氏無置喙餘地。」蔣「又推薦孔祥熙為中央銀行總裁，兼中國銀行董事長」，後「又推薦陳果夫為江蘇省政府主席，張靜江早已任浙江省主席」，「中央之黨務則有葉楚傖、陳果夫操縱，陳立夫尤橫，一意為蔣氏鷹犬，與汪立異」。 (周德偉《余之一生與國民黨點滴》手寫稿本第十六章)然則蔣汪合作其名，蔣氏一人獨裁其實，無論政、軍、黨、特都在他的手裡。
一九三三年年初，日軍突襲山海關，榆關失守，張學良決心抵抗，與胡漢民關係趨密。張曾告訴胡「不抵抗」的原委，故胡於回函中說：
兄前以不抵抗而喪失東北，茲又以不抵抗而喪失榆關。長此以往，國將不國。雖示負最終之責任者當別有人在，顧兄身當其任，究何以自解於國人？縱不為個人計，將不為數百萬人民之身家性命計耶？(原函藏哈佛大學東亞圖書館)
胡雖希望張學良結合華北將領，抗擊日帝，但是「別在」之人乃全國最高統帥蔣介石，仍一心想剿滅共黨，全無意緒抗日。日軍遂於三月四日侵佔承德，無可奈何的張學良惟有引咎辭職，黯然出洋。胡漢民針對此一局勢的對策是積極組織西南抗日聯軍，聯絡北方抗日將領，以便北上救援熱河，不過，其意不僅在抗日，而且還要倒蔣，可見之於另一封密函如下：
西南抗日軍隊出發，以賢初為總師之任，渠以抗日為倒蔣，如能師出武漢，北局有變，一切正可相機而動。(胡漢民致護黃、頌雲，原件藏哈佛燕京圖書館)
函中的賢初，乃十九路軍將領蔡廷鍇之字，淞滬停戰後被調往剿共，然仍不忘抗日，與胡漢民等結合，於一九三三年四月二日出任「西南抗日軍總指揮」。而此時全國各地抗日救國運動風起雲湧，馮玉祥於五月二十六日在張家口宣布成立察哈爾民眾抗日同盟軍，但這個時候蔣介石仍然在江西剿共，並於五月三十一日授命何應欽簽訂喪權辱國的「塘沽協定」，實際上承認日軍侵佔長城以及山海關以北地區的合法化，並同意長城以南的察北與察東地區不予設防，直令華北門戶洞開。胡漢民聞之甚怒，即電馮玉祥曰：「請公立振義師，先就北平擒拿經手訂立妥協之何(應欽)、黃(膺白)，即行討蔣以抗日。」 (胡漢民致煥公電，原件藏哈佛燕京圖書館)然而無論西南或華北，抗日討蔣的情緒雖高，但實力(軍力與財力)不夠。胡漢民的「北出長江、推倒國賊」的計畫固然夭折，馮玉祥的抗日同盟軍在蔣介石的壓迫與分化下宣布解散，方振武、吉鴻昌的抗日討賊(蔣)軍也因孤立無援而失敗。但是胡漢民仍不肯放棄，至十月間仍在積極規劃如何「聲討獨夫，從事抗日」。(語見胡漢民致何子佩函，一九三三年十月十九日，原件藏哈佛燕京圖書館)
討蔣抗日雖是胡漢民夢寐以求的目標，但是主張討蔣抗日甚烈的中共，仍然是他想要消滅的敵人，敵人的敵人仍然不能成為朋友，反而與敵人蔣介石在反共上有共識。所以當「閩變」於一九三三年十一月發生時，由於更改國號、換旗、聯共，雖然目標就是討蔣抗日，胡漢民不能苟同合作，堅持討蔣與剿共雙管齊下，聲稱「獨裁賣國之南京軍權統治、叛黨聯共之福建統治，必同時清除之」(見胡漢民對時局宣言，一九三三年十二月十五日，載《胡漢民先生政論選編》)，勇氣雖然可嘉，但幾乎是不可能達成的任務。而此時蔣介石正分江西剿共之師，大舉入閩討逆，動用海陸空三軍，並親至建甌指揮鎮壓，十九路軍孤立無援，於一九三四年二月初宣告失敗，被蔣改編，部分殘軍則由陳濟棠改編為粵軍獨立第三旅。
胡漢民在一九三四年，仍然繼續聯絡各地將領，進行抗日反蔣活動，在軍事上雖然相繼失敗、乏善可陳，然而在政治和黨務上，實已將西南獨立於南京政府之外，頗有效地抵制了蔣介石，如蔣於一九三二年三月在洛陽召開國民黨四屆二中全會，胡斷然拒絕參加。一年之後，蔣提出召開臨時全國代表大會，也遭胡等通電反對而被迫取消。原定於一九三三年十一月召開的國民黨第五次全國代表大會，亦被迫延期至翌年十一月十二日舉行。胡漢民仍發表有電，與蔣汪所定議題，針鋒相對，唱對台戲，並譴責南京政府「黨同伐異，自為派系，鉗制同志，變本加厲」(語見有電，載《三民主義月刊》第四卷第四期)，更揚言那只是軍權統治的五全大會，不是中國國民黨的五全大會(參閱胡漢民《為五全大會告同志書》，載《三民主義月刊》第四卷第四期)，甚至不惜另開代表大會，宣布蔣介石、汪精衛等「叛黨、賣國罪狀，開除其黨籍」。(參閱胡漢民一九三四年九月二十五日致南洋英屬總支部整理委員會函以及一九三四年九月三十日致鄒魯等函)胡漢民如此強硬，倚老賣老，自令汪蔣十分頭痛，不得不加以「招安」，由王寵惠親自攜孔祥熙函南下，呼籲諒解，動之以情，並邀胡「早日命駕來京，主持一切」，卻被胡颳了一頓鬍子，說是不應求「私人間之諒解」，以延誤「國家之危機」，更進而把矛頭指向蔣介石：「南京政府之上，尚有一南昌之太上政府，彼以一軍事領袖，在行政上可以擅自發號施令，並擅自召集各級文官訓話，又可以組織藍衣黨，企圖以法西斯主義代替三民主義。」(《胡先生為寧粵合作對法報記者之談話》，載《三