在關東大地震繼續發酵的時候，23年9月，關余問題突出化了。
所謂「關余」問題：即關稅餘額的交收問題。中國海關的收入一向是在英人總稅務司的直接控制之下，每月的海關收入必須先扣除用以支付對外賠款如庚子賠款及外債的部分，剩下的稱為「關余」由稅務司交付中國政府。
楊興當即與人一起研究中國海關被英國人控制的歷史。
1854年夏，英領事阿禮國提出一個中外合組海關的方案，兩江總督怡良派蘇淞太道吳健彰於6月29日和英、美、法三國駐滬領事會晤，規定：三國領事各提名一人，由中國任命為稅務監督，與中國共同管理江海關的徵稅事宜。
1858年清政府與英、美、法簽訂的《通商章程善後條款》對這一辦法作了修改：「任憑總理大臣邀請英（美）人幫辦稅務，毋庸英官指薦干預」，並「各口劃一辦理」。1859年江海關英籍稅務監督李泰國（1832～1898）被委派為總稅務司，負責募用外國人在各口岸任稅務司，從此，外籍稅務司管理中國海關便成為制度了。1861年起，廣州副稅務司英人赫德任總稅務司（初為代理），一直管理中國海關近半個世紀。
1901年《辛丑條約》簽訂後，通商口岸50里內的常關改歸海關管理，總稅務司署的徵稅權力又擴大了。海關事務主要為徵稅和船鈔兩大部門。徵稅分內班（處理商人報關、徵稅）、外班（查驗過關商貨）、海班（巡水緝私）。
1910年有19169人；1911年郵政脫離後，降至7230人；以後大體在八九千人之間。其中洋員約佔1/6，國籍最多時達20餘國，而以英人占絕對多數。海關要職都由洋員擔任，華員僅任中下級職位；華洋關員生活待遇懸殊，形成洋員統治華員局面。
更讓人感覺氣氛的是，1917年孫文在廣州建立護法政府時，曾於1919年分得一部分關余約佔3.7%。這份關余按月交付護法政府，但到1920年3月因護法政府內部分裂而暫停交付。
楊興決定發動收回海關管理權的群眾性運動，當時在楊興指示下，國民政府主要報紙紛紛報道英人無端竊據我海關關防，導致國外廉價物品潮水般向中國湧入，導致很多中國優秀的民族企業破產，因此建議政府收回海關管理權。
在學生遊行抗議，商人紛紛拒買進口英國產品抗議之後，在楊興鼓噪下，廣州海關成立工會之後，1923年9月5號，楊興召見百利安等人，宣佈道：「海關原本是中國主權象徵，廣州海關應該屬於國民政府內部事務，英國人代管中國海關，本來於法不合。再加上現在廣州海關關長竟然自作主張，擅自截斷自1920年以後廣州海關關余。現在應中國人民要求，應廣州海關中國工會要求，決定自即日起，免去查理斯等26名敵視中國人民的英方僱員，國民政府將任命相應的華人接管其業務，從即日起，國民政府將正式收回海關管理權。即於庚子賠款，廣州海關將每年通過銀行匯到各國政府指定的賬戶上。」
百利安一聽，大驚失色道：「海關由英人管理，這是定例，國民政府作為地方政府，怎麼能夠說打破就打破，海關被國民政府正式接收後，如此怎能保證庚子賠款？」
楊興笑道：「百利安先生，大家都知道，現在海關收入遠遠超過庚子賠款數額，國民政府將視各國對中國海關管理權收回運動的支持，作為付款的優先順序。」
說完之後，楊興當即離開，將百利安孤零零的拋在大元帥府。
第二天，國民政府控制的報紙發布楊興的談話，表示海關一直被英人控制乃非法行為，也沒有相關法律條文支持，現在國民政府建立起來了，完全有能力管理自己的關防，也完全可以保障對各國的庚子賠款，因此應各界商人的要求，應廣州海關工會要求，正式收回廣州海關關權，自即日起洋人關長、各部部長被正式解聘。
在報紙公布後，楊興舉行中外記者招待會，發表相應談話後，在記者自由提問時間中，一個名叫莫里斯的美國記者問道：「楊司令，請問你無視相關條約，收回海關管理權，難道不怕英國人報復嗎？」
楊興笑道：「莫里斯先生，這就是你的不對了。中國海關由英國人掌控，這只是習慣性做法，是腐敗無能賣國的清王朝對外賣國，對內鎮壓的一種體現，在中華民國建立10餘年時間裡，理應廢除這種於法於理完全不符的政策，將海關收歸國有。況且，在大英帝國幫助下，經過50年發展，中國海關已經建立起完善的制度，已經培養大量優秀人才，因此，現在是英國人退出中國海關管理角色的時候了。」
一位英國女記者安娜站起來問道：「楊司令，正如你剛才所說，是英國人幫助中國建立起完善的海關制度，但現在就是你這樣報答英國人的嗎？中國人常說感恩圖報，難道這就是你的感恩圖報嗎？」
人群中出現陣陣笑聲，楊興笑道：「這位記者朋友，非常感謝你記得感恩圖報這句中國諺語，但是你知道嗎，你們英國人如何管控我們海關的嗎？這些洋務關員，只是照搬其他國家關務制度，強制要求我們華人執行，經過數十年摸索，是中國人根據國情，在廣州海關，中國海關，已經建立起完善的關防制度。」
「感恩圖報，讓我們來看看這些洋務關長李泰國，勾結地方政府，從而導致中國關防逐漸落入英人之手。第二次鴉片戰爭時，李泰國向英侵華軍提供漕糧北運的情報，對攻打京師，制定作戰方案作用甚大。」 赫德任總稅務司長達50年之久，雖然清除了舊式衙門中普遍存在的腐敗現象，但是其長期霸佔該職位，干涉中國內政，壞事也幹了一籮筐。
安格聯，對不起，請允許我用粗俗的語言，安格聯則純粹是一個混賬，絕對是一個混蛋。他任職稅務司，是中國一個衙門，他是中國的一個僱員。但是大家都知道他做了些什麼事情。他截奪中國關稅收支保管權。
安格聯不僅截奪了海關稅款收支權，控制「關余」，還極力把海關勢力侵入中國的財政、金融。民國3年，袁世凱成立內國公債局，安格聯擔任協理和經理專員，開始染指中國內債。民國7年，安格聯接管了全部常關稅款和推遲賠償庚款那部分專款。將中國稅收存在銀行裡面，任何人想動用其中一文，就要其批條子，彷彿中國海關是他私人財產似地。
對這些惡奴，當然要嚴加打擊，國民政府從即日起，全部解除那些安格聯控制中國海關的親信。從即日起，安格聯及其所控制海關的每一筆開支，安格聯及其黨羽沒有任何支配權，在未來中國統一後，若是政府發現任何不明支出，中國政府將保留追究安格聯的貪污行為的權力。任何政府任何個人若是支持安格聯的盜竊行為，中國政府保留追究其連帶責任。
安娜當即大驚問道：楊先生，如果英國要開戰，難道你們準備以武力對抗英國嗎？
一些洋人記者聽後，充滿著嘲笑口吻。
楊興見狀，豁然站起道：安娜小姐，中國有五千年的歷史，中國在過去數千年一直是世界上最強大的國家之一。如果說古代世界上有兩個最偉大的帝國，一個是羅馬帝國，另一個當然是我們中國，對這點，安娜小姐？
中國人看到楊興如此說，整個會場一片騷亂，很多中國記者彷彿一下感到揚眉吐氣，我們這位總司令聲言，中國過去是世界上最偉大國家，難道是真的嗎？
很多西方記者顯得特別尷尬，安娜也滿臉漲紅，良久說道：總司令，不可否認這個事實，中國古代與古羅馬都是世界上最偉大的國家。但是現在呢，現在我看到的中國人民的貧窮，中國人民任勞任怨，看到的是中國官員貪污成性？總司令，你會否認這個事實嗎？
楊興哈哈大笑，良久說道：謝謝你的評價，安娜小姐。我一直認為中國人民是世界上最偉大的人民之一，中國的落後主要是官員的腐化，是知識分子的腐化，是中國從一個製造大國變為一個消費大國，如此才造成中國現在的腐化。
但是安娜小姐，你也知道，在你們西方，常常是主權在民，我們中國有四萬萬偉大的同胞，有這一原動力，難道不能再次成為一個偉大的國家嗎？
看到大家充滿疑惑的眼睛，楊興開始演講了：諸位先生，應該都不會否認吧，雖然在滿清統治下，中國已經淪落為半殖民地半封建國家。但是這主要是腐朽的封建制度，滿清王朝罪惡統治造成的。但是中國人身體素質並不比歐洲人差，中國人並不比歐洲人笨，中國人比歐洲人更勤奮，更能吃苦耐勞。
若是大英帝國為了幾個騙子，膽敢悍然侵犯中國人的生存與發展的權利，膽敢向偉大的中國人民開戰的話，我們也會做好流血犧牲，中國人是不怕死的民族，中國人民是不怕困難的民族，歷史上千難萬險都沒有阻礙中國人民前進步伐，今天，或者明天，外國人若想侵犯我們的生存與發展權利的話，我們只能以犧牲精神，以上百萬、上千萬、上億人民的鮮血，來洗刷鏤刻在我們身上的恥辱。