話說葉漢的賽馬車生意紅火了一陣子後，由於場地遠離鬧市，前來澳門的一般賭客漸漸失去興趣，加之港澳人士覺得賽馬車節奏太慢，不夠刺激，另外，還受到香港每周兩次賽馬的影響，許多香港賭客感到顧此失彼，遂放棄澳門賽馬車的下注。看到這個情況，葉漢的對手賀明高總算鬆了口氣，這正是他所希望的。
馬車會虧損厲害，開銷龐大。葉漢為了面子，必須堅持下去。葉漢決定退出娛樂公司，與賀明高徹底脫離關係。
為了集中財力挽救危機重重的賽馬車，1982年，葉漢把他在娛樂公司的所有股權，以三億港元的價格套現，轉讓給香港商人鄭裕彤。
鄭裕彤加入娛樂公司，澳門博彩業進入了一個新的歷史時期。霍英東雖是最大股東，但他和鄭裕彤、鄢之利這兩個小股東一樣，只管拿錢，不管賭場的具體業務，澳門賭業經營大權完全落在賀明高一個人手裡。
葉漢退出了，娛樂公司內部再也沒有人跟賀明高爭奪權力，賀以一家之主的姿態，更加廣泛地博取民心和澳門政府的青睞。1982年，他個人捐資2000萬元，興建澳門新口岸體育館；同年12月30日，賀明高與澳府第四次修訂合約。
有人歡喜有人愁。賀明高春風得意之時，葉漢的賽馬車生意卻每況愈下。儘管他作了很大投資和努力，但投注額一直不盡人意。到1983年，已跌至6000萬元；1984年更慘，只有4400萬元，使得賽馬車公司連年嚴重虧損。
葉漢不甘心，他不能讓賀明高笑話他，就像一個輸紅了眼的賭徒，不斷追加投資，想盡招數。
1986年8月，澳門賽馬車會成立四周年之際，葉漢專程從泰國請來四面佛銅像，供奉於馬場，希望菩薩顯靈，保佑他的生意興隆。
然而，面對賽馬車會的現狀，佛祖也無能為力，偌大的凼仔島賽馬車場每天照舊門庭冷落車馬稀……
這時候跟隨他多年的羅治國埋怨道：「漢哥，其實當初你萬萬不該退出娛樂公司的，現在霍英東、鄭裕彤、鄢之利他們可發達了，錢幾輩子都花不完。」
葉漢罵道：「不開竅的東西，人活著難道就是為了錢？」
羅治國道：「聽人家講，他到處散布謠言，說你本身就沒什麼本事，如果娛樂公司繼續放手讓你打理，也會是今天賽馬車會的下場。」
這些不啻於在葉漢的傷口上抹鹽，他皺眉問道：「他是這樣說的？」
「那還有假？」狗仔道，「他還說你不僅沒有本事，還要硬逞能，占著位置不願退，他看不過，怕公司垮掉，才不得不出面打理賭場。還說他的冤正沒處申，幸好你搞了個賽馬車會，是驢子是馬，現在就見分曉了……」
葉漢瞪大眼睛，朝地上啐痰，罵道：「丟他老母！」
1986年9月29日，賀明高與澳府第五次修訂合約。
合約修訂之後，春風得意的賀明高接受英國廣播公司（BBC）的電視採訪。
這個採訪節目播出之後，在賭業人士中間產生了強烈反響，葉漢的朋友安娜妮看到了這個節目，打越洋電話詢問葉漢是否看到了，並複製一盤寄給葉漢。
在這個節目中，賀明高大談特談他的生意經，當記者詢問葉漢為何退出娛樂公司時，賀明高說，葉漢是一個過了時的舊賭徒，思想和眼界仍停留在二三十年代，極力反對公司的現代化改革和新技術的引進，云云。
葉漢看罷，大動肝火，請來澳門新聞界人士，對賀明高的言論進行駁辯。
不久，又有朋友寄來一本由BBC記者寫的賀明高傳記，書中說，世界上最賺錢的有6個人，賀明高是其中之一。裡面也自然少不了葉漢這一角色，說葉漢在娛樂公司時，把賭場搞得一團糟，不肯引進新技術和現代管理方式，他手下的荷官對客人毫無禮貌，搶客人的茶錢……
葉漢再也忍不住了，找來律師鄧成高，控告賀明高無中生有，誹謗他的名譽。賀明高立即托頭面人物向葉漢求情，除表示歉意外，拿出50萬元律師費，願以此了結。葉漢才不再追究。
見葉漢那副自得的樣子，狗仔不滿道：「漢哥，這輩子你最大的缺點是心腸太軟，你吃虧也是這點。如果當初你一口回絕鄢之利的要求，怎會留下今天的後患？」
葉漢嘆道：「我也承認自己心腸不夠狠毒，可這是從娘肚子裡帶來的天性，改變不了。」
「改不了就得吃虧到底。」狗仔道，「公司撐不下去了，弟兄們的日子怎麼過？當初你若不是頭腦一時發熱退了股，起碼你還可——」
葉漢瞪起眼道：「什麼『當初』？是不是當初所有進了口袋的錢都不要出去？虧你還是賭徒，連這道理都不懂！賭博本身就是一種人生經歷，這種經歷的精髓就是永不言悔！你轉告弟兄們，跟著漢哥日子不用愁，輸了還能贏，我不會餓死他們的，當初在上海連那種日子都熬過來了，何況是現在！」
儘管葉漢頗有大家風度，但賽馬車公司最終還是垮了。營業情況以每年虧損1億元的數字發展，到1988年1月30日舉行最後一場賽馬車，葉漢共虧損10億元。
按葉漢與澳府所簽的專營合同，假如電腦記錄的總下注額每年少於1.5億元葡幣，則免繳博彩稅。自馬車會開業以來，每年總投注額從來沒有超過1.5億元，也就是說，葉漢從沒有向政府繳過稅。葉漢決定將馬車會賣盤。
對這次的慘敗，葉漢並不忌諱，公開對一些捕捉名人新聞的小報記者說：「我見北歐賽馬場免費送飲料都無人光顧，後來才知道，原來北歐整天下雪，跑馬整天失蹄，便無人賽馬。賽馬車就不會失蹄，所以在北歐大受歡迎。但澳門與北歐不同環境，賽馬車引不起人們的興趣，這就失敗了。」
記者又問：「賽馬車會失敗了，娛樂公司你也早已退出，請問葉先生日後將打算幹些什麼？」
葉漢環顧左右的手下，想了一會說道：「我目前還來不及考慮這問題，但有一點我是很自信的——葉某一定能弄出新鮮事來。我喜歡創新，實際上娛樂公司現有的項目，都是我最先引進的，賀明高說我保守，這簡直是無稽之談，就為他這句話，我仍然不會退出賭壇，還要坐在他的對面玩幾『鋪』新鮮的。」
這時候下人送來了報紙，一會有人看罷驚叫：「漢哥，這裡有人說你已經窮途末路了！」
葉漢接過一看，一個標題赫然入目：「鬼王葉漢山窮水盡？」
文內稱，曾數度領盡濠江風騷的賭王葉漢，目下已陷山窮水盡的絕境。賽馬車會賣盤了，娛樂公司早已退出。年老體弱，風光不再，這輩子曾經所向披靡，最後徹底敗在賀明高手下……
最氣人的是，文章最後說他是糞坑中的石頭，「又臭又硬」，明明敗局已定，內心還不服輸，在馬車會關門那天公然稱日後不會退出賭界。無疑，這是一句非常令人發笑的大話，澳門的賭業是娛樂公司的專利，葉漢除非跑出澳門去國外開賭場，方可自圓其說。若如此，他等於向賀先生投降……
很顯然，這種文章是賀明高一手策劃的，但確實刺中了葉漢的痛處，讓他難以忍受。他憤怒地將報紙扯掉，站起身來，穿過房間，走到露天台，憑欄長嘆。
隨後跟上來的狗仔一把抱著葉漢：「漢哥，你可別扔下我們不管！」
葉漢掙脫，回頭啐道：「放你的狗屁！我葉漢在那麼多絕境中都沒有去死，現在我怎麼會為這點小事尋短見！」
狗仔搓著手道：「我以為你上了年紀，會想不開，所以……嘿嘿，其實人老了也沒有什麼不好的，有好多人還活不到我們這年紀呢。精力是差點，慾望也沒過去那麼大了，要求也低下，就說我吧，和女人在一起，只想到摸一摸……」
葉漢知道狗仔是在想辦法逗他，但此時他的心情，就算是卓別林在世也難使他開心。
「狗仔，別拿這些沒出息的話來逗我，男人活著不一定只為女人——現在你總算明白了吧？」
狗仔點頭：「是的，我現在只想有個安定的晚年。想女人的事前些年還行，過了70歲覺得不過是那麼回事。漢哥，現在賀明高，還有好多澳門人都在看你的笑話呢。」
「你沒見我正想這事嗎？！」葉漢吼道，「你有本事幫我想個不讓人笑話的辦法出來！」
狗仔搔著頭：「我要是想得出，一定說出來了。」
「說不出就閉嘴，」葉漢罵道，「討厭的老東西！」
狗仔道：「可是漢哥，你也不很年輕呀。」
葉漢咬著牙，白了他一眼，轉回去，憑欄眺望遠處。
藍天、白雲，蔚藍的大海，風微微吹來，空氣里瀰漫海的氣息，一群群海鷗，追逐著遠去的船隻，航船由大而小，到了公海那邊，只剩下一個小小的黑點……葉漢豁然開朗，一條新的妙計就在這一瞬間產生了。他對羅治國說：「狗仔，你下去打聽一下，看澳門或香港有沒有人出售舊船。」
「幹嗎？」狗仔不