早先，杜月笙決心離開上海，赴港避亂之前，曾經扶疾往訪黃老闆，力勸他的金榮哥預早為計，也跟他一樣，做避難香江的打算。
當時，黃老闆推心置腹，向杜月笙吐露自己不得而已的苦衷，黃金榮說：
「月笙，我老了，這些年來，我跟你的境遇不同，我是能不出門便不出門，能不動頂好不動。你算算，我今年已經８０歲，俗話說得好：『人生七十古來稀』，我活到了８１，就已經多活了１１年，今日死或者明日死，對我並無多大的關係。」
黃金榮接下去娓娓細訴地說，自從他６０歲那年正式宣告不問世事，安享余年，他生活的目標就只剩下每天抽幾筒大煙，上一趟澡堂泡一個浴，湊幾位牌搭子碰幾副銅旗。除此三者以外，復無他求，也非有此三項享受而不歡。因此，他堆滿一臉苦笑訴與杜月笙：
「月笙，你替我想想，假使我去了香港，頭一樣，差館裡發現我抽大煙要捉。第二樣，你叫我到那裡去找碰銅旗的搭子？第三樣，香港沒有澡堂，能否容我這８０多歲的人每天去泡趟浴，都是問題。何況，樹高十丈，葉落歸根，我已風燭殘年，能有幾年好活？好歹我也死在家鄉。」
杜月笙聽他金榮哥說得如此剴切透澈，心知其意已決，也就不再勸了，卻是辭出來時，突然感到這便是最後的訣別，他忍不住灑了兩行熱淚。
到香港堅尼地１８號定居，他第一次聽到金榮哥的消息，上海來人說得繪聲繪影，言之鑿鑿：
上海淪陷前夕，黃老闆惟恐炮火殃及，自曹河涇黃家花園遷居鈞培里老宅，逐日泡浴、碰銅旗、吞雲吐霧如故。共產党進了上海，起先倒還安然無事。但是數月以後，忽有一日，足有一百多人氣勢洶洶地直撲鈞培里，圍在黃老闆公館大門口，大呼小叫，揚言要把黃老闆家中打得稀爛。這時候，黃老闆精神矍鑠，大踏步搶出門外，面對著那一百多攘臂擄袖、瘋狂暴跳的強徒，黃老闆拉開嗓門便是聲聲怒吼：
「我就是黃金榮，你們各位今朝來，阿是要把我黃金榮的家裡打爛！」
多一半人被這白髮皤皤老者的虎虎生震懾，也有人雜在人群中喊：
「是的！今天一定要打爛黃家！」
「好！」黃老闆斬釘截鐵地一答：「要打爛，我自己來，現在我把大門關上，我自家來打給你們看！等會兒你們進來查，有一件東西沒打爛，你們儘管把我的房子拆了！」
說完，他就命手底下人關大門，童顏鶴髮的黃老闆擄起衣袖，抄根門閂，就此要自己打爛自己的家。這時候，偏偏不知從何而來的『調解者』隔扇大門之外，好說歹勸，高聲排解：
「好啦，好啦，黃金榮已經知錯，看在他一大把年紀的份上，饒他一次！」
緊接著，又有人來拍門，黃老闆氣喘咻咻的，親自把門打開，外面有幾個毛頭小夥子，張牙舞爪，指手畫腳，好生教訓了黃老闆一頓，一場毀家的糾紛方告有驚無險，化弭於無形，百把個窮凶極惡的人逐漸散去。黃老闆８０多年來從不曾受過這大的侮辱，回到客廳，氣呼呼地一坐，足有半晌說不出話，他老淚縱橫，徒呼負負，那幾個毛頭小夥子教訓了他些什麼，也是一個字也都不曾聽見。
隔了不幾天，又有共產黨的幹部上門來，叫他「向人民大眾坦白」，黃老闆雙手一攤地問：
「叫我坦白啥么事？」
「你這一生的罪惡，」共產黨幹部字字著力地說，」「請你詳詳細細寫份自白書。」
黃老闆有意反抗，但是家中各人苦苦勸他忍耐：「人為刀俎，我為魚肉，反抗是沒有用處的。」迫於無奈，他請位朋友寫了厚厚一疊的自白書呈上去，從此以後便坐立不安，提心弔膽地等候判決，其結果，是共產黨派人來抄家，妙的是毛病還並不出在黃金榮的自白書上。
黃老闆的二公子黃源燾有一枝自備手槍，又跟一位姓戚的諜報人員很要好，上海撤退，姓戚的有一大捆步槍存放在黃源燾住處。這件事黃老闆確實並不知情。
「倘若是在黃老闆當權得勢的那些年，鈞培里黃公館，長短槍枝經常也有個五七十桿，這一大捆步槍，實在無啥稀奇。」杜月笙介面說。
來人接著說：「不過共產黨來了，情形不大相同。因此當從黃公子的那一枝手槍抄到了一大捆步槍時，連經過多少驚風駭浪大場面的黃老闆，居然也給嚇得目瞪口呆，面如死灰。
「當時，共產黨僅只把槍枝沒收，黃源燾則被帶了去問話，共產黨對他倒也並不為難，招出來槍枝來源就此作罷。然而，正當祖、叔、孫三代，黃老闆、黃源燾和黃啟予之弟黃啟明衷心慶幸，逃過一場大禍，又數日，來了一份通知，黃金榮的自白書看過了，人民認為他有罪，所給他的處罰是每天早晨到黃老闆自家開的大世界遊樂場門口掃街。」
「處在矮檐下，不得不低頭，老態龍鐘的黃老闆開始在大馬路大世界門口手執長帚掃街了。消息傳出當日，也不知有多少人驟集街頭，黃老闆則面部毫無表情，一步一步地在掃地，矮胖身軀，彷彿一具笨重的機械。許多記者來採訪，來拍照，許多幹部圍在黃老闆的四周。這張黃老闆在大世界掃街的照片，刊登在上海各報顯著地位。」
杜月笙一聽，馬上忽然問起管家萬墨林：「上海報紙為何多日不見？」
這時，他很關切上海方面的消息，家中各人則因為時值上海清算鬥爭期間，惟恐杜月笙看到老朋友如何受到屠戮迫害，心中難過會得妨礙病體，所以有時候便藏過幾張，不給他看。現在一定要看新到的上海新聞報，萬墨林無奈，只好再找出來，交到他的手上。
杜月笙一眼便看到「黃老闆掃街」的那張照片，他臉色灰白，身子搖搖晃晃，勉強地將那一段新聞讀完，自此便坐在沙發里咻咻地氣喘。
這幾天本來他精神略好一點，金榮哥所受的遭遇帶給他莫大的刺激，於是當日又告病倒，家人十分慌亂，因為他的喘勢越來越急。
又是纏綿病榻，中醫、西醫川流不息。第二天，黃老闆的長媳李志清到訪，除了探病，她還有重要事體要跟杜月笙商量。
杜月笙在病榻上很親切地喊李志清：「妹妹！」請她坐下，問她有什麼要緊事？於是，李志清拿出了一封方自上海寄來的信，黃金榮向他的媳婦「求援」，他叫李志清趕緊設法籌款匯寄上海。
看完了信，杜月笙又是一陣憤恚與激動，好不容易用藥物把他的急喘壓制下去，他漾一抹苦笑，有氣無力地問李志清道：
「妹妹，你打算怎麼辦？」
李志清告訴他說：她正是得信以後急如熱鍋螞蟻，一時打不定主意，所以才到杜家伯伯這邊來討教。
於是，杜月笙開口說話了：
「妹妹，倘若是黃老闆能出來，只要平安無事到了香港，莫說是２萬美金，便是美金２０萬，我和你傾家蕩產都不夠，哪怕去求、去借，我們也是願意的。」
李志清也是傷心難過，她點點頭說：
「就是說嘛。」
「倘使老闆到了香港，我們有飯吃飯，有粥吃粥，苦日子一樣過得快活。」
李志清一心惦記她公公在上海如何受逼，如何受罪，純粹基於一片孝心，她以為能夠籌出這筆錢匯過去。
她把自己的心意，向杜月笙說了，杜月笙聽後卻搖頭苦笑。他不贊成李志清的做法。
李志清急得掉下了眼淚，她焦灼萬狀地說：
「杜伯伯，你說我們到底應該怎麼個做法？也不能看著老闆受逼呀！」
「妹妹，你不要急，事已如此，急煞也沒有用處。」杜月笙柔聲地安慰她說，「要麼你照我這一個辦法做，回信老闆，告訴他在香港籌錢很不容易，跟親眷朋友開口，必定要說接得出老闆來，方始可以籌到這一筆大數目。唉！」浩然一聲長嘆，杜月笙又說：「老闆８１了，他還害得有老肺病，一生一世不曾起過早，如今喊他天天起早掃街，風塵殘年，能夠熬得了多久！依我看，即使要接他到香港，這件事也得趕快。」
得了杜月笙的應付之策，李志清興辭離去，她為了盡孝道，她怕黃金榮在上海被共產黨逼得太緊，可能發生意外，因此她湊集一部分現款，又變賣了些手飾準備先匯一筆數目到上海去，也好讓黃金榮在上海有個緩衝的餘地。
果然，錢還沒有匯走，黃金榮又打長途電話來，關照黃李志清速即籌款，立匯上海。黃金榮在電話中問起兒媳婦在香港借籌款項的情形，李志清曉得她身邊有監視，只好推託地說：
「到香港來的上海朋友都在難中，叫我好去向那一個開口嗎？」
於是，黃金榮便指明了只去找兩位老弟兄，杜月笙與金廷蓀。
李志清馬上就說：
「金家目前環境不好，我不便去談，杜家伯伯那邊早去過了，他也籌不出這麼多的錢，杜家伯伯又說我手頭這點首飾有限煞，我還有家人，他說我和啟予將來也要安身立命的。」
時間將到，李志清才