事實上，黃郛一直都與蔣介石有著比較密切的書信往來，並且從蔣介石擔任黃埔軍校校長起，就開始為蔣介石出謀劃策。
南昌時期的蔣介石儘管已經顯山露水，但在政權和黨權上尚不具備優勢，中共和國民黨左派均視之為敵，好聽點說他是「擁兵自重」，難聽點就直接指責為「新軍閥」。另外，蔣介石當時擁有的軍事力量也不足。國民革命軍在誓師北伐時一共有八個軍，其中只有何應欽的第一軍跟蔣介石有直接關係，而且蔣介石還不能做到完全掌握，他真正可以控制的其實僅有第一軍第一師。顯然，當時的蔣介石要想問鼎中原，難度著實不小，他的日子也一直不是很好過，所以才會在日記中寫道：「三年來酸辛淚，時自暗吞。」
感覺周圍危機四伏的蔣介石急需拿出一個萬全之策，但絞盡腦汁亦無所得，這時候他便想到了黃郛，說：「要籌劃大計，非膺白兄莫屬也。」
蔣介石兩次給黃郛寫信，邀其南下，第二次還特派張群到天津送信。
思慮再三，黃郛決計南下幫盟弟渡過難關。他首先途經上海，通過和自己的故交、中國銀行副總裁張嘉敖商談，為正苦於薪餉無著的北伐軍籌到了大批款項。接著，在張群陪同下，他又來到南昌，當面向蔣介石闡述了自己「共底於成」的策略。
「共底於成」包括政治、財經、外交、軍事、社會人心五個方面的內容，其中居於首位的是「離俄清黨」。
黃郛援引了一個經濟現象。他說由於一般市民畏懼國民黨的「聯俄容共政策」，已經導致「上海空屋日多，而天津租界地產價格，呈空前絕後之暴漲，初則廣幫，繼則滬幫，紛紛北來」，北方成為「中產階級準備的最後立腳處」。
黃郛的意思是，蔣介石只有改變「聯俄聯共」的政策，才能在國民黨內部站穩腳跟，進而問鼎中原。
黃郛的這一番宏論，對蔣介石而言無疑非常具有說服力。蔣介石決定採納他的建議，著手開始進行「離俄清黨」的準備。
其時，中共羽翼未豐，手上連槍杆子都沒有，相對而言，「清黨」是容易做到的，難的是「離俄」。國民黨當初依靠蘇聯才在廣東再度崛起，倘若沒有蘇聯的支持，黃埔軍校都不一定能辦得起來。如今鳥盡弓藏，要一下子把人家甩掉，談何容易。黃郛為此也想到了辦法，這就是從清末起就採取的「以日制俄」策略。
日本雖然主要以國民黨的對手奉係為支持對象，但它和蘇聯在中國東北存在著根本的利害衝突。按照黃郛的分析，「中國兩個鄰居（指日本和蘇聯）都不善」，眼下只能用緩急輕重之策，先謀求同日本、英國的諒解，以迅速改變從前一邊倒向蘇聯的局面。
黃郛長期在北洋政府從事外交工作，在日本軍政兩界均有熟人。在黃郛的牽線搭橋下，蔣介石先後與日本軍政代表進行會晤，稱自己與蘇聯和中共之間存在「尖銳的對立」，並將斷絕這種關係。他告訴日本軍方代表鈴木貞一：「你就放心吧！我到南京就正式表明態度。」
這一期間，在蘇聯顧問鮑羅廷的主持下，武漢政府通過反蔣方案，撤銷了蔣介石的中央常委主席和軍人部長職務。蔣介石與武漢政府的矛盾由此愈發激化，也更加堅定了他「表明態度」的決心。
1927年3月24日，北伐軍攻佔南京。當天便發生了「南京事件」（即「寧案」），英美兩國以在寧僑民遭到北伐軍的侵犯和劫掠為由，下令在長江上停泊的軍艦對南京城實施炮擊。
日本在「寧案」中也有損失，但日本政府禁止其軍艦開炮。據說日本艦隊司令在軍艦駛回上海後即自殺謝罪，他在遺書中說，由於奉令不準開炮，以致海軍保護僑民不周，這讓他無面目再見國人。
日本政府在「寧案」中表現出來的態度，顯然與之前對蔣介石達成的諒解有很大關係。當時一般輿論對「寧案」的解讀，大多歸結為列強對北伐軍的挑釁，也有說北伐軍部分士兵違紀，或者是北洋軍喬裝後故意嫁禍北伐軍。
黃郛從日本領事館得到了英美擬對蔣介石實施高壓政策的情報，他立即向蔣介石進行了傳達。
「寧案」讓蔣介石的軍政生涯面臨著一場重大考驗，蔣介石和他的部下幕僚們日夜商討著應對之策。有一天晚上，黃郛去蔣介石的住所詳談，臨行還特別關照家人帶上鋪蓋，準備萬一時間太晚，就留宿於蔣介石處。
黃郛給蔣介石的建議是，抓住時機，化被動為主動，在外交上爭取日本的支持和英美的諒解。蔣介石表示完全認同，他對黃郛說：「膺白兄，現在是決定命運的關鍵時刻，我們一定要取得日本人的支持！」