王貴、張憲和徐慶離開南京一天後，李綱邀請許翰到家裡議事。首先由李若虛和朱夢說介紹岳飛上書等情況，許翰說：「此非細事，伯紀何以不奏明主上，以辨是非曲直。」
李綱說：「自家們計議，岳飛上書不合主上之意，便是廷辯，亦是無濟於事，姑以隱忍為上。待日後岳飛在宗留守麾下立功，另議升遷。目即可憂虞底事，乃是王淵統御營各軍，多為不法，緩急之際，實難依仗。」許翰說：「可由台諫官彈奏，將王淵沖替。」李綱說：「王淵內有宦官，外有黃潛善、汪伯彥之助，深得主上寵信，沖替已非易事。另命一個都統制，又實難其人。」許翰說：「王淵之下，便是提舉一行事務劉光世。」李綱說：「此人是將門之子，驕縱怠惰，軍紀不嚴，又深結內侍。」許翰說：「聞得左軍統制韓世忠頗有勇名。」李綱說：「他與張俊最得王淵倚信，視為左右臂。其餘統制更是自鄶以下。」大家沉默多時，許翰說：「莫須將東京底步軍閭太尉調遣至御營，此人委是忠謹。」李綱笑著說：「崧老所議直是上策。」當時宋軍中十分講究資歷，閭勍作為三衙長官，調任御營司都統制，足以壓服眾將。
八月上旬，隆祐太后和太廟神主又在孟忠厚等人的護送下，乘船沿汴河與運河前往揚州。宋高宗安排太后去揚州，表明他實際上還是打算堅持巡幸東南的原議。隆祐太后走後，一場醞釀已久的政爭很快進入決戰階段。
在一次宰執合班奏對時，許翰首先發難，他口奏說：「鄧肅上彈奏，言道王淵所為，多是不法。當無事之時，三衙管軍猶可屍祿備員，以冒寵榮。如今御營之師十萬，豈可託付非人。乞陛下明察。」汪伯彥立即反駁說：「許相公入政府未久，又不兼御營職事，只恐不可聽信無根之言。國朝之制，台諫官自可風聞言事。然而捕風捉影底事，不得弄假成真。臣承乏樞府，兼職御營，唯知王淵忠心耿耿，勤於職事，恐不可誣。」兩人爭論多時，許翰說：「王淵不法底事，可委台諫官案驗。」
宋高宗說：「王淵乃朕所親擢，不須案驗。」許翰不免情緒激動，說：「今日天下勁兵，聚集御營，扈衛車駕，事關重大。若管軍不得其人，緩急之際，十萬之師不得當一萬之用，只恐後悔不及。」宋高宗也面帶怒色，說：「朕信用王淵，無須後悔！」見到許翰與皇帝形成僵局，李綱感到此時不宜再說。
汪伯彥見皇帝為自己撐腰，氣勢更盛，他又口奏說：「北京權留守張益謙上奏，言道自大名府置招撫司以來，騷擾民間，盜賊愈熾。臣與張樞相已下樞密院札，責問張所。依臣愚所見，不如罷招撫司，專令北京留守司措置收復失地事宜。」
李綱至此不能不挺身而出，他說：「張所是臣所薦，招撫司是臣建議而設。朝廷以河北百姓無所歸聚，故設招撫司，招撫壯士，用以抗擊虜人，收復失地。各地盜賊熾盛，只是兵荒馬亂之時，州縣官吏失於撫存所致。若說河北盜賊橫行，皆是招撫司之過，則京東、京西底盜賊，又有何說？汪、張二相公不能與臣共休戚，不關白臣，而徑作樞密院札行下招撫司，此是何理？」說得汪伯彥啞口無言，張愨面帶慚色，低頭不語。
李綱又說：「臣不知朝廷於張所，是願他成事，或願他敗事？若願他成事，則不須唆使張益謙上奏，阻抑張所；若願其敗事，亦無須挾私害公，施展詭計，自可明令罷招撫司。阻抑一個張所，又有何難！難道眾位相公竟願河北軍民盡為金人所虜，河北州縣盡為金人所得，中原且不能保，然後方為快意！靖康之時，朝廷議論不同，無以公滅私之意，禦敵無策，而傾陷有術，終致二帝北狩，難道今日仍欲蹈其覆轍？」李綱正論侃侃，音容慷慨，語調激昂，鎮懾了眾人，黃潛善也不敢出面，與他進行詭辯。
宋高宗只能下旨說：「汪伯彥，張愨，你們可另下札子，改正前失。」汪伯彥和張愨忙說：「臣等領旨！」直到下殿時，兩人仍然面容蒼白，神情尷尬。
許翰在下殿後對李綱說：「今日方見得伯紀直是宰相大器，禦敵無策，傾陷有術一語，亦是深中時病。」李綱嘆息說：「勝負未見分曉。王淵底事，又須另覓時機奏對。黃潛善與汪伯彥底傾陷委實不難識破，然而卻是譖訴之深，已牢不可拔。」許翰說：「今日方知，明辨是非不難，而國事之難，實在於不願明辨是非。」限於古代的臣道，兩人只能用委婉曲折的語言，表達了對宋高宗的看法。
八月十四日，宋高宗突然下達一份手詔，說：「可令樞密院降札，命宗澤節制傅亮，即日收復河東州縣。付李綱。」李綱接到御筆，當即要求面對。在瑞應殿內，皇帝照例頭戴道冠，身穿淡黃袍，正襟危坐，神情嚴肅，曾擇和張去為在兩旁侍立。李綱完全明白，黃潛善和汪伯彥再無勇氣和自己廷辯，而今天的手詔卻正是出自他們的幕後策劃。李綱行禮畢，就口奏說：「臣與張所等已曾明奏，王師屢挫之後，當慎於初戰，以免傷損國威。傅亮赴任不足一月，新募底軍兵未練，糧草未足，宗澤經營東京，雖見成效，而立即出兵河東，亦恐事力不濟。陛下命二人輕率出師，不知欲他們成事，抑或敗事？」
宋高宗說：「河外州縣未復，朕又如何在鄧州奠居？黃潛善與汪伯彥言道，傅亮好為大言，實是色厲內荏，故逗遛不進兵。」李綱說：「若陛下底手詔只為巡幸事宜，臣亦是東南人，如贊助陛下巡幸東南，於臣之私利又豈不安便？只為巡幸一事繫國家底安危存亡，故不憚煩辭，再三開陳，幸蒙陛下虛心聽納。只為招撫與經制二司，出自臣之建請，張所與傅亮，出自臣之力薦，黃潛善與汪伯彥力阻二人，乃因以阻臣，使臣不得安其職，不得行其策。國家處艱危之運，身為大臣，豈可勇於私爭，怯於公戰，工於讒毀，短於謀國。臣願陛下以靖康奇恥為鑒，留意君子與小人之分。臣初次面對陛下，曾引先賢管仲之言，參用小人足以妨廢霸業，何況陛下底中興大業。若陛下參用小人，只恐臣亦難以畢志盡慮。」
李綱到此只能闡明自己與黃潛善、汪伯彥勢不兩立的情勢，而宋高宗卻沒有勇氣公開偏袒一方，他說：「張所才略過人，可留他招撫河北。如傅亮底人才，今豈難得，不如且罷經制司。」李綱說：「陛下必欲罷傅亮，請先罷臣！」這句話正是宋高宗費盡心機逼著說出口的，然而到此地步，皇帝卻又產生了畏怯情緒，不敢順水推舟，反而出來圓場，說：「朕早曾言道，社稷生靈，賴卿以安，卿言罷相之事，朕不忍聽。」他又說了不少好話，挽留李綱。
李綱下殿去了，宋高宗只是獃獃地望著他的背影。皇帝自己也不明白，罷相的事醞釀已久，今天又事先作了多種設計，但一旦面對李綱本人，卻又不得不臨陣退縮。突然，他又想起了隆祐太后的話：「如今內無李綱，外無宗澤，只恐九哥底江山坐得不穩。」就發出了深長的嘆息。他轉回頭朝曾擇看了一眼，說：「你有何說？」
曾擇走到御案前，只是下跪叩頭，宋高宗說：「朕免你無罪，只管說來。」曾擇說：「小底以為，若是威略震主，便是權臣。明日便是中秋，權臣不除，官家如何歡度中秋，又如何去東南快活？天下底事，難道只有李相公，黃、汪二相公便治理不得？」宋高宗經他一說，立即提筆寫一份手詔：「傅亮兵少，不可渡河，可罷經制司。付黃潛善。」
曾擇將手詔帶到黃潛善的府邸，汪伯彥也在那裡焦急地等待著。曾擇笑嘻嘻地取出手詔，說：「今日若非我底一言，兩位相公多日精心策劃，便成畫餅。」黃潛善說：「今夜特備薄酒，恭請曾大官暢飲。」曾擇說：「不須，不須，我須回宮覆奏，伏侍官家。」黃潛善和汪伯彥連忙吩咐取來本地著名的桂香酒，兩人各自用雙手捧著香螺金卮，向曾擇敬獻。曾擇同時用雙手接過兩個金卮，兩口喝完，然後開始玩賞，說：「兩個金卮煞是打造精緻，巧奪天工！」黃潛善說：「既是曾大官喜愛，自當割愛，卻是不成敬意。」
曾擇說：「感荷黃相公底厚意。憶昔太上宣和時，朝中有一諺語：『三千索，直祕閣；五百貫，擢通判。』得一個正八品底直祕閣尚須三千貫，罷一個宰相，又所須幾何？」他說完，將兩個金卮擱置桌上，然後用右手伸出一個手指。汪伯彥忙說：「下官已自理會，曾大官且放寬心。」一個高踞百官之上的執政，面對一群皇帝寵信的宦官，從來是謙稱「下官」。曾擇說：「我急須錢使，請於十日之內，連帶兩個金卮，送至私第。」
黃潛善和汪伯彥送曾擇出門，又回到堂中，黃潛善說：「十萬貫足錢，何處置辦？」汪伯彥笑著說：「令弟執掌戶部，豈不易如反掌？」黃潛善發出會意的微笑，汪伯彥又說：「聖上之意，只是體貌大臣，命李綱引退。若是李綱貪戀相位，不上奏辭免，便當如何？」黃潛善說：「我叫張殿院上彈奏，豈容他不上奏辭免。」他立即寫一短簡，命令吏胥送往御史台。
吏胥走後，黃潛善說：「明日便是中秋，今宵已自月圓，我當與汪相公開懷暢飲。」汪伯彥用略帶詼諧的口氣說：「久聞七夫人天生麗質，善彈琵琶，歌喉如嚦嚦鶯聲，黃相公愛如掌上明珠，金屋藏嬌，祕不示人。今夜