轉眼半個月過去，倭仁依舊受那班衛道之士的擁戴，「力持正論」，而「加按察使銜」的「總稅務司」英國人赫德，為了襄助籌辦同文館的事，卻起勁得很，天天穿了三品官服到總理衙門去「回稟公事」，請教習、選教材、定功課等等，一樣樣次第辦妥，不久就可開館，但各省保送的學生未到，京里投考的人寥寥，恭王大為著急，文祥亦不得不同意採取他原來的辦法了。
於是奏准兩宮太后，頒了一道明發上諭：「諭內閣：總理各國事務衙門奏、遵議大學士倭仁奏：『同文館招考天文算學，請罷前議』一折，同文館招考天文算學，既經左宗棠等歷次陳奏，該管王大臣悉心計議，意見相同，不可再涉游移，即著就現在投考人員，認真考試，送館攻習。至倭仁原奏內稱：『天下之大，不患無才，如以天文算學必須講習，博採旁求，必有精其術者。』該大學士自必確有所知，著即酌保數員，另行擇地設館，由倭仁督飭講求，與同文館招考各員，互相砥礪，共收實效。該管王大臣等，並該大學士均當實心經理，志在必成，不可視為具文。」
等上諭發抄，衛道之士大嘩，有人說恭王跟倭仁開玩笑，視國事為兒戲，有失體統。倭仁本人當然也是啼笑皆非。
但也有少數人，看不出這道上諭的皮裡陽秋，那是比較天真老實而又不大熟悉朝局的一批謹飭之士，他們把煌煌天語看得特別尊嚴，從不知夾縫裡還有文章。
再有極少數的人，別具用心，雖知是恭王在開玩笑，但既是上諭，誰也不敢公然說它是開玩笑，那就可以不當它玩笑看，真的「酌保數員」，真的「擇地設館」，要人要錢，弄假成真，不是「死棋腹中出仙著」嗎？
徐桐就有這樣的想法，所以等倭仁來跟他商量時，他把從阮元的「疇人傳」里現抄來的名字，說了一大串，接著便轉入正題：「老師的話一絲不假，『如以天文算學，必須講習，博採旁求』，真正是『必有精其術者』，宣城梅家父子、祖孫、叔侄，一門精於歷算且不說，我請教老師，有位明靜庵先生，老師知道不知道其人？」
「是我們蒙古正白旗的。久任欽天監監正，曾親承仁皇帝的教導——這是古人了，你提到他也無用。」
「提到其人，見得老師的『天下之大，不患無才』八個字，無一字無來歷。康熙年間的事過去了，只說近年：從前胡文忠幕府里就有兩個人，一個叫時曰淳，江蘇嘉定人；一個叫丁取忠，湖南長沙人，都是此道好手，大可訪一訪。」
這就讓倭仁大感困擾了！想不到徐桐竟真箇把「博採旁求」四個字看實了，轉念一想，又覺內愧，言必由衷，無怪乎徐桐信以為真！自己原就不該說沒有把握的話，所以此刻無法去反駁徐桐。
而徐桐卻是越說越起勁，「還有一個人，老師去問李蘭蓀就知道了。」他說，「此人是蘭蓀的同年，也是翰林，江西南豐的吳嘉善，撰有一部『算書』。現在不知在何處，但可決其未死。老師如果沒有工夫去拜蘭蓀打聽下落，我替老師去打聽。」
倭仁一聽他的口氣，麻煩怕會越來越大，還是另請高明的妙，於是想到翁同和。徐桐對翁同和頗懷妒意，這是連倭仁這樣方楞折角的人都知道的，所以當時無所表示，避開徐桐，把翁同和邀到他家裡去商量。
「你聽蔭翁的話如何？」
翁同和對徐桐一直腹誹，卻從不肯在倭仁面前說他一句，此時亦依然不願得罪「前輩」，只問：「要看中堂的意思，是不是願以相國之尊，去提倡天算之學？」
「我怎麼能？其勢不可！再說，恭王有意相厄，難道你也看不出來？」
「我也知道中堂必不屑為此，必已看出恭王有意如此。」翁同和答道：「此事照正辦，中堂決不可有所保舉，只說『意中並無其人，不敢妄保』就是了。」
「不錯！」倭仁深深點頭：「就照此奏復，托你替我擬個稿子。」
「這容易。」翁同和說，「不過最好請蘭蓀前輩看一看奏稿。」
一客不煩二主，倭仁索性就請翁同和代為去請教李鴻藻。紙面文章，並無麻煩，李鴻藻叫人取支筆，就在陪客的座位上，更改數字，讓語氣顯得格外簡潔和婉，然後再由翁同和派人把折稿送回倭仁，當夜謄清，第二天一早進宮遞了上去。
這天徐桐請假，只有倭仁和翁同和授讀。倭仁教完《尚書》，匆匆先退，去打聽消息，留下翁同和一個人對付小皇帝。萬壽節近，宮裡有許多玩樂的花樣，小皇帝照例精神不佳，熟書背不出，生書讀來極澀。翁同和便設法多方鼓舞，改為對對子，「敬天」對「法祖」，「八荒」對「萬國」，都是些簡單的成語，但小皇帝心不專註，不是字面不協，便是平仄不調。再改了寫字，卻又是一會兒嫌筆不好，一會兒罵小太監偷懶，磨的墨不夠濃。這樣好不容易糊弄到午後一點鐘，草草完功，君臣二人都有如釋重負之感。
這時小皇帝的精神倒又來了，響響亮亮地叫一聲：「翁師傅！」
「臣在。」翁同和站起身來回答。
「明天你來不來聽戲啊？」
聽到皇帝那拖長了的、調皮的尾音，翁同和知道是「徒弟考師父」。皇帝十二歲了，不但頗懂人事，而且有自己的想法，常出些為人所防不到的花樣。這一問就有作用在內，如果欣然表示願來，說不定接著就有一句堵得人無地自容的話，說是不來，則更可能板起臉來責備一兩句。
其實，皇帝萬壽賜「入座聽戲」，豈有不來之理？不過君道與師道同其尊嚴，無非要找個兩全的說法。翁同和想了一下答道：「明天原是聽戲的日子，臣蒙恩賞，豈可不來聽戲？」
小皇帝笑一笑，彷彿有些詭計被人識穿的那種不好意思。接著，便由張文亮等人，簇擁著回宮，翁同和也就套車回家。
車出東華門不遠，便為倭仁派人攔住，就近一起到了東江米巷的徐桐家，倭仁先到，下車等待，見了翁同和便搶著說道：「且借蔭軒這裡坐一坐，有事奉商。」
有事商量，何以迫不及地在半路上便要借個地方來談？所以翁同和答道：「請見示。何以如此之急？」
「自然是很急的事。莫非你還不知道？」
「實在還不知為了什麼，想來是『未同而言』？」
「唉！刮慕ァ辟寥侍究諂潰耙延兄家猓以凇芾硌妹判凶摺Ｊ迤劍闥擔墒瞧裼寫死恚俊?
真是豈有此理！翁同和詫異不止。但在人家大門口，又豈是談朝政之地？恰好徐桐迎了出來，一起到了他書房裡，翁同和特意保持沉默，要聽徐桐作何說法？
「這明明是拖人落水！」徐桐很憤慨地說，「老師當然非辭不可！」
「當然。」
「摺子上怎麼說呢？」
「正要向你和叔平請教。」
「你看呢？」徐桐轉臉看著翁同和問。
翁同和謙謝，徐桐便又絮絮不休。倭仁的本意是借徐桐的地方，與翁同和商量好了，隨即便可以寫摺子，就近呈遞，卻沒有想到在人家家裡，不能禁止主人不說話，此時聽徐桐大放厥詞，只好默不作聲地聽著。翁同和當然更不便阻攔，但看見倭仁的神氣，心裡大有感觸，講道學的人，不經世務，一遇到麻煩，往往手足無措，同時也覺得京朝大老不易為，必須有一班羽翼，象倭仁這樣，看起來是理學領袖，其實只是為人利用，不能得人助力，孤立無援，可憐之至。
這樣一想，動了惻隱之心，便打斷徐桐的話說：「蔭翁該為中堂籌一善策，如何應付，始為得體？」
剛說到這裡，倭仁的跟班，從內閣抄了邸抄送來，除了命大學士倭仁在總理各國事務衙門行走以外，批複倭仁的原折，則儼然如真有其事，說「倭仁現在既無堪保之人，仍著隨時留心，一俟咨訪有人，即行保奏，設館教習，以收實效。」可見恭王要把這個玩笑開到底，如再有任何推託，措詞千萬不能節外生枝，否則麻煩越來越大。
到這時候，徐桐也才看出，「弄假成真」的如意算盤打不得！便改了放言高論的態度，「只好找個理由，請朝廷收回成命。」他說，「以宰相帝師之尊，在總理衙門行走，似非體制所宜！」
照他的說法，是蔑視總理衙門。翁同和以為不可，卻不便去駁他，幸好倭仁在這方面的修養，倒是夠的，從不肯以宰相帝師自炫，所以這樣答道：「不必在這上面爭。我想措詞仍應以不欺為本，洋務性非所習，人地不宜，故請收回成命。」
說到「不欺，」假道學的徐桐，不便再多說。翁同和以覺得實話直說，不失以臣事君之道，或者能邀得諒解，當時便照此意思，寫好辭謝的奏摺，派跟班送到內閣呈遞。
第二天是皇帝萬壽節的前一天，沒有書房功課，兩宮太后特為皇帝唱兩天戲，地點在乾隆歸政後，頤養天年的寧壽宮，翁同和奉旨「入座聽戲」。從早晨八點鐘一直到下午三點鐘才散，倭仁特為又把他找到，告訴他說：「上頭不準。由恭王傳旨，非我到總理衙門不可。