也就是這一場快雨，似乎把大家心頭的火氣澆滅了，倭仁已經銷假到弘德殿入直，批評同文館的話，也不大再聽見。這對恭王是一種安慰，也是鼓勵，他與文祥相約，希望文祥多關注各地的軍務，他要把全副精力投注在洋務上。
同文館的事是不礙了，另一項「船政」卻還有麻煩。在福州馬尾山麓，沿江設廠造輪船，原是左宗棠的創議，未及開辦，左宗棠調督陝甘，上奏薦賢，說非丁憂在籍的沈葆楨不能勝任，沈葆楨誠然是人才，但說非他不可，則是左宗棠的私意。左、沈二人都與曾國藩不和，而沈葆楨在江西巡撫任內，生擒洪福瑱，給了左宗棠一個足以攻擊曾國藩的口實，以此淵源，最喜鬧意氣的左宗棠，才力保沈葆楨當「總理船政大臣」。
但是，沈葆楨雖用公款結交御史和同鄉京官，他本人卻像繼閻敬銘為山東巡撫的丁寶楨一樣，以清操為人所稱，因此與新任閩浙總督吳棠，氣味不投。船政大臣衙門，每月有五萬兩銀子的經費，而且指定由關稅撥付，是最靠得住的來源。一切造船器材，甚至燃煤，都自外洋採辦，如果浮報價款，連查都沒處去查的。吳棠看準了這是個「利藪」，卻苦於沈葆楨不讓他染指，而船廠的提調是福建藩司，為吳棠的屬下，他拿沈葆楨沒奈何，遷怒到藩司頭上，必欲去之而後快。沈葆楨自然不讓，他也是可以專摺奏事的，於是上疏力爭。這樣，吳、沈衝突的形跡就非常顯然了。
慈禧太后為此又生苦惱。她當然要回護吳棠，但也決不能說沈葆楨不對，剛剛接事，何來功過可言？所以朝廷只能以調人的立場，勸他們「和衷商辦」。
這時吳棠已另有打算，他認為福建地方太苦，還要受沈葆楨的氣，竟還不如當漕運總督。因此託安德海進言，活動調任。他念念不忘的是兩廣總督，而恰好兩廣總督瑞麟參劾左宗棠所保的廣東巡撫蔣益澧，「任性妄為，劣跡彰著，署理藩司郭祥瑞，朋比迎合，相率欺矇」，於是慈禧太后趁此機會，先把吳棠調離福建，命他「馳赴廣東，秉公查辦」。
督撫同城，往往不和，若有彼此參揭的情事，總是由京裏特派大臣前往查辦，改派另一個疆臣去處理，是罕見的事例。但吳棠的關係不同，瞭解內幕的人，都在替瑞麟擔心，怕的是兩敗俱傷，便宜了查案的欽差。
但這個「內幕」，在極少數真正瞭解滿洲八大貴族淵源的人看來，卻是可笑的。瑞麟的情形跟吳棠相彷彿，如果吳棠能夠不倒，瑞麟也一定不會垮。
他跟慈禧太后是同族，都姓葉赫那拉氏，筆帖式出身，在主管一切典禮的太常寺當個「讀祝贊禮郎」。道光二十七年，太廟祫祭——歲暮對祖宗的大祭，瑞麟讀滿洲話的祝文，聲音宏亮，精神十足，宣宗最注意這些小節，一高興之下，賞了他五品頂戴和花翎。不久，又升太常寺少卿，再下一年春天升內閣學士兼禮部侍郎。由九品官兒跳到二品大員，前後只有十五個月的工夫，而所得力的只是一條宜於唱黑頭的嗓子。
瑞麟後半世的富貴，得力於他的慷慨憨厚。當慈禧太后在清江浦，受了吳棠的無心之惠，扶柩回京，母女姊弟，寡婦孤兒，不大有人理睬。瑞麟念於同族之誼，常有周濟。在慈禧太后看，這雖不比吳棠的援手於窮途末路之中，也是雪中送炭的情意。其時慈禧太后的娘家，只有兩個人照應，一個是瑞麟，一個是宗室奕劻，但奕劻自己也窮，只能替她娘家幫些代筆寫寫信之類的忙，自然比不上瑞麟那樣令人心感。
因此，文宗即位，慈禧太后——那時的懿貴妃，得寵於圓明園「天地一家春」時，瑞麟的官運，便越發扶搖直上，入軍機，署直督，咸豐九年正月就是一品當朝的文淵閣大學士了。
那時正是英法聯軍入侵，以後由海道北犯，進據天津，京師大震。瑞麟奉旨率領京兵九千人守通州，朝廷和戰之議不決，而僧格林沁已一路敗退，聯軍前鋒，抵達通州張家灣，瑞麟和勝保在八里橋拒敵，接戰即潰，退守京師，在安定門外又打了一仗，依舊大敗，因此瑞麟被革了職，跟著文宗逃難到了熱河。
等和議一成，被革職的官員，紛紛起用，瑞麟以侍郎銜派到僧格林沁軍中效力，在山東剿捻，攻巨野羊山集匪巢不利，而且馬失前蹄受了傷，逃到濟寧。這一下又被革職。
第二年文宗崩逝，接著發生「辛酉政變」，瑞麟由於慈禧太后的提攜，以鑲黃旗漢軍都統，調為熱河都統，不久又調為廣州將軍。毛鴻賓降調，瑞麟更兼署兩廣總督，在廣州賣缺納賄，毫無顧忌。公事都交給一個幕友徐灝，他自己躲在衙門裏，除了講究飲食和欣賞順德女傭的天足以外，便是不斷鬧笑話，為廣州人上茶樓「一盅兩件」之餘，平添許多有趣的話題。
旗人的笑話，以認白字為最多，瑞麟的官大名氣大，所以認白字的笑話更出名。有一次遇到廣州的米價大漲，他問屬員，是何緣故？那人答了四個字：「市儈居奇。」居奇是聽懂了，市儈二字卻不懂，他詫異地問道：「『四怪』是甚麼人哪？」
不過他為人憨厚，頗有自知之明，所以一個姓宓的同知，分發到省，初次謁見總督時，他拿著「手本」老實說道：「老兄的姓太僻，我不知道是個甚麼字。請你自己說吧！」聽見的人都想笑不敢笑。
瑞麟的這些笑話，朝廷當然有所聞，他在廣州的「官聲」，朝廷更有所聞。但是他「好官自為」，能屹然不倒，這不僅因為內有慈禧太后的眷顧，而且從恭王以下，凡是滿洲的王公大臣，都願意維持瑞麟。這固然由於他出手大方，人緣極好，而最主要的一個原因是，開國至今，兩百年來，漢人勢力之大，前所未有，十五省巡撫，只有一個安徽巡撫英翰是滿洲人，包括「漕運」、「河道」在內的十個總督，亦只有湖廣總督官文和兩廣總督瑞麟是滿洲人。及至官文為曾國荃不顧一切，斷然奏劾，由查案的譚廷襄接署以後，瑞麟更成了一名碩果僅存的督臣。倘或再由吳棠接替，則天下總督，盡為漢人，滿洲臣民，自然不服，所以不管瑞麟如何貪墨，仍舊要維持在位。誠然，瑞麟不足以勝任此職，但滿洲大員，幾乎都是一丘之貉，倒不如順從慈禧太后，把他留在任上的好。
這是內幕中的內幕，瞭解的只有極少數的人，而此「極少數」的人，連安德海都未包括在內，包括在內的，自然有恭王。
奉到赴廣州查案的上諭，吳棠知道自己決不會再回任了，所以離開福州時，就像奉調那樣，把眷屬行李，掃數帶在身邊，並且親筆點派兩百名兵丁護送。由福州坐輪船到上海，派人把眷屬先送回安徽盱眙老家，然後由上海再坐輪船到香港，轉道廣州去查案。
在上海的時候，吳棠才知道瑞麟得慈禧太后眷注的原因跟自己一樣，而且他是旗人，比自己更佔便宜，所以已不存取而代之之想。也因為如此，他把廣州查案，當作珠江攬勝，從容不迫地慢慢行去，到了廣州，也不講欽差大臣應有的「關防」，雖然表面上不便公然與總督酬酢，暗地裏卻是輕車簡從，日日歡敘快飲。
瑞麟和吳棠都是天生福人，健於飲啖，瑞麟家廚所烹調的魚翅，是連「食在廣州」的富家都自歎不如的，所以吳棠大快朵頤之餘，對瑞麟頗有相見恨晚之感。
案子當然也要查，查明的原因是蔣益澧有左宗棠撐腰，借裁陋規與總督爭權，而杯酒言歡之間，得知瑞麟亦無意與蔣益澧為難，只要他離開廣州，餘非所問，於是吳棠奏復：
「蔣益澧久歷戎行，初膺疆寄，到粵東以後，極思整頓地方，興利除弊；惟少年血性，勇於任事，凡事但察其當然，而不免徑情直遂，以致提支用款，核發勇糧及與督臣商酌之事，皆未能推求例案，請交部議處。」
吏部議復，請將蔣益澧降四級調用，慈禧太后知道蔣益澧在這一案中有所委屈，改了降二級，由巡撫變為候補按察使，發往陝甘總督左宗棠軍營差委。
不久，四川總督駱秉章病故，不用說，當然由吳棠調補。空出來的閩浙總督一缺，由浙江巡撫馬新貽升任，他是山東的荷澤人，李鴻章的同年。在陝甘回教內部大起糾紛之時，馬新貽的新命，頗為人所矚目，因為他是清真。
對於這番調動，大家的看法是，吳棠的終身已定，而蜀中的百姓卻要遭殃。以吳棠的出身、才具和抱負來說，不可能拜相封侯，也不可能會調兩江或兩廣總督，這樣以天高皇帝遠的四川總督終老，盡不妨大事搜括，所以說蜀中的百姓要遭殃。
但在李鴻章來說，讓他暗暗驚心的，卻是與此同時的另一個疆臣調動的消息，曾國荃的湖北巡撫垮了，說「因病辭職」，是朝廷看他長兄曾國藩的分上，為他留面子。直隸總督劉長佑就沒有這麼便宜，硬是革職的處分。曾、劉二人落得這樣一個下場，都是因為剿匪無功的緣故。專責剿治東捻，現駐山東濟寧的李鴻章知道，倘或再不打一場切切實實的大勝仗以上慰朝廷，只怕將會成為劉長佑第二。