宋高宗一行從平江府城南的盤門出城，乘船沿浙西運河南下。王淵的座船滿載甲士，在前面開路。後面的御船則載著皇帝、張才人、七名國夫人、康履、張去為以及其他宦官、宮女，共計七十餘人。另一艘較小的船裡，則載著潘賢妃、曾擇、藍珪、馮益和其他宦官、宮女，共計五十多人。黃潛善、汪伯彥等人的座船都排在更後。船隊在運河裡平緩地航行，儘管皇帝、潘賢妃和兩個宰相仍然各自心事重重，其他人從的心境卻變得比較輕鬆。
春江水暖，船隊駛過一個鴨群，迎面又來了一個更大的鴨群。站立船頭的馮益，本來只是眺望水鄉風光，他忽然心血來潮，吩咐小宦官說：「取弓箭來！」小宦官取來弓箭，馮益彎弓一發，竟射中一隻大鴨，那隻鴨慘叫一聲，一個翻滾，在河裡滲出了鮮血。眾宦官一時興高采烈，就紛紛射鴨取樂，不一會兒，就有好幾十隻鴨死於攢射之下。鴨群的慘叫，驚動了鴨主，他撐船前來，眼見是一支官府船隊，只得高聲哀求說：「切望官人們手下留情，保全男女底生理，煞是感恩戴德！」不料話音剛落，竟飛來一枝箭，射中了他的右肩。那個鴨主只能忍痛划船逃跑，嘴裡不斷地低聲罵「潑賊」。
在御船裡的宋高宗聽到船外喧鬧，也到船頭看熱鬧，他見到鴨群被射的情景，又在苦悶無聊之中，感受到一種特別的樂趣，下意識地發笑。其他的國夫人、宦官、宮女等也無不忘情嬉笑。唯有張才人卻及時湊近皇帝身邊，用極低的聲音說：「官家，不如出資收買鴨群，以示陛下愛養百姓底至意。」一句話提醒了宋高宗，他當即命令康履說：「國家危難時節，豈可以射鴨取樂？可傳旨停止放箭，將鴨群收買，犒賞眾人，另出資與鴨主養傷。」
一場虐民取樂的鬧劇收場了。船隊夜泊吳江縣時，皇帝就在御船上用晚膳。張才人還是照舊伏低做小，把潘賢妃請到御船上，同皇帝，還有七名國夫人共進晚膳，並且讓潘賢妃上座。自從宋高宗和潘賢妃發生齟齬以來，張才人的所作所為，贏得行宮上下，特別是宋高宗本人的嘖嘖稱讚，連充滿妒意的潘賢妃也有幾分後悔之意。
但是張才人其實有自己更深的考慮和打算，宮裡無非是母以子貴，只要小皇子在，自己和潘賢妃的積怨無論如何是宜解不宜結。她深知宋高宗的脾性，自己一旦年老色衰，是根本無法避免失寵的命運，她內心深處的最大宏願和秘密，就是生一個兒子，將來取代潘賢妃母子，而佔取皇后的寶座。自從宋高宗得了陽痿症後，她的內心和皇帝同樣焦急。宋高宗到平江府後，就開始求醫問藥。醫生按照一般的醫道，給他服用五味子丸、磁石丸、助陽丸之類以及湯藥。張才人本來也稍稍懂得一點醫道，現在又出錢買了醫書，一有閒空，就精心研讀。
關於今天的晚膳，她對宋高宗說：「按醫官與醫書之說，官家心肝火旺，憂勞傷了賢氣，血氣不能充養。宜補虛，興陽道，益精氣，然而又不宜大補。服藥之外，亦可用藥膳。」晚膳開張時，御廚依張才人的佈置，供進一道道以鴨為主的藥膳。張才人對每一道藥膳，都逐一向皇帝說明：「此是枸杞、地黃、鴨肉羹，鴨肉滋陰養胃。此是三子豬腎膾，三子是菟絲、枸杞與桑葚，豬腎補腎壯腰。——」宋高宗品嚐著別開生面的藥膳，高興地說：「朕唯知有良藥之苦，今日方知有藥膳之美。」成國夫人吳氏最善趨炎附勢，她說：「張娘子為聖體盡心竭力，高天必有厚報！」其他國夫人也跟著紛紛奉承。
潘賢妃自從和宋高宗吵鬧以後，不再有同房的機會，但她也聽到了皇帝得病的消息，現在見到這種情景，憑著她特別的敏感，立即就猜透了張才人的心機。她只能暗自詛咒說：「昊天上帝有目，唯願官家底痿腐永不得癒，那廝賤婦永不得生子！」
二月十三日，宋高宗一行在連綿的春雨中抵達杭州，杭州官員和御營右軍統制苗傅、副統制劉正彥都到城北餘杭門外迎接。杭州位於浙西平原的南部，作為兩浙路的首府，和平江府同為最富庶的州府。杭州城形似腰鼓，南北長，而東西窄。五代吳越築城建都時，卻一反中國古代都城「面朝後市」的傳統，將宮殿建築設置在城南的鳳凰山東麓，除羅城外，宮殿另有子城。宋朝統一南方後，又將宮殿改為州衙。宋高宗還沒有到達杭州，就已經商定了行宮的地點。最初準備將行宮設置在子城北雙門外的兩浙路轉運司衙，改名升宮。但考慮到財政的拮据，還是決定利用吳越的舊宮作為行宮。宋高宗不登岸，他的御船穿行城北天宗水門，沿著城裡的大河，抵達行宮。
隆祐太后、柔福帝姬、吳貴人、小皇子趙敷等在行宮迎接宋高宗。小皇子按照吳貴人的調教，向宋高宗下跪叩頭，口稱：「臣兒子叩見官家阿爹！」宋高宗對潘賢妃儘管已經嫌惡，但對這個兒子還是視若掌上之珍，雖然分別不滿一月，仍是十分想念，他親暱地說：「兒子少禮，阿爹委是思念！」他說著，正準備伸手把小皇子抱起來，不料小皇子已站起身撲向潘賢妃的懷裡，不斷地叫「媽媽」。潘賢妃把兒子抱起來，也不斷地叫「兒子」，兩行玉箸般的淚水不由奪眶而出。
小皇子用小手給母親擦淚，說：「媽媽休哭！媽媽休哭！」兒子的天性之愛，更使潘賢妃肝腸寸斷，她忍不住悲聲大放。小皇子見到母親的痛苦情狀，也大哭起來。吳貴人不知道宮闈最近發生的事，但憑著她的聰明，已經覺察到其中必有蹊蹺，她趕緊上前，抱過了小皇子，不斷地哄勸。張才人也及時上前，與吳貴人一同哄勸。
宋高宗十分掃興，如果不是心疼兒子，強壓怒火，非把潘賢妃斥罵一通不可。他現在只能朝潘賢妃瞪一眼，又上前哄了一陣小皇子，然後吩咐藍珪說：「今晚排辦晚膳，朕只與娘娘同吃。」
宋高宗下了罪己詔，放了一百八十名宮女，又撫恤了陳東、歐陽澈和馬伸，剩下兩件最重要的事，一是罷相，二是拜相。所以對這兩件事仍然遷延一些時日，一是等待臺諫官對兩個宰相的攻擊達到相當火候，以顯示皇恩寬大，二是等待沿江的軍事形勢有所緩和，以便抽調朱勝非回行朝。
一天下午，宋高宗叫張去為給他念臺諫官的劾奏和兩個宰相的奏疏。黃潛善和汪伯彥最近又挖空心思，另上謝罪而不辭職的奏疏，宣稱「不敢止用常禮，俟禍患稍寧，即再伸前請」。當張去為念到汪伯彥奏中說：「臣偶以沉痾所纏，不能密志而慮，致鑾輿之遑遽。」宋高宗忍不住大怒，說：「汪伯彥在謝罪之時，猶不忘藉口沉痾，諉過於黃潛善。然而他日日與黃潛善聽高僧說法，飲酒作樂之時，又有甚病？自渡江遷徙以來，又有甚病？誠如臺諫所論，二人禍國至此，猶自恬不知恥，偃然居相位，而實無引咎辭避之意！」皇帝的玉音，聲色俱厲，宦官們明白，宋高宗對這兩個昔日的寵臣，已經蘊積了滿腔的怒火，而最使他傷心的事，當然是兩人使他得了陽痿症。自從揚州逃難以來，在外朝面對時，宋高宗刻意顯示帝王的涵養和大度，還不時故作姿態，做些虛偽的表演，而在內廷就經常發怒。儘管如此，宋高宗對於自己的「痿腐之症」，卻只能啞巴吃黃連，而從來羞於作為怒罵的口實。
張去為接著又念剛才遞到的呂頤浩和朱勝非的奏報，兩奏肯定金軍撤退在即，不僅大江的防禦無憂，而且還準備出兵收復揚州。宋高宗當即提筆寫了兩份御筆和兩份手詔，他首先將兩份手詔交付馮益說：「你明日動身，前往江上，將手詔付與朱勝非、呂頤浩，命朱勝非將軍務移交張浚，即日赴行在。你可在江上停留數日，以朕意撫慰劉光世、張俊諸軍。」馮益應承說：「小底遵旨！」
宋高宗又吩咐張去為說：「你可去翰林學士院，宣召宿直詞臣入殿，今夜鎖院。」按照制度，凡是拜罷宰執大臣之類，翰林學士院輪班宿直的詞臣面對後，依照皇帝的聖語、御筆之類，起草駢體文制詞。為了保密，在詞臣起草制詞直到正式發表之前，由宦官將小殿或學士院上鎖，以防洩密。張去為和馮益立即奉旨退下。
當天夜晚，康履、曾擇、馮益等人又和王淵泛舟西湖。皇帝拜罷宰執，本是頭等機密，而宦官們卻是近水樓台先得月，他們已經得知，不但明天黃潛善和汪伯彥將正式發表罷相，朱勝非行將拜相，而王淵也將升任執政，當同簽書樞密院事、仍兼御營司都統制。今天的夜宴由王淵出資，名義上是給馮益餞行，實際上也有因陞官而答謝眾宦官的意思。
他們乘坐了西湖裡最大的畫舫，船名「十樣錦」，長二十多宋丈，一千料，當時的船舶的載重概念，一料相當於一宋石。船上是雕欄畫棟，錦繡簾幕，船外是殘月和稀星映照下的細浪微波，春風不時吹入艙裡，令人心曠神怡。畫舫自南而北，在湖面上緩慢滑行。艙內則是觥籌交錯，歡聲笑語。
畫舫航行到湖心，正當王淵和宦官們開懷暢飲、得意盡歡之時，另一艘較小的湖舫快速追上了「十樣錦」船，船上的人大呼小叫：「汪相公欲拜會眾大官與王都統。」馮益興奮地說：「汪十五必是送財寶來！自家們且虛做人情，不容錯過。」眾人明白，這無疑是最後一次詐騙這個宰相錢財的良機。大家來到船頭，與汪伯彥隔船作揖。