大海並不偏袒交戰中的任何一方。在金軍幾千將士慘遭滅頂之災以前，時值建炎三年與四年之交，宋高宗的船隊離開昌國縣南逃，也遇到了迎面的南風。最初的三天是航行遲緩，一個日夜不過行駛數十里，從除夕到元旦，南風愈颳愈猛，整個船隊被迫下碇停航。約三萬人寄身在驚濤駭浪之中，人人都懷著葬身魚腹的惴恐，每一艘船上的人們，都在不斷祈禱天地諸神，以求安度辭舊迎新的重大節日。
宋高宗的御樓船有上下兩層，上層作為寢閣，下層作為便殿，而以張去為為首的十五個宦官和九十九名宮女，辛企宗、辛永宗率領的二十名衛兵以及一些水手主要在船身的艙內起居。經過幾天的航行，張才人和近半數的宦官、宮女都得了暈船症。然而以王繼先為首的一批御醫卻在另外一艘海船上，無法前來診治。由於風浪太大，按照水手們的建議，將上層寢閣的傢俱之類搬到下層，皇帝和張才人、吳貴人等臨時就改在便殿起居。按近代物理學的常識，這就是為了降低船的重心，減輕翻船的危險。
除夕之夜張才人臥床不起，只有吳貴人帶幾名宮女，陪著皇帝飲酒。宋高宗平時酒量頗大，如今卻是滿懷愁緒，連一杯酒都不想喝。吳貴人自從逃難以來，一直身穿戎裝，她的好處是在患難之中，經常面帶微笑，對任何人都不說洩氣話。張才人得病以後，她更成了船上無可爭議的女主角。在不斷顛簸的便殿裡，明亮的燭光也搖晃得教人難受，吳貴人只能斟上半盞明州帶上船的金波酒，臉上露出相當自然的微笑，說：「連日狂風惡浪，御船隊安然無恙，此是天地眾神護佑之力，亦是託庇於官家底洪福。官家飲此盞明州所產名酒，必是在浩瀚金波之中，吉祥如意！」宋高宗的情緒低沉至極，他感嘆說：「朕自即位以來，又何曾有吉祥如意？」
吳貴人正待勸解，只聽得艙外一陣浪擊甲板的聲響，有一尾近三尺長的魚，從艙外滑入便殿，還不斷地蹦跳。這當然是海上的一個巨浪，正好把這條魚打到船上。吳貴人立即下跪說：「臣妾奏稟官家，當年周武王伐紂，有白魚躍入舟中，此便是大獲全勝底祥瑞。今亦有白魚躍入御舟，必是天地祖宗顯示祥瑞，教官家無憂無慮，歡度除夕。」宋高宗在近乎絕望中得到了莫大的寬慰，他吩咐宦官們：「將此祥瑞之物好生護持，投入海中！」然後舉起酒盞，把吳貴人的敬酒一飲而盡。
到元旦之夜，南風才轉為北風，這支御船隊方得以繼續南行。近三萬人的吃食，船隊給養的消費是很大的。正月二日，船隊不得不臨時停泊在台州沿海的一個無名港口。但港口邊的兩個村落除了供應井水之外，幾乎不能提供多少其他的給養。儘管如此，三萬各種身份的男女老少，一旦暫時脫離鯨波萬頃的險境，得以登岸享受海邊的旖旎的自然風光，還是無不歡天喜地。僻靜的港口一時顯得熙熙攘攘，十分熱鬧。
然而御醫們卻沒有在海岸漫步的福分，他們首先應召登御船，為張才人和宮女、宦官們治病。王繼先奏稟宋高宗：「張娘子等沾染海氣，須是登岸散心，則病氣自除。」但御船的停泊處還有一片沮洳沙灘，張才人等只能戴上蓋頭，腳穿芒鞋，互相攙扶，才能涉水登岸。這群宮女好多天在水天一色的環境中擔驚受怕，現在得以到海岸觀賞自然美景，也個個感到慶幸和鼓舞。
御船隊航海，已有幾天無法舉行朝會儀式。無論是君臣之間，還是臣僚之間，在海上互相睽隔，難以聯繫。以呂頤浩為首的一群臣僚登岸以後，當然需要朝拜皇帝。然而按照宋高宗的命令，還須在御醫登船診病之後。他們目前最發愁的事，當然是三萬人近將斷炊的問題。經過商議，呂頤浩等人決定先派吏胥快馬加鞭，急馳台州，索取給養。
當張去為傳旨後，這群臣僚開始涉水登御船，軍兵已經在這段路上鋪墊了稻草，稻草盡頭則是踏板。呂頤浩帶頭上船，他瞧著自己腳上的芒鞋，不免聯想起平時朝會的朝靴，隨口自嘲了一句：「草屨便將為赤舄。」在他身後的范宗尹也隨口和了一句：「稻秸聊以當沙堤。」其他臣僚聽到這兩句對聯，都報以苦笑。登船之後，最注意修飾的范宗尹馬上脫去芒鞋，換上朝履。呂頤浩本來打算將就著進便殿，只能笑著說：「自家亦不得麻鞋見天子。」吩咐吏胥從自己船上取來朝履。
便殿裡的睡具等已經撤去，宋高宗也力求在朝拜儀式中維持天子的尊嚴。山呼禮畢，宋高宗望著十多名文武臣僚，雖然經歷了幾天風浪，還是顯得精神抖擻，特別是范宗尹，穿戴得尤其整齊，心裡有些高興，說：「朕與卿等歷經風波，幸得無恙，此亦是天地祖宗護佑。」他接著就說了白魚登船的祥瑞，中書舍人李正民口奏說：「臣等在岸上，已知得白魚登舟之喜。臣雖不才，賦七絕一首，恭請陛下聖覽。」他說完，就用雙手攤開一張紙，呈送給馮益，馮益又用雙手攤在皇帝的御案上。宋高宗只見紙上用草書寫道：
雲濤雪浪蹙天浮，隱隱征帆去未休。
蛟蜃伏藏舟楫穩，將軍何用說防秋。
就讚賞說：「卿寫得好詩，書法亦是甚佳！」呂頤浩注意及時轉移話題，他口奏船隊的給養等情況和應急措施，說：「臣等計議，此處雖已是台州地界，距明州不遠，不是安泊所在。此去台州臨海縣章安鎮，只須一日夜行程，莫須暫去章安鎮安泊？」宋高宗說：「便依卿等計議。」朝拜儀式結束後，男女老少們就紛紛上船，船隊又開始航行。
正月三日午後，宋高宗的船隊終於行駛入今台州灣，在臨海江入海口北岸的章安鎮停泊。當時整個船隊已經無糧而停炊，男女老少都紛紛登岸覓食。宋高宗和臣僚、宦官們來到了鎮上的奉安祥符寺。僧人們聽說官家來到，就一齊出寺門迎接。拜見禮畢，馮益上前對住持僧說：「官家早餐唯得薄粥，寺中有食，可速與供進。」
和尚們剛用過午飯，住持僧連忙吩咐廚房趕緊煮食。宋高宗不坐佛殿，臨時就在庭院裡就坐，臣僚和宦官分列兩邊。一名和尚手捧一個木盤，盤裡有廚房裡僅剩的五枚炊餅，
另加一些蔬菜、薑和鹽，進獻皇帝。宋高宗竟餓不擇食，他隨手抓起一個炊餅，就狼吞虎嚥，大嚼起來。他一氣吃了三枚半，才環視站立兩邊的呂頤浩和范宗尹，說：「呂卿與范卿，你們亦必是甚飢，可先進食。」大約過了一個時辰，台州知州等官員才趕到章安鎮，為這三萬飢餓者帶來了大量稻米、錢和帛，終於解決了斷炊之虞。
宋高宗和一行臣僚、宦官在奉安祥符寺飽餐之後，又到附近散步，觀賞風景。大家步行到了一個黃椒村，幾百村民上前跪告，說是剛才一群官兵已經把村裡搶個雞犬不留。宋高宗回顧呂頤浩說：「朕為生民作主，豈得如此，可與家家戶戶，倍償錢帛。」村民們謝恩，歡聲如雷。村婦們本來都躲在家裡，現在紛紛戴著蓋頭，出來圍觀天子。宋高宗吩咐村民說：「你們與夫人各自逐便！」夫人本是尊稱，而村婦當然沒有稱夫人的資格，但皇帝的金口一開，黃椒村人從此都把婦女改稱夫人。
宋高宗一行暫住章安鎮，卻仍然住在船上，不敢陸居，十多名臣僚還是每天到御船上朝拜。幾天後的一次朝拜，范宗尹報告得到了張俊在明州的捷奏，宋高宗感到振奮，對臣僚們說：「張俊自元帥府隨朕，今日立功，煞是不負朕之所望！」呂頤浩說：「虜人四太子渡江以來，軍士疲於奔命，不服水土，聞得戰馬倒斃甚多。明州一戰，足見虜人兵勢已至強弩之末。莫須臣自去明州，會聚諸路兵馬，乘勝殲敵，使虜人從此不敢渡江。」宋高宗說：「卿不可離朕左右。」趙鼎說：「虜人此回只是小衄，呂相公不可輕敵。」呂頤浩也不好再說什麼。
宋高宗說：「天氣甚佳，聞得金鰲峰是此處勝景，朕今日當與眾卿同去觀覽。」於是，臣僚們就追隨皇帝上岸，登上了金鰲峰。金鰲峰是本鎮的一個最高峰，從峰頂俯瞰，湛碧的海港和船隊盡收眼底，使人們暫時忘卻了世事的煩惱，心曠神怡。他們又來到峰巔的一個佛寺，名叫福濟寺，僧人們連忙出迎，將皇帝、大臣等請到寺裡，敬獻茶水。宋高宗突然見到壁上有一首題詩，他帶著好奇心，手持茶杯，走去觀賞，只見那首絕句寫道：
牡蠣灘頭一艇橫，夕陽高處待潮生。
與君不負登臨約，同向金鰲背上行。
宋高宗感到詩句似乎隱隱含有譏諷自己的意思，就厲聲問住持僧：「此詩是何人所寫？」住持僧聽皇帝說話的聲調，就明白他很不喜歡這首詩，連忙回答說：「此是過往遊客所題，距今已是一年有餘，小僧輩亦不知他底姓名。」宋高宗仔細觀察，果然是墨跡陳舊，就把杯裡的茶水往題詩處一潑。宋高宗不再多說，面帶怒色，馬上離開寺院。僧人和臣僚明知皇帝不高興，卻都不便說什麼。有興而來，卻是掃興而去。
張俊率領御前右軍很快就趕到章安鎮，向宋高宗獻上兩個耳戴金環的女真人首級報功，宋高宗下令，將張俊部屬的立功人每人升遷七官。這件事引起文臣們的普遍反感，御史中丞趙鼎請求單獨面對，他說：「明州之戰只是小勝，賞功過厚，張俊擅自引兵退遁行在，亦是功不掩過。若是不行懲戒，切恐武將們