宋高宗在建炎三年十月八日抵達臨安後，不敢住行宮，只是和張才人、吳貴人等住在停泊在浙江的御船裡。當時兩路金軍還都沒有渡江，而宋高宗卻早已是驚弓之鳥，做了隨時逃跑的準備。呂頤浩只得率百僚每天到船上朝拜。御船雖大，已不可能舉行朝會，臣僚們只能分批上船禮謁。
十一日，呂頤浩在御船上單獨面對，他見到皇帝消瘦的面容，動情地說：「陛下邇來聖容清臞，此由國運艱難，臣愚不才，致使聖慮焦勞。然而陛下須念祖宗與二帝以宗廟、社稷付託之重，稍寬聖懷，以圖中興大業。」宋高宗說：「朕嘗夜觀天象，見熒惑方位失常。朕沿途已食素二十餘日，須俟熒惑復行軌道，方得復用常膳。」熒惑就是火星，古人認為，天上的星象有異，就是預示人間有災變。宋高宗在御船上魂夢不安，食不甘味，每天祈禱，找來各種占卜，儘管都是大吉大利，卻一點也沒有消減皇帝的恐懼和畏怯心理。張才人、吳貴人等想方設法，勸皇帝強進飲食，也無濟於事。
呂頤浩說：「目即尚未有虜人軍情，御舟雖大，陛下起居服食，百官朝覲，亦有諸多不便。行宮與御舟近在咫尺，陛下不如暫回行宮。」宋高宗說：「不可，朕只覺在御舟安便。既是軍興時節，凡百禮儀，亦須稍事苟簡，比不得太上承平時節。」
呂頤浩見皇帝不聽，當然也不敢勉強。他正準備告退，不料宋高宗又提出了新的移蹕方案，他說：「呂卿，臨安雖有重江之險，亦不可保行朝必無疏虞。朕昨夜取地圖觀覽，不如前去越州。」呂頤浩想了一下，問道：「不知陛下欲於何日啟蹕？」宋高宗說：「朕已取曆日驗看，十五日是吉日。」呂頤浩說：「臣謹遵依聖旨。」
十五日，宋高宗的御船啟航，一時官吏、軍隊和眷屬們紛紛擾擾。從臨安到越州（治今浙江紹興），有一條橫貫越州境內的運河，經蕭山縣城直抵州城。但由於人數過多，船隻不足，一部分人員必須陸行。御前右軍都統制張俊講究舒適，他本人與家眷坐船，而命令心腹統制楊沂中率本軍夾河護衛御船一行。馮益也獨自安排了一艘座船，滿載著家屬和財寶，緊隨御船之後。兩艘船在先後次序上發生爭執，馮益現在是宋高宗最寵幸的宦官，竟在船頭上大罵張俊：「這廝赤老，原是個賊盜，賊面賊心賊骨頭，有甚功德，敢與我爭先後？」張俊原來確是強盜出身，現在卻是官為節度使，當然無法忍受揭穿自己底細的毒罵，他站立船頭，手舞寶劍，大喊道：「那廝賊閹豎，膽敢在太歲頭上動土！你作惡多端，天下無人不知，本是漏網底魚，苗傅與劉正彥未得殺你，待我殺了那廝，為天下除害！」
正在岸上的侍御史趙鼎見到這種情景，就大聲喝道：「天下有難，聖上移蹕，你們蒙君恩深厚，不思為國排難解紛，卻在此惡語叫罵，又成甚底體統？」按古代制度，御史雖然官位不高，卻可以糾劾百官，在朝廷上有一種特殊的權威。馮益和張俊的叫罵只能到此收場，各自回船艙。趙鼎連夜上了一份劾奏，但他按照相沿成習的傳統，只是彈擊宦官，並不指責張俊。
宋高宗的御船夜泊蕭山縣城下，按照最近的慣例，在晚飯後，由張才人和吳貴人輪流為他念奏疏，今夜輪到了吳貴人。在小皇子病死，潘賢妃徹底失寵以後，吳貴人已逐漸取得與張才人平起平坐的地位。她的這份特殊地位是來之不易的。既然在容貌上無法與張才人比高下，她不能不挖空心思，採取其他辦法討皇帝的喜歡。她知道宋高宗喜歡女子的文才和翰墨，就努力讀書，練習書法，近一段時期，她臨摹黃庭堅的書法，竟達到維妙維肖的地步。宋高宗就是學黃字，吳貴人的字竟可對御書以假亂真。張才人慢慢意識到，吳貴人竟是與自己爭寵的對象，兩人開始了明爭暗鬥。但是，憑著張才人的修養，她表面上是決不會露出任何聲色。兩人愈是爭寵激烈，表面上就顯得愈加親睦。
吳貴人先念了張俊的上奏，接著又念了趙鼎的劾奏，當她讀到「明受之變，起於內侍，覆車之轍，不可不戒」一句，宋高宗就命令說：「吳娘子不須再讀。」吳貴人應聲停止了朗讀。宋高宗想試一下兩人，就發問說：「依你們底意思，此事當如何措置？」他的目光首先對著張才人，張才人說：「臣妾謹守祖宗之戒，不敢議論外廷底事。然而馮益是內侍，目今官家巡幸東南，全仗大將宣力。張俊在元帥府時，便伏侍官家，又有勤王大功，須教馮益賠禮。」
宋高宗的目光又轉向了吳貴人，吳貴人說：「張娘子底意思甚是周全。官家是九重之主，不宜親自過問，不如請張娘子宣諭張去為，命張去為教馮益賠禮。官家另可宣賜張俊，以示聖恩。」宋高宗對兩人的應答都感到滿意，而認為吳貴人想得更加周全，說：「張娘子便依朕底旨意，召張去為曉諭。」
翌日清晨，張俊剛吃過早飯，有親兵報告說：「今有馮大官求見張節使。」張俊雖然在氣憤時命幕僚起草奏疏，聽說馮益登船，也不敢怠慢，就親自出迎。兩人都臉上堆笑，彼此顯得恭敬有禮，在「張節使」和「馮大官」的客套稱呼中，化解了新怨。
宋高宗在十七日到達越州，暫住州衙，百官分別寓居州城各處。一月之間，宋廷竟完全得不到金軍的確實消息。當時完顏拔離速所率的金軍早已渡江，遲緩的奏報竟在二十多天後方才傳送到行朝，而杜充又在建康府虛報戰績，說金軍犯採石渡和慈湖寨，都已被他部署兵力殺退，予敵人以重創。宋高宗接到杜充的奏報後，立即召見呂頤浩，面露從未有過的喜色，說：「杜充煞是不負朕底委寄，破敵成功，朕今冬可以無憂。可召詞臣為朕草詔，具道朕回鑾浙西親自迎敵之意。」呂頤浩也感到鼓舞，他原來就不主張退避越州，一直建請皇帝回鑾臨安，今天算是得到宋高宗的允准。詞臣汪藻進便殿，不一會兒，寫就了一道詔書草稿：
國家遭金人侵逼，無歲無兵。朕纂承以來，包羞忍恥，卑詞厚禮，遣使哀祈，無不曲盡。今諸路之兵聚於江、浙之間，朕不憚親行，據其要害。如金人尚容朕為汝兵民之主，則朕於事大之禮，敢有不恭！或必用兵，窺我行在，則朕亦何愛一身，不臨行陣，以踐前言，以保群生。朕已取十一月二十五日移蹕，為迎敵計。惟我將士、人民念國家涵養之恩，二聖拘縻之辱，悼殺戮焚殘之禍，與其束手待斃，曷若並計合謀，同心戮力，奮勵而前，以存家國。
宋高宗十分滿意，對汪藻說：「卿詞意明白曉暢，深得朕旨，便以此播告中外。」呂頤浩等臣僚在最近幾個月來，還是第一次見到皇帝的精神竟如此振奮。皇帝的詔書發表後，卻招致一些臣僚的反對，其中以御史中丞范宗尹和侍御史趙鼎反對尤力，他們上奏，強調皇帝決不能去浙西冒險。
儘管如此，十一月二十五日，宋高宗還是履踐諾言，啟程前往臨安府。一行船隊夜泊錢清堰時，方才得到馬家渡之戰的敗報。這對於皇帝和宰相呂頤浩，都成了當頭棒喝。宋高宗再也不敢延誤，立即下令返回越州。翌日君臣不進城裡，就在運河邊的長亭裡會議，但還是按君臣禮儀，皇帝居中坐著，群臣分立兩旁。宋高宗眼球裡佈滿紅絲，神情慘淡，他首先說：「朕悔不聽朱勝非之言，輕信杜充，如今國家既失大江天險，朕一夜思忖，決計前去明州避敵。」
呂頤浩的精神負擔也決不比皇帝輕，特別有兩件事，使他深深的後悔，一是不該排除一些臣僚的非議，舉薦杜充，二是不該建議皇帝回鑾臨安。他說：「臣亦是一夜思忖，今有一策，望聖意詳度，斷在必行。」宋高宗問：「怎生底？」呂頤浩說：「虜人專以馬兵取勝。虜人渡得大江與浙江，必是分遣輕騎追襲。如今鑾輿一行，皇族、百司、官吏、兵衛底家小甚眾，若是陸行山險之路，糧運不給，必至生變。陛下若是乘海舟避敵，虜騎必不能襲我。依江、浙地勢，虜人亦不得久留，俟虜人退去，陛下可復還兩浙。彼入我出，彼出我入，此亦是兵家底一計。」
宋高宗問道：「眾卿又有甚計議？」范宗尹說：「海道雖有風濤之險，然而不去海道，亦別無善策。」其他官員也大都表示贊同，宋高宗最後說：「朕意已決，航海底事，不可不行，卿等速與排辦海船。汪藻與朕草制，命范宗尹為參知政事，趙鼎為御史中丞。張俊底軍馬便留駐越州，任浙東制置使。」這當然是給范宗尹和趙鼎反對去浙西冒險的獎勵。宋時江船往往是平底船，而海船則是尖底船，宋高宗原來的御船以及其他舟船都不能入海，必須另換海船。因此，準備海船就成了航海避難的關鍵問題。張俊聽說要把自己留在越州，當然並不樂意，卻不便說什麼。
十一月二十八日，宋高宗一行冒著大雨，取陸路前往明州（治今浙江寧波）。連日雨路泥淖，給陸行帶來很大困難，遲至十二月五日，宋高宗一行才艱難地抵達明州。明州城地處鄞江和餘姚江的交匯處，匯合成大浹江通海，號稱三江口，而所屬定海縣（今浙江鎮海）正位於大浹江的入海口。明州城的形狀並不規則，宋高宗暫時在子城的州衙居住。宋高宗和張才人、吳貴人等連日在泥濘中跋涉，進入明州城後，方才得以安頓，有張去為進入奏稟，說：「呂相公教小底奏