杜充渡江退至真州，鑒於自己作孽太多，仇人滿天下，他白天不敢露面，躲在長蘆寺不出。
趙構也不責怪他，反而寫信勸慰他說，勝敗乃是兵家常事，不必介懷。然後又送上歌女和金銀，為他壓驚。
可趙構和兀朮相比，還是慢了一步。兀朮派人忽悠杜充說：「如果你投降大金國，你就是第二個張邦昌，我們封你為帝，中原這塊地盤，賞給你打理了。」和趙構送來的金銀相比，當然是做中原的皇帝更具有誘惑力了。
杜充興沖沖地趕回建康向兀朮舉手投降。不過，後來證明，兀朮那句話只是一張空頭支票。
趙構得知杜充投敵，如遭五雷轟頂，仰天號叫道：「杜充啊杜充，你怎麼這樣，我可待你不薄！」希望越大，失望越大，杜充的背叛，讓趙構「不食者累日」，痛到內傷。
然而，當務之急不是譴責杜充的離去，而是要考慮自己應該往哪個方向逃。趙構把這個重大課題拋在案桌上供眾大臣共同研究。
大臣們各抒己見，眾說紛紜。
左相呂頤浩的想法最有創意。他說：「皇上聖駕出行，皇族、後宮妃嬪、百司官吏、兵衛的家小都跟著，隊伍龐大，行走不便，糧食難帶。金人素來以騎兵取勝，一旦過江，就會派輕騎追襲。我覺得咱們不如棄車登舟，出海避敵。浙江地熱，金人勢不能久留。等他們一走，咱們就回來，彼入我出，彼出我入，此正兵家之奇也。」
「好個兵家之奇！」群臣紛紛鼓掌稱讚。
的確，皇上乘船出逃，浮國海上，這事兒既新奇又刺激呢。
趙構當場拍板：「此事可行。」
建炎三年（1129年）十二月初，寒氣逼人，天空下起了一場細沙般的小雪。
五日，趙構一行冒雪抵達明州（今浙江寧波市）。
明州是當時的大港口，早有官員把二十隻大海船聚集了起來，改做御舟，供御前使用。
糧食、飲用水、換洗的衣服、各種生活用具、日常用品準備充足，正式揚帆起航。
樓船從東渡門出發，首先駛往定海縣（今浙江鎮海）。
參知政事范宗尹自誇自贊道：「敵騎雖有百萬之眾，但我們棄陸乘舟，他們能奈我們何？」
旁邊的另一名朝臣引用南北朝英雄宗愨的話附和道：「從今日起，可以乘長風破萬里浪矣。」但眾人都明白，這是一次迫不得已的遠航，「留者有兵火之虞，去者有風濤之患」，很多人面無人色，站在寒冬的空氣中瑟瑟發抖。
兀朮率大軍往臨安殺來，兵鋒所至，南宋的防線瞬間土崩瓦解。
臨安西北的天目山間有一座險要關隘，名獨松關，隋唐時杜伏威手下猛將王雄誕曾在此地大顯神威，以五百騎兵大破吳王李子通的十萬大軍，可謂一夫當關，萬夫莫開。
為了順利通過此關，兀朮在來的路上做足了功課，設計了數種攻堅方案，把所有會遇到的困難都想過了，還在軍隊中接連做了好幾次思想動員。
然而，最終兀朮「大失所望」。宋軍竟然根本沒有在此安置一兵一卒。
兀朮過關回望，寒風正勁，正是：才見嶺頭雲似蓋，已驚岩下雪如塵。遂不無遺憾地叫嚷道：「宋朝實在是沒有可用之人啊，如果他們在此布置幾百軍兵，我輩豈能如此從容穿越？！」
十二月十五日，兀朮攻破臨安府。十二月二十四日，兀朮攻破越州（今浙江紹興），馬不停蹄，直奔明州。
御前右軍都統制、浙東制置使張俊奉命在明州為趙構打掩護。
明州的居民所剩無幾，張俊大軍一到，趁機「以清野為名」，在寒風中大肆擄掠，「環城三十里皆遭其焚劫」。
十二月二十九日，西風忽起，金人攻至，張俊在雪地里隨便打了一仗，收兵往台州（今浙江台州）方向鼠竄而去。
張俊一走，「明州士民皆散」，百姓哀號震天。
建炎四年（1130年）正月初三，兀朮到達明州，讓他更沒想到的是宋軍竟然真的不戰而逃，而以他現在的兵力，並不足以佔據江南大地。但兀朮站在明州城頭，俯視整個江南大地，幾乎找不到宋兵。慷慨的御前都統制張俊大將軍，已把這片廣闊的土地毫無保留地交給了他。白給的東西不要白不要，他讓自己的軍隊痛痛快快地肆掠了一番。
之後，兀朮又把目標投向了下一站——台州。
正月初十，順利攻陷台州，隨即又向定海（今浙江鎮海）進發，從定海下海追擊趙構。
趙構已到了章安鎮，聽說金兵徵發了船隻下海追來，不由得驚恐萬分。
「寒天催日短，風浪與雲平。」這天傍晚，船夫在寒氣中努力逆風行船，突然迎面馳下兩葉扁舟，「直犯禁衛船」，趙構得報，以為是遇上了金兵的前哨船隻，面如死灰，心想：「完了……」
其實，趙構乘坐的是二十隻大海船連在一起的龐大船隊，根本用不著擔心順風衝下的那兩隻小漁船，只是平時談虎色變，習慣心理使然。
前面的禁衛軍攔下了那兩隻小船，一問，不過是販賣柑子的尋常客商。
趙構鬆了一口氣，吩咐人將船上的柑子全部收購，散發給禁衛軍食用。
這天，正好是正月十五元宵節，「元宵佳節，融和天氣」，士兵吃過柑子，不知是誰起的頭，用柑子皮做成燈，儲上油，點著，趁退潮放入海中。其他士兵紛紛照做，海面上很快就飄蕩著數千個閃著幽光的小柑燈。
當是時也，「風息浪靜，水波不動」，幾千點火光熒熒出沒在滄海瀾波之中，蔚為壯觀，章安鎮的百姓在金鰲峰看到，不由淚濕雙襟。