跟下來，留下守衛東京的「替身」是留守判官程昌寓。
其實，突襲揚州的金人只有五百，揚州御營兵卻有四萬多人，以五百嚇潰四萬，這也是世界戰爭史上的一大奇事了。
金人也找不到船隻，追至江邊，只有「馳往瓜洲，望江而回」。
趙構因此得以從鎮江經常州、無錫、平江府（今蘇州）逃生，到了杭州。
聽說趙構已逃往杭州，東京留守杜充坐不住了。
可不是嘛，南宋小朝廷既然已再向南撤，自己還傻乎乎地坐守東京，早晚會成為金人的案上魚、砧上肉。
再也不能這樣過，再也不能這樣活，事不宜遲，我閃！
建炎三年（1129年）初夏，杜充玩了一招「金蟬脫殼」，命副留守郭仲荀留了下來，自己率東京留守司主力轟轟烈烈地向南大步撤退。
岳飛是杜充的「嫡系部隊」，自然在南撤之列。
聽說要向南撤軍，岳飛大急，沖著杜充聲嘶力竭地叫道：「中原之地尺寸不可棄，何況社稷、宗廟都在京師，陵寢在河南，關係重大，並非其他地方可以比擬。你杜大人手握重兵，尚且不能盡心守護，又怎麼能寄希望於他人呢？今天你一拔腿，這個地方就易主了。以後如果想要重新收復，就要犧牲數十萬士兵的性命。請您慎重考慮此事。」（「中原之地尺寸不可棄，況社稷、宗廟在京師，陵寢在河南，尤非他地比。留守以重兵碩望，且不守此，他人奈何？今留守一舉足，此地皆非我有矣。他日欲復取之，非捐數十萬之眾，不可得也。留守盍重圖之。」）
杜充逃命心切，哪裡聽得進岳飛這番肺腑之言？
東京是重要，但和我的性命比較起來，就微不足道了，對不起，我得走了！再見了，我曾經深愛的東京！再見了，我不會再回來了！
杜充要撤往的地方是建康（今江蘇南京市），不但要渡過淮水，還要渡過長江。
大軍撤出東京，岳飛和三軍將士紛紛駐足，迎著落日的最後一絲陽光，向這將近兩百年的帝都投下了深深的一瞥，每個人的眼裡都噙滿了淚水。
故土難離，今日一走，也許再也回不來了。
那麼多的艱難與困苦，那麼多的悲涼與絕望，都挺過來了，為什麼要撤？
流了這麼多的汗，流了這麼多的血，丟了這麼多將士的性命，到頭來，卻一撤再撤，也許，只有我成為手執重兵的大將，才可以自主進退，才可以不受制於杜充這樣的庸才，才可以揮兵北上，殲滅強敵，收復河山吧！
可是，什麼時候我才可以做到呢？
岳飛不知道，很快，屬於他的時代就要到了。
大軍一撤，接下來發生的情節也正如岳飛所料，和杜充相比，留下來的郭仲荀的思想境界也沒高到哪裡去——難道你杜充溜得，我就溜不得？哼！留我當炮灰，沒門兒！
杜充前腳剛走，郭仲荀後腳就跟著走了。
想當年，東京城內，花遮柳護，鳳樓龍閣。
萬歲山前珠翠繞，蓬壺殿里笙歌作。
到而今、鐵蹄滿郊畿，風塵惡。
兵安在？膏鋒鍔。
民安在？填溝壑。
嘆江山如故，千村寥落。
何日請纓提銳旅，一鞭直渡清河洛！
程昌寓更是人精，還沒等郭仲荀的背影完全消失，他就把留守東京的責任推給了另一個留守判官上官悟，自己翩然南下。
在這幫人的眼裡，東京城就是一個巨大的墳墓，人人避之唯恐不及。
這樣，曾經繁花似錦的北宋帝都距離再次陷落為時不遠了……
「南渡江山悲逝水，北征鞍馬付秋風。」
七月初秋，大雁還沒開始南飛，杜充的隊伍卻已經迤邐南撤。
岳飛走在隊伍中，抬頭看雲淡天高，天邊的夕陽似乎因悲憤而變了顏色，變成一種空虛而蒼涼的灰白色。
實際上，金兵雖然攻陷了揚州，但並沒有從揚州再次渡江南侵，而是滿載著擄掠來的財物北歸。
在路上，岳飛不斷遭遇到分批次撤退的金兵，每戰，都有斬獲。
金兵一路掠來，金帛珠玉，在江岸兩邊堆積如山。
張用自陳州與王善分手，領著隊伍，靠剽掠為生，搶百姓、搶官府，也搶金兵，轉戰於大江南北，流浪於江湖之中。
在鐵路步，張用和杜充的隊伍不期而遇。他原是杜充的頭號「假想敵」，經過南薰門事件，他更成了杜充的眼中釘、肉中刺。杜充二話不說，招呼岳飛率部和張用開打。經過廝殺，張用軍大潰，四散奔逃。
岳飛簡單地打掃了一下戰場，領大軍渡過長江，進入了建康。
而趙構也已經由杭州到了建康，有風聲說，朝廷打算將行都設在建康。
建康既是六朝古都，又是現在江南東路的首府，常住人口將近二十萬，是國內的超級大城市！
趙構將行宮設在神霄宮——這是「老道士」趙佶在佛門聖地保寧禪寺的原址上改造的，此宮規模宏大，巍峨聳立在建康府城的西南之端，西攬鳳凰台，北俯秦淮河上的飲虹橋。
在神霄宮，他隆重地接見了杜充一行。
要說，杜充擅離職守，早該抓起來槍斃了，可是趙構不但沒有一點兒責備的意思，反而對杜充異常客氣，這到底是為什麼呢？
其實很簡單：第一，趙構對東京那個傷心地本來就沒多少興趣，可有可無，得之不甚喜，失之不甚悲。第二，杜充手裡握有一支南宋朝廷可以倚重的生力軍，怠慢不得。第三，趙構從揚州逃到杭州後，在那裡遭受了一連串突如其來的打擊，心力交瘁，一點兒脾氣也沒有了。在杭州，趙構不但從皇帝的寶座上跌落下來，還差點性命不保，命喪黃泉。