中國古代，但凡開國的帝王，身上都有一些傳奇的故事，當然許多都是後人穿鑿附會編纂出來的。趙構身上也有這樣的故事，就是我們所說的「泥馬渡康王」的故事。
泥馬渡康王的故事有兩個不同的版本。一種版本是說，趙構當年被金軍押著北上去做人質，行至磁州，趁金兵看管不嚴逃脫了。趙構逃到一座小廟去投宿，夜裡夢見神人告訴他，說金兵將至。他馬上就驚醒了，起來衝到院子里，看到院子里有一匹馬，於是上馬就跑，一口氣跑過了黃河。等過了黃河之後，趙構才發現這匹馬是泥塑的，當時可能是受了什麼仙力的指點，一下就活了，把他馱過了黃河。當然，這個版本不太符合實際情況。因為我們前面提到過，當時趙構去金營，被金國統帥懷疑不是王爺，而是大將之子，所以關了幾十天後就放回來了，而後由他的五哥肅王趙樞代替他去金營做人質。
第二種版本是說，趙構從南京應天府（今河南商丘）到了揚州，聽說金軍要進攻揚州，就倉皇出逃。趙構逃到了一個神祠，看到一匹馬，然後翻身上馬植往南跑。不過，這個版本中的馬就更厲害了，上一個版本里的泥馬跑過了黃河，這匹馬可是馱他過了長江。趙構過了長江才發現馬是泥做的。這兩個版本，估計後一個更有真實依據，但是，馱趙構過長江的肯定不是泥馬。
實際上，這兩個版本的中心意思都是在說，趙構有神仙相助，泥馬都能馱他過河，可見他當皇帝是受命於天。所以，「泥馬渡康王」這個傳說，不管是由民間還是史官編出來的，它的目的都是為了說明趙構的皇位是有正統性的。
趙構不聽宗澤和文武百官的苦勸，不肯回東京汴梁，而是逃到了揚州。揚州這個地方，自隋朝大運河開鑿以後，逐漸開始繁華起來，在唐朝的時候，是全國最大的工商業城市，地位甚至超過了長安和洛陽。唐詩裡面有很多寫到揚州的詩句，像我們熟知的「煙花三月下揚州」等。
趙構逃到了揚州，終於可以長出一口氣了，一年多來，他一直顛沛流離，親眼目睹了田園的荒蕪、百姓的塗炭，如今到了江南這「繁華錦繡地，溫柔富貴鄉」，終於可以歇一歇了。於是，趙構就以揚州為臨時的都城，在這裡安頓了下來。但是揚州畢竟在長江以北，金兵能過黃河就能過淮河，趙構也知道，金軍打到揚州是早晚的事。於是，趙構派大臣護送太后、皇后、嬪妃和皇太子去了長江以南的杭州，那裡有長江天險做屏障，相對安全一些。而他自己則留在揚州，擺出一副不忘進取中原的架子，實際上就是要在這兒苟安了。他任命汪伯彥和黃潛善兩人為左右相，讓這對臭味相投的奸臣主持朝政，還得意洋洋地說，伯彥和潛善做左右相，朕從此無憂矣。趙構感嘆自己漂泊了這麼多年，心想現在終於可以安頓下來享受一下了，於是就在揚州過起了花天酒地的生活。
但是，趙構在揚州的安穩日子並沒有過多久。金國皇帝看到趙構做了皇帝，宋室居然又死灰復燃，非常生氣。於是，金國大軍再次南下。這次，金國的統帥發誓，不管趙構逃到哪兒，一定要把他抓住。金國人還給這次軍事行動起了個名，叫搜山檢海抓趙構，意思是，趙構藏在山裡，我就搜山，逃到海上，我就檢海，無論如何一定要抓住趙構。
金軍馬上要打到揚州城了，趙構還在寢宮中尋歡作樂。這個時候，內侍匆忙來報，說金國的騎兵已經離我們只有幾十里地的路程了。趙構一聽金軍來了，什麼也顧不得了，穿上衣服，上了馬就跑。與之前相比，趙構的這次逃亡，就更加倉皇了。據說，皇帝跑的時候只帶了十幾個護衛，他的龍袍、璽印、國家的機密文件全都扔在了揚州，就連從東京汴梁請來的太祖皇帝的神位，也沒顧得上帶。最後，這些東西都落在了金國人手裡。趙構就這樣狼狽不堪地一口氣逃過了長江，直奔杭州而去。有人說，就是因為這件事，趙構可能受到了過度驚嚇，所以喪失了生育能力。
皇帝倉皇出逃，連自己的冠冕和祖宗的牌位都沒帶，當然更顧不得那些文武大臣了。所以，趙構逃跑的時候，他的大臣們還都不知道。當時，汪伯彥和黃潛善兩個奸相剛從寺廟裡聽和尚講經回來，正大擺筵席，開懷暢飲。突然有人來報，說金軍馬上就要來了，皇上都跑了，你們怎麼還在這裡待著？這兩個奸相一聽，也放下酒杯，上馬就跑。兩個宰相一跑，揚州城的文武百官就作鳥獸散了。有的官員還算比較忠於職守，知道抱著自己的官印跑，那些不負責任的官員就只顧逃命了。所以，南宋三省的印信和很多重要文書，都被丟在了揚州城。老百姓一看，當官的都跑了，金國人又殺人不眨眼，我們也不能留在這裡等死啊，於是大家也跟著逃跑。
這樣一來，整個揚州城就亂套了。當官的、當兵的、老百姓，都急著出城，就在城門那兒擠成了一團。在這種情況下，這些逃跑的大臣和軍士不但不先保護百姓，反而亂刀亂棍砍殺擁堵的百姓，以便清出道路自己先跑。百姓們群情激憤，把矛頭一起指向了汪伯彥和黃潛善這兩個奸相。百姓們說，要不是這兩個奸賊禍國殃民，皇上不至於扔下我們不管，於是，大家喊著要殺掉這兩個奸相泄憤。但是，這兩個奸相比誰跑得都快，百姓們自然逮不著他們。這時，另一個姓黃的大臣要出城，命他的隨從驅趕堵路的百姓。隨從們一邊驅趕百姓一邊喊，快躲開，黃老爺要出城。百姓們一聽說是黃老爺，以為這是奸相黃潛善，於是大家一擁而上，拳打腳踢，棍棒齊下，就把這位姓黃的大臣打死了。這個倒霉的大臣，本來要出城逃命，沒想到卻做了黃潛善的替死鬼。
到了杭州，趙構聽說杭州有個郊縣，叫仁和縣。當年，太祖皇帝發動「陳橋兵變」，在陳橋驛登基，就是從仁和門進的東京汴梁。趙構現在聽說杭州有個仁和縣，非常高興，心想，太祖皇帝進仁和門，我現在到了仁和縣，這說明太祖皇帝神靈保佑，我即位是天意，我們大宋中興有日啊。他也不想想，太祖皇帝的神位都被他扔給金國人了，太祖還能保佑他這個不肖子孫嗎？
杭州畢竟有長江之險做屏障，金軍不會很快攻過來，所以，趙構就在杭州安頓下來了。安頓下來之後，趙構罷免了汪伯彥和黃潛善兩人的職務。一方面是因為這兩個人的名聲已經太臭了，再用他們會引起公憤。另一方面，趙構也覺得這兩個人誤國。當然，皇帝不是因為汪伯彥和黃潛善巧言令色、善於諂媚而覺得他們誤國，趙構更不喜歡李綱、宗澤這樣整天吵著收復失地、迎回二聖的大臣，他是覺得，這兩個人在騙他，整天說天下無事，只要朝廷乞和，金國人就會同意，結果造成金軍兵臨城下，自己從揚州倉皇出逃的窘局。汪、黃兩個奸相被撤掉之後，趙構又任命朱勝非為宰相，王淵為樞密使兼御營都統制
就在趙構一路南逃的過程中，金國大軍也迅速揮師南下。金軍進攻的速度之所以這麼快，是因為宋朝多數城池的官兵都不戰而降。金軍所到之處，基本都是城門洞開，宋朝的官兵不是舉著降書順表跪在地上苦苦求饒，就是早已經跑得不知去向。當時，金軍的統帥是完顏宗翰，他派自己手下的部將率領五千輕騎一路南下，繼續追擊趙構。
當時，也有很多忠義之士奮起抵抗金軍。其中，有一個特別感人的故事，是說金軍攻佔了一個州城，守將投降了，金國將領就領著一千多個金兵入城。金軍剛走進城，宋軍中有一個叫唐琦的衛士，突然從懷中掏出一塊石頭，向金軍投去。但是，唐琦這一投並沒有打中金人，於是就被金兵抓了起來。金國的將領覺得非常奇怪，就問唐琦，你們主帥都投降了，你不過是一個小小的衛士，為什麼還要冒死做這種無謂的反抗呢？唐琦義正詞嚴地回答，我雖然只是一個小小的衛士，但尚知忠義，我生為宋臣，死做宋鬼。
金將聽了唐琦的話，對旁邊投降的宋將說，你是一城主帥，可氣節還不如手下的衛士。這個宋將聽完，慚愧難當。唐琦轉身對自己的主帥說，我一個月的俸祿只有一石米，尚知道以死報國，你世受皇恩，享有高官厚祿，而今金軍南下，卻只知開城投降，你這麼做，百年之後有何面目見列祖列宗於九泉之下？唐琦的這番話，讓這個宋將慚愧得恨不得找個地縫鑽進去。金國將領感嘆唐琦是義士，問他願不願意投降金國。唐琦說寧死不降。於是，金將就把他殺了，唐琦慷慨殉國。
趙構有自己的一套理論，他說，死守都城、死守社稷這樣的事情，應該是諸侯乾的，而不是天子乾的。趙構認為，過去春秋戰國時候的諸侯國小，有外敵來侵，那些諸侯因為沒地方跑，所以就只能死守城池。但是，他現在貴為天子，江山廣闊，可以到別的地方重整旗鼓，捲土重來，所以絕對不能幹那種死守社稷的傻事。他還給自己找了個論據，說當初李綱勸我的父兄死守東京汴梁，結果靖康之役中，我的父兄同時被捕，如果當時逃出來，那不就沒事了嗎？他說這話也不覺得愧疚，要是當時徽欽二帝逃跑了，現在還有他什麼事啊？趙構由此得出結論，自己絕對不能幹抵抗的傻事，就是得逃跑。有了這套逃跑理論，趙構逃跑起來就順理成章了。金國大軍一路南