杜充發遣重兵去馬家渡後，再也無法安臥，只是徹夜在房中踱步。他的親吏們不難發現，昨天還是驕恣而不可一世的杜相公，今天卻是哭喪著臉，眼球裡佈滿了紅絲。他平日胃口極好，有一個貪饕的大腹，而二十日竟整天不吃飯。直到夜間，才叫吏胥們端來薄粥。他剛吃了幾口，就傳來了陳淬戰敗的急報。杜充當即撂下飯碗，氣急敗壞地說：「速備舟船，自下水門出城！」杜充帶著親兵和吏胥匆匆來到秦淮河邊上船。
金軍未渡江之前，建康府城裡的坊郭戶市民已經逃走了一半。杜充得知金軍渡江的消息後，卻下令關閉城門，於是城裡更是風聲鶴唳，謠言紛起。驚慌的市民們來到各個城門口，請求開門，而各個城門卻都有軍兵嚴密把守，嚴禁出入。城東的上水門前聚集的船隻不多，而下水門是秦淮河的入江口，門前擠滿了逃難的船隻。水門剛打開，市民的舟船就互相擁擠著出水門。杜充豪華的官船反而被民船攔截在離下水門頗遠的河面。
杜充心急火旺，吩咐吏胥們傳話，大喊道：「杜相公欲出城迎敵虜人，爾們速與讓路！」民船上的百姓也紛紛大喊：「自家們亦是欲出城迎敵。杜相公尊貴，不可輕上行陣，自當在小民之後出城。」杜充在官船裡聽後，氣得說不出話。他又聽到百姓們大喊道：「杜相公平日暴戾，枉斬了多少無辜。如今緊急，又欲棄城逃遁！」更有人大嚷：「杜充，你身居高官，便當與府城共存亡。你若在陣前身亡，尚是贖了枉斬無辜底罪過，為朝廷盡節！」杜充聽著百姓們你一言，我一語的奚落，麵皮紫漲，張口結舌，最後他只得下令說：「且挪回宣撫使司！」
杜充回到衙裡，已是天光微熹。他兩個夜晚未能入睡，只覺得頭疼腦脹，兩眼昏花，有吏胥報告說：「啟稟杜相公，韓節使底大軍已焚了鎮江府城，退往江陰軍。陳都統力戰陣亡，岳統制已是整軍退回鍾山軍營。」韓世忠不服節制，不來支援建康府，這還是在杜充意料之中的事，而岳飛整軍而還，又給杜充帶來了希望。他吩咐說：「可與諸軍各人犒賞銀十兩，絹十匹，另與岳飛下札子，命他提舉一行事務，叫他統兵入城，我當與他同去真州，徐謀興復大計。」原來在此前，杜充已得到隔江真州知州的報告，說是金軍已全部撤離真州地界。
岳飛和將士們已是連續兩個日夜的奔波和鏖戰，但退到鍾山以後，岳飛還是無法休息，他必須招收來自其他各軍的敗兵敗將，重新整編隊伍。岳飛剛匆匆地吃過早飯，杜充的一名親吏就帶著大量的銀和絹前來，並且還有一個宣撫使司的札子。岳飛將札子給眾將傳看，然後對吏胥說：「杜充剛愎苛酷，濫殺無辜，致使將士離心離德，畏敵怯戰，擅棄京師，誤國敗事。我不能為馬統制等報仇，誅除杜充，以謝天下，已是問心有愧，豈能再屈居於罪臣之下。然而目即杜充尚是右相兼宣撫使，眾將若是願追隨杜充，我亦不敢強留。」
他說完，就望著傅慶、劉經和扈成三人，因為王貴等將肯定是和自己同心同德的。傅慶馬上從交椅上一躍而起，大聲說：「我願追隨岳統制，不願追隨杜充那廝奸佞！」劉經和扈成也作同樣表態。岳飛下令給全體將士平均分發犒賞銀絹，包括其他各支敗兵。儘管岳飛允許將士投歸杜充，而那名吏胥最後竟未能帶走一兵一卒。
經過二十一日的休息和整編，岳飛終於集合和編組了近一萬人的隊伍。他在當夜召集眾將會商，議論今後的去向，王貴提出其實是在早先商定的方案，說：「馬家渡戰敗後，建康城勢不可守。若是自家們入城內死守，又不免受制於杜充。不如且移屯茅山，憑藉山勢，與敵周旋。」劉經首先表示贊同，說：「此議甚好！」岳飛見眾將沒有異議，就說：「既是眾人定議，自家們明日便前往茅山。」二十二日黎明，這支軍隊撤離鍾山，向茅山轉移。麻煩的問題是在軍隊之外，又挾帶著幾千家眷，還必須專門派兵護衛。
杜充接到吏胥來自鍾山的回報，才如夢初醒，原來曾經是自鳴得意的「威重於恩」的馭將之術，最後竟結出一個眾叛親離的肥碩苦果。他雖然還擁有右相兼宣撫使的重名，現在除了身邊的三千親兵之外，再也指揮不了一兵一卒。幾天以來，他已經反覆考慮過今後的去向。如果是東逃西竄，無非是投奔受過他侮辱的韓世忠和劉光世，自己作為一個敗軍之相，肯定是被他們所羞辱。如果逃往行朝，其結果也無非是遭彈劾而罷相，所蒙受的罵名，也決不會少於黃潛善和汪伯彥。因此，渡江去真州，躲避金軍，就成了他唯一可能的選擇，儘管這種選擇也充滿苦澀。
他派吏胥召來了建康知府陳邦光，陳邦光也一變原先摧眉折腰的姿態，對架子極大的杜相公行起近乎平交的禮節，他只是微微彎腰一揖，說：「下官拜見杜相公。」僅僅是一個小動作，已使杜充的內心充滿了辛酸，他只能作揖還禮，說：「陳制置，只因王躞臨陣脫逃，王師於馬家渡敗績，你以為當如何守禦建康府？」陳邦光還兼任沿江都制置使，杜充特別稱他「制置」，已經流露出命他守城的意向。
陳邦光完全聽出了杜充的弦外之音，就連忙辭避說：「杜相公文韜武略，威聲遠播，今以右相兼宣撫使之尊，受朝廷重託，自當有折衝禦侮底奇謀妙策，使建康城有金湯之固。下官庸淺，唯有稟命於杜相公。」杜充也明白對方的用意，他不願再與陳邦光兜圈子，就直截了當地說：「我明日便欲起離建康，渡江去真州，號召江北諸軍，截虜人歸路。我授命你固守府城，以待援師。」
陳邦光說：「我並無兵馬，如何守得？」杜充說：「你可調集各縣鄉兵，徵發在城坊郭戶男丁，上城防拓。」
陳邦光說：「倉猝之際，鄉兵如何召集，便是召集，徵發在城男丁，亦是難以守禦。杜相公平時以國之干城自許，危難之際，豈得隻身潛逃，而將守城之責諉於下官。」陳邦光的話已經相當刺耳，杜充再也無法忍受，他咆哮說：「我命你守城，你豈敢不聽號令？」
陳邦光此時也不示弱，說：「杜相公，你平時若是不威福自恣，何至有今日？依下官之見，你若得死守府城，尚不負主上委寄之重。」兩人大吵一場，面紅耳赤而散。
杜充再也不過問建康府城的防守，他在二十三日帶著三千親兵，逕自乘船出下水門，逃往對江的真州。
金軍騎兵十分講究用兵的快速，但完顏兀朮雖然在馬家渡取勝，卻損兵折將，蒙受重創，不得不休整五天。他命令烏古論少主接替戰死的完顏迪虎，出任萬夫長，作為前鋒，於二十六日向建康府城進軍。
烏古論少主所部離城十里，卻遭遇到一支部隊的阻擊。這是宋朝宗室、上元縣丞趙壘之統率著當地的一千鄉兵，自東而西，前來江寧縣的地界迎敵。這一千人只是裝備著紙甲、竹槍、竹弓之類，但作戰的頑強卻完全出乎金人意料。一個時辰的激戰，最後還是完顏兀朮親統大軍趕來，才將這支鄉兵殲滅，而金軍也傷亡甚眾。完顏兀朮的心頭不免籠罩深重的憂慮，對自己能否攻下建康城感到毫無把握，他下令說：「且去建康城南門下寨，以觀南虜動靜，不得輕易攻城。」
金軍到達建康府城，在南門外紮寨，完顏兀朮臨時選擇了鐵作寺作為司令部。紮寨尚未完畢，有大撻不野押上了兩名建康府的吏胥。他們送來陳邦光的降狀，約定明天大開城門，親自出門投拜。完顏兀朮喜出望外，他由通事翻譯，向兩名吏胥盤問情況，特別打聽了宋高宗和杜充的下落，兩名吏胥據實回話。完顏兀朮最後發付兩人回城，下並且賞賜銀子十兩。
二十七日，建康府各個城門同時打開，完顏兀朮只率軍隊二千人入城，他隨身帶著漢兒萬夫長韓常和兩名千夫長，一個是渤海人張真奴，另一個是奚人蕭斡里也。陳邦光率領官員在南門外迎接。完顏兀朮進入府衙後，居中坐定，韓常等三人分坐兩旁，而陳邦光和全體降官則叉手在兩邊侍立。完顏兀朮開始說話，由張真奴擔任通事，他說：「陳知府，你們既已投拜大金，須知大金禮俗，可先與我剃頭辮髮。」眾降官雖然面有難色，可是事已至此，又有誰敢違抗。陳邦光第一個帶頭，被一名金兵剃去頂髮，又將其餘的頭髮紮成兩條辮子。
完顏兀朮又說：「聞得城中有通判楊邦乂不願投拜大金，可將他押來。」不一會兒，楊邦乂被押到大堂。完顏兀朮只見楊邦乂的胸襟上寫了十個大字的血書：「寧作趙氏鬼，不為他邦臣。」站立堂中，傲然不屈。他向張真奴問明了血書的內容後，就說：「楊通判煞是好漢。陳知府，你須與我曉諭，若能說得他投拜，便是你底大功。」
陳邦光只得上前說：「楊通判，常言道，識事務者為俊傑。大金軍馬所向無敵，康王猶如釜魚假息，必是朝夕被俘——」不等陳邦光說完，楊邦乂指著他大罵說：「天子以你捍守建康城，你不能抗敵，又有何面目見我？」罵得陳邦光滿面羞慚，無言對答。
蕭斡里也與完顏兀朮說了幾句，就拿著紙筆到楊邦乂面前，說：「死活二字，由你自寫。」楊邦乂當即大字寫了個「死」字，擲筆於地，又對完顏兀朮大罵說：「金國妄自尊大，興兵塗炭中原，天道恢恢，豈能容得