杜充出任江淮宣撫使後，先後任命了兩個水軍統制，一個叫邵青，另一個叫郭吉。邵青原是水盜，後受招安。杜充命令兩人分別負責建康府以西和以東的江面。十一月初，邵青聽說李成匪軍流竄到和州，就率水師進入太平州當塗縣對江的和州歷陽縣的楊林河，企圖襲擊這支匪軍。不料金軍突然出現在楊林河口，截斷水師的歸路。邵青隻身乘一艘船逃到南岸，而他的水軍近乎被敵全殲，其他好幾十艘船全部被金軍繳獲。金軍乘勝佔領和州。消息傳來，建康府為之震驚。但杜充只是下令叫郭吉同時負責建康府東西江面，自己還是成天在家裡深居宴飲。
憂心忡忡的岳飛在宣撫司衙門找著陳淬，他說：「虜人既是奪了邵統制底舟船，必自採石濟渡。小將不才，願統兵前去太平州防拓。」陳淬嘆息說：「自家亦是兩月見不得杜充，他唯是叫吏胥傳言，叫自家們用心把截建康府江面。」
岳飛說：「江防已是緊切，自家們須見杜充面陳。」陳淬猶豫了一下，還是和岳飛一起來到杜充的深宅，對守門的軍兵和吏胥說：「自家們有緊切事宜，務需求見杜相公。」吏胥進去稟報，又很快出來，對兩人說：「奉杜相公鈞旨，陳都統與岳統制不須入見，若有緊切事宜，自可另具申狀。」
岳飛悲憤地說：「此是何時！」他說著，就大步徑入。兩名軍兵舉刀攔阻，岳飛用雙手將兩名軍兵推倒在地，直奔杜充的內室。他只聽到裡屋傳來了女子嬌滴滴的聲音：「杜相公滿飲此盞！」就在門外大喊：「小將岳飛求見杜相公！」然後推門而入。
與此同時，一個女子手裡的哥窯葵瓣口淺白斷紋酒盞落地，酒潑濕了杜充的錦綿袍襟。岳飛只見桌面上鋪陳佳餚、美酒和果品，而沉湎酒色的杜充顯得比兩個月前更加虛胖，他歪戴著東坡巾，顯得有些醉意，身邊坐著兩個美女。岳飛連忙唱喏說：「小將岳飛參見杜相公！」然後叉手正立。
杜充的環眼顯露凶光，他咆哮說：「岳飛，我叫你不須入見，你膽敢違令，破門而入！」岳飛也憤怒地說：「今日我不破門而入，切恐虜人不日亦須破門而入，捉拿杜相公！」
杜充經他一說，臉上頓時流出了虛汗，又立即顯露出惶恐和畏怯的神色，酒意全消，張口結舌。岳飛沉痛地說：「杜相公不守京師，退軍江南。如今勁虜大敵，已是近在淮南，睥睨長江，邵青底舟船又被番人擄獲。杜相公身膺官家底重寄，卻是安臥在積薪之上，積薪已是起火，杜相公猶自終日宴居，不見眾將，不理兵事。」
這還是杜充多年以來第一次受到下級的訓斥，他又開始吼叫：「岳飛，你不過是一介偏裨，我自有兵機，你豈能理會得，須知我底寶劍猶是新磨！」他儘管還是吼叫，但音量已經比第一次降低。
杜充的威脅，使岳飛立即聯想到被殺的馬皋，他悲憤地噙著眼淚說：「杜相公如今有右相兼宣撫使之尊，殺一個偏裨，不啻草芥。馬統制便是被你所害。然而杜相公苛酷寡恩，諸將人人離心離德，又不知甚人能為國家效命？如是建康失守，杜相公又當竄身於何地？」
岳飛的話使杜充猛醒，他很快意識到，自己的身家性命其實還是在岳飛手裡，如果殺了手下的第一員勇將，就等於自壞長城。杜充又降低音量，不再直呼其名，說：「岳統制，我與你同鄉，亦久知你底忠藎。你今日排門而入，有甚麼禦敵之策？」
岳飛說：「聞得虜人四太子大軍屯駐淮西和州，宣撫司自須勾抽兵馬，前去太平州，相機待敵。小將不才，願統兵前往。」杜充把岳飛的右軍當作自己的看家資本，當然不肯允准，他說：「建康重地，你須在此把截，我自當另發兵馬。」
岳飛說：「杜相公馭軍過嚴，眾將敢怒而不敢言，心懷怨望，緩急豈能用命。若是尚欲收拾軍心，不可不日日坐衙，親自勞軍。」杜充沉吟了一會兒，就說：「我明日當親去江滸，慰勞將士。」
岳飛說：「小將告退！」杜充說：「且慢，岳統制忠心，我當親自為你斟酒一杯。」一個女子連忙在另一個哥窯瓷盞裡注酒。岳飛說：「小將有媽媽嚴命，滴酒不敢入口！」他一面說，一面就轉身離開杜充的內室。不知怎麼，他的耳邊又似乎響起半年前一丈青的話：「為姐夫報仇。」岳飛不由長吁一聲，他似乎自己也說不明白，為什麼還要在眼看杜充可能敗事的時候，卻為這個一丈青的仇人出謀獻策。
今天岳飛那種對抗杜充權威的行為，如果換成另外一個武將，即使是都統制陳淬，杜充是決不會寬饒的。但說也奇怪，杜充事實上對岳飛有著一種特殊的依賴心理。岳飛真正發怒，杜充還是對他有一點畏怯，而感到必須稍加籠絡和撫存。他從來不怕眾將離心離德，認為只須用自己的威嚴加以鎮壓，卻害怕岳飛離心離德。這是岳飛自從回到東京留守司後，兩人之間漸漸形成的微妙關係。
杜充第二天裝模作樣地叫兩個女子披戴盔甲，準備到各個軍營巡視和慰勞。突然有吏胥進入，他面露喜色，進呈剛到的太平州知州郭偉退敵的戰報，說：「啟稟杜相公，虜人四太子大兵渡江犯採石渡，已被殺退。」
杜充臃腫的滾圓臉上立即露出笑容，他又恢復了以往的驕倨不可一世的神態，吩咐兩個女子說：「爾們且與我卸甲，我當舉酒慶功！」他又懶於出外坐衙和勞軍了。
完顏兀朮的金軍再次渡江攻慈湖寨，又被宋軍擊退，就轉攻淮東。十六日，金軍攻破了建康府對江的真州。杜充只是下令各軍在建康府沿江列戍。
完顏兀朮接連兩次渡江失利，心中十分焦躁，他在真州州衙召集了八名萬夫長會商，說：「大金人馬渡江不利，對岸防拓嚴密，無機可乘，不如先殺往海岸，佔據淮東。」
韓常說：「此回分兵，撻懶監軍攻淮南，四太子攻江南。若是自家們不得渡江，豈不是傷損四太子底威名？依小將底計議，不如聲東擊西，且在宣化鎮一帶虛張聲勢，卻向馬家渡進兵。男女不才，願為先鋒。」
完顏兀朮說：「你不須為先鋒。」他把韓常看成是自己的愛將，捨不得輕易使用。完顏兀朮轉向渤海人大撻不野說：「你可選精兵，親自為前鋒。若能濟渡大江，便是大功。若是濟渡不得，休怪我無情！」大撻不野說：「男女當恭依四太子底號令，勉力渡江！」
金軍在真州江岸多插黑旗，擺列舟船，佈置疑兵，而秘密將主力轉移到和州烏江縣。十八日天色未明，大撻不野親率一千精兵，分乘二十艘船，馳向對岸的建康府沿江西南角的馬家渡。大撻不野知道完顏兀朮的脾性，他秉承嚴令，不敢怠慢。船隻還未靠岸，他就下令涉水登岸，並且第一個執著手刀，跳下舟船，涉水而進。
宋軍根本沒有把馬家渡作為防守的重點，在渡口只駐守江淮宣撫司前軍第二正將張超所部六百人。他們大部分還是在睡夢裡，等到擔任瞭望的軍兵奔回寨內報告時，大撻不野所率的金軍也已殺到。金軍輕而易舉地擊潰張超所部，佔領了馬家渡，但船隻不多，後續部隊分批渡江，費時頗久。
張超的軍隊被擊潰後，逃往建康府城西南的江寧鎮，向駐守鎮上的前軍統制劉衍報告。劉衍連忙集合隊伍，他全身甲冑，騎在馬上，正準備下令出發迎戰，不料隊伍中突然飛出一枝冷箭，正中劉衍的心窩，劉衍當即落馬身亡。射冷箭的是第三將準備將戚方，此人原是騏驥院管馬的廂軍教駿兵士，北宋亡國後，就混在一支盜匪中，他後來與匪首「九朵花」鬧翻，就殺了「九朵花」，率領徒黨，投奔杜充，編入前軍。但戚方的匪性不改，曾受到劉衍的責罰，他懷恨在心，乘機作亂。戚方射死劉衍後，就大喊道：「虜人渡江，國家必亡，杜充苛酷，自家們不如自尋快活！」他原來的徒黨也乘機起鬨，於是前軍竟一鬨而散，戚方裹脅著一部分軍兵充當盜匪。
宋軍遲遲未能前往馬家渡阻擊，給了金軍充裕的渡江時機。只有水軍統制邵青聞訊後，乘坐一艘船，船上有十七名水手，在江面攔截敵人。金軍向邵青的戰船放箭，邵青和水手們先後中箭受傷，一名水手竟身中十七箭，終於敗退。
由於前軍的潰散，金軍渡江的急報遲至當天中午，才傳到建康府城的宣撫司。杜充正由兩名侍妾陪著午宴，他聽到報告，頓時臉上變色，酒盞落地，慌忙下令召見陳淬。這還是兩個多月以來的第一次面談。杜充儘管面露窘色，卻還是架子十足，他不給陳淬座位，讓他叉手正立著談話。
陳淬說：「聞知虜人渡船僅有二十隻，一回不過濟渡千人。若是水陸兩路，急速發兵前去，必可殲滅渡江之敵。」杜充說：「我所憂底，非是馬家渡底虜人偏師，若是調發大軍去馬家渡，對江真州底虜人大軍莫須乘虛而入？我疑是四太子調虎離山之計。」
陳淬說：「虜人既已在馬家渡得手，便是真州屯駐大兵，亦須移軍烏江縣。若是杜相公尚存疑慮，可命岳飛統六軍自陸路，郭吉統水軍自水路前去，自家督諸統制留守江岸。」杜充想了一下，說：「岳飛不可叫去，靖安鎮最是緊切去處，須教他屯兵。若是六軍人馬前去馬家渡，切恐江岸兵力單寡，緩急難以支捂。可命劉經統左軍與扈成後軍、傅慶中