宋軍部署剛完，金軍船隊乘著順風，已在鼓噪渡江了。完顏亮手裡揮動著小紅旗，親自指揮幾百艘戰船從楊林河口出發，想要一舉渡過長江。起初，由於被南岸的高地遮住，金兵在船上看不見宋軍，等到將近南岸，才發現高地後面宋軍隊伍嚴整，不禁大吃一驚。要想後退，由於風力很大，已經來不及了。不一會兒，駛在前面的70多隻戰船抵達南岸，部分金軍登上岸來；金軍其餘的船隊，也陸續經過江心駛了過來。虞允文正在前線組織宋軍迎敵，看到敵軍登陸，便拍著勇將時俊的背說：「你的膽量，天下聞名，這時候還立在陣後做什麼？」時俊見虞允文親臨陣地，勇氣倍增，就揮舞著雙刀沖向金軍。大隊宋軍跟著沖了上去，人人奮勇殺敵，登陸的金兵很快就被全部消滅了。
這時候，江面風力逐漸減弱，宋軍水師開始了猛烈的反擊。在海鰍船上踏車的都是初臨戰陣的民工。他們毫無懼色，十分勇敢。士兵和民工們都說：「我們只有齊心協力，才能消滅敵人，求得生存！」宋軍海鰍船沖入金軍船隊，同金軍展開激戰。海鰍船船體大，裝有踏輪，速度比較快；金軍的戰船船體小，速度又比較慢，大部分被宋軍的海鰍船撞沉了，半渡的金兵大半死在江中。完顏亮並不甘心失敗。他把其餘的船隻重新集結起來，準備再次發動進攻。黃昏以後，有一隊宋軍從別處撤退下來，路過採石，虞允文叫他們打著旗，擂起鼓，從山後繞到江邊。完顏亮以為是宋軍援兵來到，不敢再戰，慌忙命令金軍船隊往後撤退，舍舟登岸。虞允文命令強弩手乘勝追射，把金軍殺得大敗。完顏亮率領殘兵敗將，仍舊退回到和州。
虞允文料到，敵人雖然遭受沉重打擊，但是他們仗著人多勢眾，明天必將捲土重來，他和眾將連夜進行戰鬥部署：把大部分戰船開到楊林河口，封鎖金軍出入的水道；另派一隊海船停泊在它的上游。第二天，完顏亮果然又派了大批金兵乘著船來進攻。宋軍用「神臂弩」射擊敵船。神臂弩是一種用扳機發射、威力強大的弓。發射的時候，先把弦張在扳機上，瞄準目標，然後扣動扳機，弦發箭出，射的又遠又准。宋軍扳動神臂弩，箭如飛蝗，金軍船上的士兵有的應弦而倒，有的上岸逃命，又被射死在江岸的爛泥中。停泊在楊林河口上游的宋軍，乘勢放火，把金軍300多艘戰船全部燒毀。這一仗，金軍在淮西的主力，基本上被殲滅了。