經過前面幾次的較量，即便林則徐可以將錯就錯，不揭開真相，呈送假戰報的廣東水師也已有了自知之明，那就是自己的艦船沒一艘合用。別看它們平時搞搞海岸巡邏，追追走私船，打打海盜還能湊合，要在海上跟人家正規海軍作戰，就等同於白給。
在此前提下，連林則徐也不得不承認，與英軍「交鋒于海洋，未必即有把握」。不過他轉而想到，既然海上打不過這些洋鬼子，為什麼不「誘擒於陸地」，把他們誘到陸地上來斗呢？
在被革職之前，林則徐採取的是一種「以守為戰，以逸待勞」的古老戰術，他特意對虎門炮台進行了檢查和加固，力圖以陸上炮台的優勢來克服海上力量不足的弱勢。按照林則徐的預計，英軍只要敢登陸，有一個削一個，準保讓他們雞飛蛋打，連根毛都撈不著。
虎門是廣州之門戶，1841年1月，英軍向虎門的第一道防線沙角炮台發起了進攻。
中國炮台所使用火炮，大多是明朝時的火繩炮，好一點的是經火繩炮改良的所謂「紅夷大炮」，二者都是兩三個世紀前的老東西了。這些火炮看上去體量不小，其實笨而無用，既瞄不準又打不遠，在雙方火炮對射時，根本就是你打對方不著，對方打你卻一打一個準。
英軍一直在現代戰爭中廝混，在戰術上也已與中國軍隊拉開了長長的距離。登陸後，他們才不會傻乎乎地往火網裡鑽，而是直接就從炮台側背摸了上去。
虎門炮台有一個致命缺陷，即防前不防後，側背全空著，而且包括林則徐在內，也沒人想到英軍會出現於側背。大家都想當然地認為，洋人之所以不會下跪，是因為膝蓋不能彎曲。這些只能直著走路的英國鬼子，怎麼可能想像他們如猿猴一樣攀爬炮台呢？
可是英國兵就那樣爬上了炮台，而且動作極其麻利，炮台很快就告失陷。
有人說，沙角之戰時，琦善拒絕向虎門增派援兵，是戰敗的主要原因。其實當時琦善已向虎門調派了足額的兵力，交戰時，中國兵勇超過一萬人，每座炮台都給塞得滿滿的，後來者連腳都插不進去了。可是即便數量上佔有這樣的絕對優勢，中國軍隊仍然遭到慘敗，不僅丟掉炮台，而且死傷達七百多人，素以驍勇著稱的副將陳連升戰死。英軍方面卻僅有不到四十人挂彩，死亡一個也沒有。
這一戰讓琦善大為驚駭。據清末筆記記載，琦善並不是完全不懂兵法之人，膽子也不小。在他後來被起用與太平軍作戰期間，完全稱得上是一個督師有方的大帥。當太平軍優勢兵力逼近時，「眾咸慄慄」，旁邊的人都在發抖，而他仍然指揮若定，毫無慌亂之色，結果那一仗還打贏了。
太平軍與清軍，雖然也差著級別，但雙方還夠得著，看得見。英軍與清軍之間，只一個懸殊了得，琦善踮著腳，仰著頭都看不清楚對方，不驚才怪。
既然還是打不過，那只有先談一談了。
林則徐在虎門銷掉的那些鴉片，如今算是英國政府的財產，這些得賠，義律的開價是兩千萬兩白銀，但琦善只肯掏六百萬。他可憐巴巴地對義律說：「我賠這些錢給你，不知道要給皇上講多少好話，沒準皇上一不高興，還會重罪治我，而且我告訴你，其實皇上也拿不出這筆巨款，得靠我自己想法子另外籌措。」
爵爺當年請家庭教師的巨額學費真不是白花的，這麼多的宦場生涯也沒有白混，在談判時，他給自己設計的角色定位，一會兒像是義律和道光之間的勸架人，一會兒又像是義律的中國朋友，橫豎就不像一個正式的談判代表。面對義律施加的壓力，他始終保持著一副真誠無比、掏心掏肺的表情：「你開高價勒索我不要緊，辜負我一片苦心也沒事，就怕我被弄走後，整個天朝上國再也找不到像我這樣事事替你們著想的好人了，所以你一定要好好考慮其中的得失輕重才行。」
義律長年累月跟中國官吏打交道，哪個不是高高在上，又哪個不是妄自尊大，如琦善這般低調，而且口口聲聲替他著想的大吏真不多見，於是終於做出了讓步：「六百萬就六百萬吧！」
談判猶如做生意，起價高，還價狠，乃正常現象，可是足足三倍的差距，生意又好像不是這麼做的，只能說，跟油頭滑腦的爵爺在一起，英國紳士還是有些吃不消。