都說妥了，中間卻插進一個花絮兼意外。由於在等待雙方談判條件，英軍實際處於一種既不能打又不能撤的狀態，按照軍事原則，英軍指揮官只能改集中屯兵為分散駐紮，以防禦對手隨時可能發起的偷襲。
當英軍官兵集中行動或作戰時，比較容易約束，所以紀律尚可，爭吵、酗酒乃至對附近區域進行騷擾的現象也少一些，但分開來就不一樣了。尤其是英軍從香港出發時，僅僅帶了兩天的口糧，兩天過後吃得差不多了，就得到周邊鄉村去購買，中間免不了要順手牽羊，干出點類似於土匪的勾當。更有甚者，還有一些住在廟裡的英軍，閑著沒事幹，竟然尋求刺激，玩起「盜墓筆記」，把廟裡寄存的棺槨也撬了開來。
「洋土匪」的行徑在當地老百姓中引起了極大的憤怒。5月30日，上萬民眾和鄉勇採用誘敵深入的戰術，在三元里包圍了部分英軍。當天正好下起大雨，英軍的燧發槍失效，只得用刺刀進行作戰，這使得廣東人的功夫在雨中大顯神威。英軍被砍死砍傷多達49人，僅次於奕山組織的正規作戰，這就是著名的「三元里抗英」。
可是這實際上對整個局面已經影響不大，英軍很快派出持有擊發槍的部隊前去救援。擊發槍又叫雷擊槍，這種槍械不怕雨淋，一開槍，民眾即四散而去。
老天爺不可能每次都幫忙，相信奕山如果與義律一對一貼近肉搏的話，也未必就處於下風，可人家不會給你這機會啊，而且英軍明確告知，這種來自民間的攻擊若不中止，停戰協定便作廢，先把廣州城給你佔領了再說。
雖然在給道光的奏摺中，奕山恨不能把「三元里抗英」的功勞也攬自己身上，但他是個聰明人，該服軟還是乖乖服軟，該交的錢也不敢少一個子。
1841年5月31日，英軍拿到了全部的「贖城費」，開始陸續撤退。一周後，海陸軍完全退出廣州，甚至連虎門炮台都交了出去——以英軍這樣的機動速度，以中國軍隊這樣的防守能力，他們眨眼之間又可以重新控制廣州，哪裡用得著捏在手心不放。
楊芳的擔憂果然沒錯，折騰半天，什麼效果沒起到，反而損兵折將，還多付出去六百萬。事情到此還不算完。作為主將，奕山得給皇帝一個理由，一個戰敗和「贖城」的正當理由。
在隨後發出的奏摺中，奕山沒有否認英軍攻佔四方炮台的情節，但他說這是「漢奸」作祟，裡應外合的結果，並不說明英軍有多高明。
不管怎麼編排，如此結果總是令人氣短，而下面的發展，若是照實說的話，無疑會更令人沮喪——馬上要到戰敗認輸的環節了。
恰恰到了這裡，奕山顯示出了絲毫不輸於優秀文學家的想像力和創造力，他筆鋒一轉，端上了一盤比武俠小說還要精彩得多的「文學大餐」，題目或可稱之為「我與夷人的那點事」。
據奕山說，即使到這種關頭，他仍然臨危不懼，下定決心要與廣州城共存亡：你們不過佔領一個城北，有種攻城啊，我逮誰消滅誰，準保把你們全給從城頭上擼下去！
「這個時候，城外有夷人向城內招手，好像是要說點啥。往下一看，幾個英軍頭頭站在城外，嘴裡嘰里咕嚕，而且有畫面配合聲音，他們一會兒指指天，一會兒指指心，總之動作十分古怪。聽不懂啊，找翻譯，翻譯聽了，說英國人是要稟請大將軍出面，以便向大將軍申冤叫屈。」
這個「大將軍」指的當然是奕山。前面是鋪墊，下面就輪到這位老兄盡情發揮了。
「要請我出來？知道我奕山是什麼人嗎？皇上派來的靖逆將軍啊，奉命而來，唯知有戰，來這裡的使命就是代表月亮消滅你們，不見！
「我下面的一個總兵就依令站在城頭上，把這幫臭不要臉的痛罵一通，說你們敢無恥地再說一遍，大將軍是你們見得了的嗎？
「親愛的皇上，您都不知道這時候發生了什麼情景，英軍裡面最大的頭頭忽然脫掉帽子向我們行禮。（請注意奕山文學態度之認真，他連細節都沒放過，因為照傳統的說法，夷人膝蓋不能打彎，所以在他筆下，英軍大頭頭的最高禮節不是下跪，而是脫帽。）
「行禮之後，大頭頭又屏退左右，他把手上的指揮刀一扔，然後便低著頭，一聲不吭地站在城牆前。
「皇上，您是了解我的，照我一向的倔脾氣，是絕不願意搭理這些洋人的，但您也看到了，他們那可憐巴巴的樣子太麻人，好像擱一萬片花椒放嘴裡，能麻死你，所以我就派翻譯走下城去，問他們，你等究竟有何冤屈。
「洋人說了，由於我們不給他們通商，導致他們虧欠無償，已經賣出去的貨也收不回本錢，虧大了。他們佔領四方炮台，其實就是覺得離得太遠，怕說話聽不見嘛，就選了這麼一塊地方來就近遞話。
「洋人們沒別的奢望，就是求大將軍轉懇大皇帝開恩，把商欠，也就是欠的那些本錢還他們，然後讓他們通商，給個活路，從此再也不敢來滋事了。」