稍有良知的中國人都不願意干背叛祖國的勾當，聯軍所招募到的所謂中國苦力全都是香港底層的小偷、流浪漢或其他社會渣滓。據說自從這些賣國求榮的傢伙離開香港來到北方之後，香港的犯罪活動都因此大大減少。
一路北來，苦力對待自己的同胞竟然比錫克教徒還要殘忍，連聯軍都認為他們「絕大部分都是殘暴的惡棍」。聯軍也並不信任他們，平時視之為「負重動物」，給苦力配備的武器不是槍支，而是一些竹棒。
按照柯利諾的指令，苦力們肩頂梯子，站在齊頸的水裡一動不動，以便法軍可以順著梯子手腳並用地爬過去。對聯軍而言，讓「負重動物」來從事這樣「令人恐怖的勞動」，乃是再合理不過的一件事。倒是格蘭特認為苦力們仍有利用價值，事後假惺惺地表示內疚，並給他們額外發了一個月的薪水作為獎賞。
在兩道壕溝之間還有一條十米寬的壘道，上面不僅撒滿鐵蒺藜，而且遍插柵欄。這些柵欄有很長一截插進土裡，露在地面的部分很像鐵矛，而且本身也確如鐵矛一樣堅硬。它們不能被連根拔除，只能一根根折斷，但即便折斷後，聯軍士兵有時仍會被依舊豎立的柵欄殘部絆倒，因而「撕出觸目驚心的傷口」。
當聯軍前鋒到達第二道壕溝正面時，部隊已經大量減員，一個步兵團的幾乎所有軍官全都喪失了戰鬥力，帶隊軍官派人向柯利諾彙報戰況，請求調派援兵。
援兵到達後，實力增強的聯軍繼續衝鋒，他們在接連翻越兩道壕溝後，到達炮台的牆根底下，並在那裡找到了一個可以躲避槍彈的藏身處。這一情況很快就被守軍發現，既然槍炮射不著，大家就乾脆舉起炮彈向敵人砸去，炮台上下有著五至六米的落差，這一砸下去也夠洋鬼子們受的。
在隨後聯軍發起的爬城戰中，這些徒手擲出的炮彈同樣令聯軍大吃苦頭。一名上尉剛剛登上射擊口，人還沒進入炮台，一枚炮彈就砸中了他的太陽穴，上尉立即被砸翻在地，血流如注。另一名少校剛想要翻越護牆，中國士兵的長矛就刺了過來，要不是一名聯軍士兵用刺刀竭力格擋，少校身上還不知道要被捅上幾個窟窿！
由於架梯攀爬的打法毫無成效，聯軍只好把注意力轉向炮台正中的柵欄門。中國軍隊在備戰時曾把大堆的泥土吊進炮台內，堆在柵欄門的後面，本來進攻者要想從炮台外推開或是弄倒它都是不可能的事，但是在先前炮擊時，聯軍的一枚空心彈曾擊中柵欄門右側的門框，在上面炸出了一個大洞。
利用這個被炸開的大洞，聯軍鑽入了炮台內部，守軍立即上前封堵，雙方展開了更加激烈而又殘酷的白刃戰。中國士兵手持的長矛在防禦敵人爬城時很有效，但當用於近戰格鬥時，由於炮台內部的空間相對狹窄，就不如刺刀那麼好使了，官兵成片地被敵人刺倒在地。
即使處於如此絕境之下，樂善仍一步不退，親自在炮台上與敵人廝殺。他頭上的孔雀翎官帽非常顯眼，聯軍一看就知道是「負責這個炮台的北京官員」，他們一開始曾打算活捉樂善，但是由於樂善拒絕投降，一名英軍上尉便惡狠狠地拔出手槍打死了他。
上午10點半，北岸炮台完全失守，包括樂善在內，堅守炮台的千餘官兵全部壯烈殉國，英法聯軍在打掃戰場時，在炮台內外找到了成千具「韃靼人（清軍）」的屍體。聯軍在此役中也傷亡慘重，英法兩軍都各損失了兩百人，連前敵指揮官柯利諾本人都中彈受了輕傷，他們不得不承認「敵人的防禦很頑強」。
北岸炮台失守的消息給中方造成了極大震動。幾個小時後，直隸總督桓福派兩名使節到聯軍營中與其談判，在聯軍中擔任翻譯主任的巴夏禮接待了他們。按照桓福的指示，使節答應巴夏禮，表示將挪去橫在白河中的竹子，讓聯軍安全通過，同時表示雙方可以在天津繼續進行和平談判。
巴夏禮認為中方所說的挪竹子的話不過是在藉機拖延，於是當場就勃然大怒，把桓福讓使節帶來的信件揉成一團，扔在了其中一名使節的臉上。接著，他咆哮著對使節下達最後通牒，稱如果大沽的其餘三座炮台不在兩個小時內投降，就將落得和北岸炮台一樣的下場。
使節回去向桓福復命，桓福急忙找僧格林沁商量。僧格林沁仍想在南炮台指揮防禦，但桓福卻認為南岸炮台「萬難守御」，他還從袖子中抽出咸豐的上諭，說你已經違旨，還能一誤再誤嗎？
僧格林沁萬般無奈，不由得頓足長嘆：「兩年辛苦，費盡心血，一旦棄之，可惜也！」遵照咸豐的旨意，他命令炮台剩餘守軍及其蒙古騎兵全部撤往天津。隨後，桓福在南岸的三座炮台上掛起免戰白旗，此時巴夏禮所限定的兩個小時最後期限還遠遠沒到。
桓福要將天津作為與英法的談判地點，所以他認為僧部在天津也「斷不能抵禦」，於是在1860年8月22日，僧格林沁又只好由天津撤防，率全軍退至通州。
次日，英法聯軍以五艘蒸汽動力炮艇和八十餘名海軍陸戰隊員組成先遣隊，由格蘭特親自率領，沿白河長驅直入。8月24日，先遣隊駛抵天津城郊，後續大部隊也緊接著趕來。由於城裡已沒有守軍，他們不費一槍一炮就控制了全城。當天，城牆上被遍插英法兩國旗幟，格蘭特貼出告示，宣布對天津實行軍事管制。