庚子義和團運動之後，中國人大的政治事件，只要涉及外國或者外國人，莫不有義和團的陰影。事件的參加者，都會極力表白，自己不是義和團，自己的行為，是文明的。1905年的抵貨運動如此，辛亥革命如此，五四運動也如此。
所謂文明，就意味著和平抗爭。北京的五四運動，延續幾個月的罷課、罷市、遊行、請願、上街演講，除了火燒趙家樓之外，大抵是和平的。上海的三罷罷課、罷市、罷工，都有專門維持秩序的童子軍，打著「幸勿暴動」或者「警告勿暴動」字樣的小旗，甚至身上披著寫有同樣字樣的布帶。 對於所有的暴力行動，尤其是針對外國人的暴力行動，均持反對態度。據《晨報》報道，五四學生在天安門的時候，聽聞學生要去東交民巷使館區，步兵統領李長泰前來勸阻，擔心學生不文明，惹出外交事端來。結果學生大呼：「我們舉動是極文明的！」學生代表還對李說，「我們今天到公使館不過是表現我們的愛國的意思，一切行動定要謹慎，老前輩可以放心的。」
但是，暴力卻在遊行隊伍到達東交民巷不久就發生了。對於參加遊行的多數學生，包括總指揮傅斯年和段錫朋，並沒有計畫去趙家樓曹汝霖家。國內和海外的兩本五四運動史，都告訴我們，那年的5月4日是星期天，政府機關都在放假，沒辦法請願，選擇這天遊行，無非為了「喚醒民眾」，因此，根據組織者事先的商議，13所學校學生代表通過的決議，路線基本是繁華的商業區，順便到東交民巷的使館區，對外國人，主要是對美國人做一點呼籲式的請求。 顯然，很多學生對於後者，似乎更加在意。可惜，那天美國駐華公使芮恩施不知道學生要來，去門頭溝旅行了，其餘巴黎和會五強，日本自然除外，英、法和義大利公使，也外出遊玩，使館一概對學生拒不接待，只有美國使館館員露了面，接受了學生的請願書。到了東交民巷又不得門而入的學生們，大為失望，心情未免煩悶。這時候，恰好有些人高喊，去趙家樓找曹汝霖算賬去！於是，大隊轉向趙家樓。
遊行隊伍中的多數人，此時根本不知道趙家樓在哪裡，為什麼要去哪兒？當時參加過遊行的作家王統照回憶說，一聽說隊伍要去趙家樓，人們紛紛問：「趙家樓在哪裡？」「誰住在趙家樓？」 大家只是跟著走而已。可是，隊伍中的一些人，對此卻是十分清楚的。據當時為北京高師〔高等師範學校〕學生的周予同回憶說，高師和北大的若干人，在遊行前就開過一個秘密會議，在會上，一部分人不願意用和平的遊行請願方式，想要暴動，但是怎麼暴動，還沒想好，據說有人可以搞到手槍，但卻沒有結果，只是從大柵欄的照相館裡搞到了曹、章、陸照片，「其餘少數同學也只分別帶些火柴、小瓶火油，以便相機利用」。 周予同的同學匡互生也說，某些小團體已經事先將曹、章、陸各家的住址和門牌號碼都弄清楚了，準備激烈行動。 高師的俞勁，也有類似的說法，說是他們預先調查了曹、章、陸的情況。 溫和的羅家倫到了趙家樓感到很奇怪，怎麼有人會帶著「自來火」〔火柴〕呢？後來才明白，原來來的這些人早有預謀。
作為遊行總指揮的傅斯年，倒是不希望隊伍轉向曹家，可是，這位新潮社的頭兒，在北大新文化運動中很有威望的學生領袖人物，此時的話卻根本沒有人要聽，人們需要的是一個發泄的出口，不管這個口在哪兒，總之要找這麼一個。不僅如此，據羅家倫的回憶，還有人打了傅斯年一拳，從此將傅斯年打得萬念俱灰，「自此以後，五四運動和傅斯年便不發生關係了」。 如果這事屬實，那麼，等於遊行的學生，在未對曹家和章宗祥動武之前，暴力就已經發生了，最先觸霉頭的竟然是自己人的領頭人。據當事人回憶，另一個學生領袖，《新潮》的骨幹羅家倫，還被人罵為「無恥膽小鬼」。
進入曹宅之後，有人要點火燒房子的時候，跟著大隊人馬來到趙家樓的另一個總指揮段錫朋，發現不對，見匡互生要點火，出來阻止，說：「我負不了責任！」匡互生回答說：「誰要你負責任！你也確實負不了責任。」於是，火便燒了起來。
更耐人尋味的是，這些學生在沒有找到曹汝霖、抓住章宗祥痛打的時候，下手相當狠，甚至用旗杆鐵棍打他的腦袋，簡直是要把人往死了打。 可是日本人中江丑吉出來保護章宗祥的時候，大家發現他是日本人，就不約而同地住了手，因為是擔心打了日本人，「增加外交交涉上的麻煩」。 按抗議者的道理，曹、章、陸無非是日本的走狗，日本人才真正是罪魁禍首，碰上了日本人，理應更加痛恨才是，怎麼可能在火頭上戛然而止呢？看來，不僅那些一時失控的學生，還是預謀好了的激進分子，腦袋裡依然有義和團運動的陰影，他們不想讓外國人，即使是仇敵，認為他們是野蠻的「拳匪」。在北京，另外一件跟日本人發生衝突的事件，發生在1919年的8月26日，當時京津兩地的學生代表到新華門請願，一直堅持到次日，發現一個日本記者安藤秀吉在場，學生們將他揪住，說是他在學生存放食物的地方站立已久，「恐暗下危險物，吾人食之必死」。但是學生並沒有毆打這個日本記者，而是將他交給了巡警，依然能堅持不肯跟外國人動武。
顯然，對於運動中人而言，對自己國家的人施暴，特別是對那些公認是賣國的人施加暴力，就不算是不文明。只有把火燒到外國人頭上，才是野蠻，才是拳匪行徑。其實，當年的義和團暴力，也主要是針對國人的，也是在他們看來具有賣國嫌疑的人，所謂信洋教、跟洋人打交道的二毛子。五四運動中，這樣的暴力後來還發生若干次，對不肯抵制日貨的商人，對替政府說話的《昌言報》記者，捆、打、遊街，都有過。其中《昌言報》經理和主編被「雙臂倒捆，復系長繩，牽至街心，人皆呼『賣國賊』不已。有憤而手批彼等面頰者。復以該社之紙張，書『賣國賊、漢奸』等字樣，貼在彼等胸前及背後，並遍插亡命旗」遊街，一路挨打。
據當日北京日華同仁醫院診斷，章宗祥的傷勢相當嚴重，診斷是，頭部挫創，全身各部打撲傷兼腦震蕩。診斷書上說：
現症：在頭部顱頂部創傷一處，長約五仙米，深達骨膜，又有不整齊斜傷三處及小挫傷三處，在頭部有橫斜小裂傷二處及皮下出血腫瘤二個，又在左右耳翼有大小二處之破裂創傷，其他左右肩胛部、脊部、胸部、腹部、腰部及上下肢有大如手掌以至小如銅圓之打撲傷共二十一處，精神朦朧，應答不明，時發哼聲，呼吸細微，稍切迫，脈稍頻，數雖尚整調，然微弱也。胸、腹腔臟器不見變動，周身尚無骨折癥狀。豫後綜觀前記癥狀，現今傷勢頗重，於今日非見其腦癥狀之經過如何，不能判定將來也。
對於這種運動中的暴力，當時的輿論，基本上沒有譴責的。只有當時身為北大講師梁漱溟，在1919年5月18日《國民公報》上，發表《論學生事件》一文，表示了異議，他說：「我的意思很平常，我願意學生事件付法庭辦理，願意檢廳去提起公訴，審廳去審理判罪，學生去遵判服罪。檢廳如果因人多，檢查的不清楚，不好辦理，我們盡可一一自首，就是情願犧牲。因為，如不如此，我們所失的更大。在道理上講，打傷人是現行犯，是無可諱的。縱然曹、章罪大惡極，在罪名未成立時，他仍有他的自由。我們縱然是愛國急公的行為，也不能侵犯他，加暴行於他。縱是國民公眾的舉動，也不能橫行，不管不顧。絕不能說我們所作的都對，就犯法也可以〔使得我們民眾的舉動就犯法也可以使得〕。」 除了梁漱溟外，北大法學教授張孝簃在學生問到當天運動的法律問題時，也表示，學生的行為，「法無可恕，情有可原」。 然而，公開發表的梁漱溟的異議，立刻引起學界精英一連串的針對他的異議和批評。很多人認為，雖然學生之舉在形式上與法律不合，但卻符合法律的精神，法律要遵循公理。著名國會議員兼記者藍公武先生，還舉出西方國家遊行示威中出現的暴力，證明只要公眾行為符合道義，有點暴力也無傷大雅。如果對此進行追究，反而在法律上是冤枉，在道德上是作偽。 甚至，不僅曹汝霖的鄰居含糊其辭，推說當時沒看清，即使把人傳來，也認不出來。 就連曹家的傭人，也不肯出面具體指證是誰放的火、打的人，提供的唯一線索，是說記得先進來的學生，是戴四角帽的。 從老照片上我們就能知道，當時學生戴四角帽者，車載斗量。甚至一些在事件中受傷的警察保安隊員，也不肯指證學生，說連他們自己為何人毆傷，也不清楚。
顯然，在這樣的輿論氣氛中，當時的學生斷然沒有可能去「一一自首」，學生的暴力，即使在當時，已經被全然忽視，甚至在傳聞中被開脫：曹家的房子，是曹汝霖為了嫁禍學生，甚至是為了焚燒賣國文件，自己點燃的。公眾和輿論關注的是另外一種暴力——政府對學生的暴力。火燒趙家樓之後，30多個落在後面的學生被捕，據彭明考證，被捕的學生一共有32人，其中北大20人，高師8人，工業學校2人，中國大學1人，匯文大學1人。