1919年5月4日下午一點左右，來自北京十幾個學校的3000多名學生從四面八方彙集天安門，一幅碩大的對聯豎立在金水橋前的兩個華表下，格外醒目：
賣國求榮，早知曹瞞遺種碑無字；
傾心媚外，不期章惇餘孽死有頭。
在對聯的另一頭，前一天晚上北大學生咬破手指所寫的血書也懸掛在那裡，「還我青島」四個大字隨著學生們的激憤而獵獵飄搖。
短暫的集會後，學生們隨即向東交民巷的使館區進發。在途中，教育次長袁希濤、步軍統領李長泰和警察總監吳炳湘聞訊趕來，但他們均未能阻止學生的前進。到東交民巷後，由於此日為節假日，公使不在使署，巡捕房未得命令，堅不放行，結果數千名青年學生在來來往往的例行公事中延宕了近兩個多小時，最終未能通過。
使館區請願受阻後，學生們激憤異常，隨後便決定改道前往賣國賊曹汝霖家示威。遊行的總負責人傅斯年擔心途中會出意外，但他已經無法阻止學生運動的洪流。
這一天的中午，曹汝霖和章宗祥應大總統徐世昌之邀前往總統府赴宴，學生遊行的消息傳來後，有人曾勸他們暫時不要回府，但曹、章兩人不以為然。三點左右，曹汝霖和章宗祥一起回到了趙家樓衚衕西口的曹宅。不久，陸軍部航空司長丁士源和一位名叫中江丑吉的日本記者來訪，儘管他們已經得到學生要來趙家樓的消息，但此時曹宅外已有上百名警察保護，因此也就不以為意。他們覺得學生們不會搞出什麼名堂，即使出現暴烈舉動，也能被警察驅散。
四點左右，大批學生來到曹宅門口，形勢立刻為之改觀。儘管警察們嚴陣以待，但數千學生高呼「打倒賣國賊」的口號聲如同排山倒海一般，足以令宅內的人膽戰心驚。很快，一些學生一邊高呼：「賣國賊曹汝霖出來見我！」一邊猛烈地撞擊曹宅大門，局勢開始失控。警察們勸阻學生的時候，雙方發生衝突，在混亂當中，有學生繞屋而走，尋找其他入口，幾分鐘後，突然「嘩」的一聲，曹宅的大門被打開了，外面的學生們一下就衝破了警察的阻擋，他們蜂擁而入並四處尋找賣國賊曹汝霖。
學生們首先發現的是曹汝霖的老父和小妾，但他們並沒有對兩人動手，而是放走兩人，繼續尋找曹汝霖。但學生們找了半天，也沒有發現曹汝霖的蹤跡……那幾人哪裡去了呢？
很多人以為曹汝霖在大門被打破時逃出去了，事實上並非如此。據曹汝霖的回憶，他在學生闖進大門後，倉促間躲進了其妻與女兒卧室中間的一個箱子間，但學生們卻並未細細搜查，而只是噼里啪啦地砸門窗玻璃，然後扔擲屋內的瓷器，在亂嚷了一陣後，他們又出去了。
四點半左右，曹宅突然起火，躲在鍋爐間的章宗祥幾個人慌忙竄出，由於章宗祥穿著禮服，一下就被人認出，結果被堵在後門被學生痛毆（學生以為他是曹汝霖），有個學生拿個了鐵杆敲了章宗祥的腦袋，章宗祥順勢倒地，學生們以為他被打死了，一些人便嚷著「曹汝霖」被打死了，一邊逃跑了。另外一些人聽了這個消息後，紛紛趕來看，要證實這個消息。
趁著這個間隙，日本人中江丑吉沖了過來（他也與章宗祥素有交往），將章宗祥攙扶著，連抱帶拖地出了後門，並將章宗祥推進了對面的油鹽店。學生們見「曹汝霖」沒死，哪肯放過，他們隨即跟蹤而至，並要將「曹汝霖」拖出毆打，但這個日本人拚死護住，結果替章宗祥挨了不少打，也被打得頭破血流。所幸中江丑吉在挨打過程中不斷說著一口不熟練的中國話，學生明白他不是中國人，這才手下留情。
火起之後，大批的巡警趕來，最終將學生們和看客們驅散，併當場抓捕了32人（其中便有著名的許德珩）。隨後，消防隊趕到現場將大火撲滅，但此時的曹宅已經被燒得只剩下門房和西院的一部分。所幸的是，曹汝霖及其家人也都趁著火起的時候偷偷溜走，並無人員傷亡（被打的章宗祥和中江丑吉除外）。
「火燒趙家樓、痛毆章宗祥」是當年「五四」的最高潮，很多人以為火燒趙家樓只是學生們的義憤所致，但事實上並非如此。據參與的學生回憶，這次行動是早有準備，只不過是在極小的範圍之內而已。
放火的人是誰呢？據現場目擊的學生回憶，此人乃是北京高等師範學校（北京師範大學的前身）的學生匡互生。當學生們正在到處尋找曹汝霖的時候，匡互生取出預先備好的火柴，準備放火。這時，另一名遊行的負責人段錫朋慌忙阻止，說：「我負不了這個責任！」匡互生說：「誰要你負責任！你也確實負不了責任！」
另有一位目擊者回憶說，他看見兩位穿長衫的學生，從身邊取出一隻洋鐵扁壺，內裝煤油，他們低聲說「放火」，然後進入四合院內北房，將地毯揭起，摺疊在方桌上面，潑上煤油，便用火柴點燃，霎時濃煙冒起。這位目擊者名叫肖勞，他當時就跟在兩位長衫學生的後面親眼目睹，也認得這兩位就是北京高等師範學校的學生。
這兩位北京高等師範學校的學生，除了匡互生外，還有一個名叫周予同。在「五四」遊行前，他們甚至打算去弄一把手槍幹掉曹汝霖，可惜沒有成功。在五月三日的夜裡，匡互生等人秘密召集工學會的十幾名會員，並決定帶鐵器、小罐子煤油和火柴前去，預備毀物放火。匡互生和周予同幾個人還寫下遺書，準備犧牲。後來周予同回憶說，對於他們的秘密行動，遊行的總指揮傅斯年和段錫朋一點都不知情。事實上，打開大門的也是匡互生這些人，他們是打破曹宅圍牆上的窗洞後進去的。
或許有人要問，學生們為何如此痛恨曹汝霖、章宗祥及陸宗輿三人？他們又究竟幹了什麼？這事說來話長。1897年，兩名德國傳教士在山東曹州被一群身份不明的人士打死，德國隨後派出遠東艦隊直奔山東半島，並強迫清廷簽訂了《中德膠澳租借條約》，德國獲得了租借膠州灣99年、膠濟鐵路的鋪設權及其鐵道沿線30里內的礦產開發權等項權利，山東由此成為了德國的勢力範圍。
第一次世界大戰爆發後，日本借口對德宣戰，一舉奪下由德國人經營了近20年的青島和膠濟鐵路，儼然以新主人自居。在洪憲帝制前，日本突然拋出「二十一條」，並以決裂的姿態逼迫袁世凱承認日本繼承德國在山東的所有權益，而當時參與對日談判的，正是曹汝霖、章宗祥等人。除袁世凱應負主要責任之外，這些外交人員亦可謂是「五七國恥」的製造者。
但直接引發這場狂飆的不是「二十一條」談判，而是中國代表團在巴黎和會上的徹底失敗。當時日本代表拋出「西原借款」中「濟順高徐鐵路借款合同」的換文，上面清清楚楚地記著北京政府代表章宗祥的回覆，其中便有「中國政府對於日本上列之建議，欣然同意」之語。
歷史的真相往往就在於細節的推敲，這個「濟順高徐鐵路借款合同」的換文到底是怎麼回事？日本又有什麼建議？章代表為什麼會「欣然同意」？
濟順高徐鐵路是膠濟鐵路的支路，當年德國人強租了膠州灣後，便在這裡建起了一個新興城市（青島）並修建了一條從青島到濟南的鐵路（膠濟鐵路）。膠濟鐵路是德國人投資修建不假，但整個鐵路的路權及其沿線的礦產開發權等也被德國人攫取，這種投資是帶有特權的。日本人把德國人打跑後，從國際法的角度來說，之前簽訂的《中德膠澳租借條約》實際上是歸於無效，而日本想繼承德國權益的話須重新簽訂條約，否則無直接的法理依據（即便是日本在「二十一條」中脅迫中國承認日本繼承了德國的所有權益，但中日之間仍無條約可以證明）。
所以，日本人設下了一個小圈套，這便是「濟順高徐鐵路借款合同」。從表面上看，中國政府是向日本興業銀行、台灣銀行、朝鮮銀行借款2000萬日元，以建造濟南到順德及高密至徐州的兩條支線。在談判過程中，中方提出膠濟鐵路沿線的日軍撤至青島，日本同意撤走，但須留下一小部分在濟南，其他全部調集到青島；膠濟鐵路沿線的治安由中國負責，但巡警本部等處須聘用日本人；待膠濟鐵路確定歸屬後，改由中日合辦。
當時主持此事的段祺瑞內閣覺得日本人提供的借款還算優惠，而且又答應將膠濟鐵路沿線的日軍撤回青島（之前鐵路和青島均由德國人控制），其認為是一件一舉兩得的好事，而且青島雖被日本人控制，但他們聲明過，等戰爭結束就會歸還的，所以這才有了章宗祥「欣然同意」的回覆。
但段祺瑞這些人沒有想到的是，日本人其實是以借款撤軍為誘餌，以換取中國在正式文件上對日本佔領青島並進而繼承德國權益的默許……既然段內閣「欣然同意」了日軍從膠濟鐵路撤回到青島，那豈不是說明日本控制青島得到中方正式文件的認可？儘管日本在事實上已經控制了青島和膠濟鐵路，但之前並無文本證據，這下好，中招了。
4月22日，英、美、法三國巨頭將陸征祥和顧維鈞請來，將他們與日方達成共識的方案公布。美國總統威爾遜先