民國8年4月11日中國駐日公使章宗祥請假回國，偕眷陳氏，在東京中央新橋車站登車，留日學生數10人手持「賣國賊」旗幟前往送行，把章公使包圍，學生們氣憤填膺，質問章氏，訂立多少賣國密約？經手若干借款？情勢嚴重，不久日警聞訊趕至，護送章宗祥夫婦上車。人叢中有人大呼：
「章公使，章宗祥，你既然賣國，何不先賣妻！」
留日學生因身在日本，更體味到日本欺侮中國種種，所以反日的情緒尤為高漲，巴黎和會中國失敗消息傳來後，留日學生是首先發難的，他們發出一通聲討賣國賊電，全文如下：
「歐洲議和大會，為我國生死存亡所關，凡我國人，應如何同心協力，共挽國權，乃專使方爭勝於域外，而權奸作祟於國中，旬日以來，賣國之謀，進行益力。曹汝霖、陸宗輿、章宗祥、徐樹錚、靳雲鵬等，狼狽為奸，甘心媚日，跡其邇來所為罪狀，足以制國家之死命，約有二端，而已往之借款借械，賣路賣礦不計焉。略陳如下，冀共聲討。一曰掣專使之肘以媚日也。此次我國所派專使，尚能不辱國命力爭，日本因之大懷疑忌，始則用威嚇手段，冀制顧、王之發言，繼則行利誘主義，賄通曹、陸之內應。且使章宗祥回國運動，入長外交，以掣專使之肘。並預先商議，改竄已訂之中日秘約，以掩中外耳目，而彼諸賊，甘為虎倀。章氏既奉命西歸，曹、陸更效忠維謹，日前竟請當局，電飭專使，對日讓步。夫中日之利害，極端相反，世所共知。吾國往日所被奪於日本之權利，方期挽救於壇坫。而乃遇事退讓，自甘屈服，豈非承認日本之霸權，而欲自儕於朝鮮乎？賣國之罪，夫豈容誅？此其罪狀一。二曰借邊防之名以親日也。年來北方軍閥之跋扈橫行，皆由徐樹錚、靳雲鵬等，親日政策之所致，舉國權以易外款，殺同胞幾如草芥。全國父老，疾首痛心，而若輩迄無悔禍之意。近且大肆陰謀，借邊防為名，欲將參戰軍擴為九師十六混成旅，而與日人實行軍械同盟，將各省鐵路及兵工廠，抵借日款，並聘日人為教練官及技師。種種企圖，無非欲達其武力統一之目的。無論世界潮流，趨向和平，此等背逆時勢之舉，有百害而無一利，即使果如諸賊計畫，有萬一之效，而軍隊訓練之權，已操諸日人，兵器製造之廠，已屬於敵國，我國家尚能保其獨立耶？恐德人利用土耳其之故事，將復見於遠東。二次大戰，此其導火。既恣惡於現在，復貽禍於將來。諸賊之肉，其足食乎？此其罪狀二。凡茲二事，僅舉大端，其他違法不軌之行，諒為國人所共睹。同人等遊學以來，鮮問內政，惟事涉對外，有損國權，則筆伐口誅，不遺餘力。矧諸賊近日賣國之罪，彰明較著，良心所逼，安敢緘默。用特學其事實，訴諸國人，所望全國父老昆季，速籌對待國賊之法，安內攘外，咸系乎此。蓋共和國家，民為主體，朝有奸人，而野無志士，將見國家遂即淪亡，而國民無力之譏，永蒙羞於歷史矣。」
4月下旬，北京和天津的街頭出現了歐美歸國留學生所組織的「社會服務團」，公開要求「廢除軍閥」、「打破列強勢力範圍」、「實行言論自由」。
北京的大學生們紛紛集議，發動救國運動，反對賣國賊，保全青島領土。由北京大學為主體。原來自袁世凱接受日本廿一條以後，每年5月7日各界都舉行國恥紀念，這一年也預定在天安門大示威。迨獲知巴黎和會失敗消息後，乃迫不及待，北京大學學生遂於5月3日下午7時假北大法科禮堂召集全校學生開會，會中群情激動，當場決議辦法四項：
（一）聯合全國各界力爭拒斥巴黎和會的決定；
（二）致電巴黎的中國代表團，堅持不在和約上簽字；
（三）通電全國各界，於五月七日國恥紀念舉行遊行大示威；
（四）決定在第二天（星期日，即五月四日）齊集天安門，舉行學界大示威。
會場中發言的學生，有的痛哭失聲，有的慷慨激昂，最高潮是法科學生謝紹敏在講台上咬破手指，扯碎衣襟，用手指上的鮮血寫成「還我青島」四個大血字，鮮血映在白色的衣襟上，赫然奪目。台上台下的與會同學一片掌聲，並高呼萬歲，悲壯激昂，令人感奮。
會後，學生主持人連夜印製傳單，並通知北京的其他學校，約定於4日上午邀各校代表借法政專門學校為會場，共商遊行示威細節。
5月4日清晨，北京大學、法政專門學校、高等師範學校、中國大學、朝陽大學、工業專門學校、警官學校、農業學校、匯文大學、鐵路管理大學、醫學專門學校、稅務學校、民國大學等校代表齊集法政專門學校的大禮堂。當場議定集會辦法，如何演說，如何散布旗幟，如何向外國使館請願，如何在曹汝霖官邸示威，並趕製數十面的小白旗，上書：「取消廿一條」、「誓死力爭」、「保衛主權」、「勿作五分鐘愛國心」、「爭回青島方罷休」、「寧為玉碎，勿為瓦全」、「頭可斷，青島不可失」等標語。謝紹敏的血書「還我青島」也懸掛出來。
5月4日下午2時，北京各大學的學生從四面八方奔赴天安門，天安門橋南已豎起了一面大白旗，上書聯語是：
賣國求榮，本知曹瞞遺種碑無字；
傾心媚外，不期章惇餘孽死有頭。
末行寫「北京學界挽賣國賊曹汝霖、章宗祥千古」。
北京政府派出步軍統領李長泰趕到天安門勸學生們解散，學生置之不理。2時30分在高呼：「打倒賣國賊」的口號中，由天安門出發遊行示威。
從天安門出發的學生，散發兩種文件，第一項是宣言，全文如下：
「嗚呼國民！我最敬佩最有血性之同胞！我等含冤受辱，忍痛被垢於日本人之密約危條，以及朝夕企禱之山東問題，青島歸還問題，今日已由五國共管，降而為中日直接交涉之提議矣。噩耗傳來，天黯無色。夫和議正開，我等之所希冀所慶祝者，豈不曰世界中有正義、有人道、有公理，歸還青島、取消中日密約、軍事協定、以及其他不平等條約，公理也，即正義也。背公理而逞強權，將我之土地，由五國共管，擠我於戰敗國，如德奧之列，非公理，非正義也。今又顯然背棄山東問題，由我與日本直接交涉。夫日本虎狼也，既能以一紙空文，竊掠我二十一條之美利，則我與之交涉，簡言之，是斷送耳，是亡青島耳，是亡山東耳。夫山東北扼燕晉，南控鄂寧，當京漢、津浦兩路之沖，實南北咽喉關鍵。山東亡，是中國亡矣。我同胞處此大地，有此山河，豈能目睹此強暴之欺凌我，壓迫我，奴隸我，牛馬我，而不作萬死一生之呼救乎？法之於亞魯撤勞連兩洲也，曰：『不得之，毋寧死。』意之於亞得利亞海峽之小地也，曰：『不得之，毋寧死，』朝鮮之謀獨立也，曰：『不得之，毋寧死。』夫至於國家存亡，土地割裂，問題吃緊之時，而其民猶不能下一決心，作最後之憤救者，則是廿世紀之賤種，無可語於人類者矣。我同胞有不忍於奴隸牛馬之痛苦，亟欲奔救之者乎？則開國民大會，露天演說，通電堅持，為今日之要著。至有甘心賣國，肆意通姦者，則最後之對付，手槍炸彈是賴矣。危機一發，幸共存之！」
第二種是傳單，用油印的，由遊行學生的幹事們沿途散發，傳單全文是：
「現在日本在萬國和會，要求并吞青島，管理山東一切權利，就要成功了。他們的外交大勝利了，我們的外交大失敗了。山東大勢一去，就是破壞中國的領土，中國的領土破壞，中國就亡了。所以我們學界，今天排隊到各公使館，去要求各國出來維持公理，務望全國工商各界，一律起來，設法開國民大會，外爭主權，內除國賊。中國存亡，就在此一舉了。今與全國同胞立兩個信條道：中國的土地，可以征服，而不可以斷送。中國的人民可以殺戮，而不可以低頭。國亡了，同胞起來呀！」
學生們出發時，教育部派出幹事人員趕來勸阻，勸學生們把要求提出，由教育部代向政府請求，可是學生們當場拒絕，整隊前往東交民巷，要向各國駐華公使請願，教育部代表勸阻無效，警總監吳炳湘坐了一部摩托車親來攔阻，亦無效果。
遊行的隊伍接照計畫，浩浩蕩蕩地徑往東交民巷前進。
5月4日是星期天，東交民巷的各國使館都休假，當學生們擁入東交民巷後，等於是撲一個空。遊行隊伍首先到了美國公使館，推出羅家倫等四位代表進謁美國公使，美國使館沒有辦事的人，代表們只得將抗議書留下，其他各國亦均無人，也只好留下抗議書。遊行隊伍本想通過東交民巷，但被攔阻，乃改由東向北，穿過長安街及崇文門大街，徑赴東城趙家樓，直奔曹汝霖官邸。
曹家這時大門緊閉，門外有警察環守，於是激怒了學生們，大家鼓噪起來，不分皂白，衝到門口，有的大叫「打倒賣國賊」，有的則和警察鬥毆，有的則繞屋環行，見屋後有窗數扇，即用石塊擊碎，穿窗而入，打開大門，學生群遂蜂擁而入，進至大廳。這時曹宅內除曹汝霖本人外，尚有章宗祥和丁士源，丁是參戰督辦處的軍法處長。