李鴻章對日戰爭的失敗，使清政府極不滿意，光緒帝決定給予他革職留任的處分，並褫奪其黃馬褂。隨著威海衛戰敗、遼陽戰敗，清政府非常擔心北京失守，於是清政府派出多人去和日本談判，但是均被驅回，日本方面暗示說，只有讓李鴻章來才可以。
一八九五年二月十三日，朝廷命令李鴻章為頭等議和全權大使，取消處分賞還黃馬褂，讓他火速來京議事。李鴻章知道事關重大，接到命令之後，急急趕往北京。李鴻章無法做到讓自己置身於事外，高高掛起。此時的李鴻章只有一個念頭，只要大清帝國需要，就要為大清帝國赴湯蹈火，在所不辭。此刻，自詡為泱泱大國的清朝，似乎除了李鴻章就沒有第二個人能擔當起這樣的使命。事實上，恐怕也沒有第二個人肯去擔當這樣的使命了。李鴻章在心裡已經做了最壞的準備，在和朝廷談話時，表示自己無法擔當割地這樣的責任。最後朝廷給予他全權處理的權力。
一八九五年三月二十日午後二時半，李鴻章與李經方和美國顧問科士達一行到達馬關，登上春帆樓。春帆樓上放著一張長方形會議桌，旁邊擺放著十多把椅子。日方還特別在李鴻章的座位邊安置了一隻痰盂，大約是有意無意地提醒著大家，這位清國全權大臣已值暮年，垂垂老矣。伊藤博文為談判頒布了四條規定：一是除談判人員外，任何人不得進入會場；二是各報報導必須要經新聞檢查後方可付梓；三是除官廳外，任何人不得攜帶武器；四是旅客出入，均必須由官廳稽查。此外，伊藤博文還特別宣佈：清政府議和專使的密碼密電，均可拍發，公私函牘概不檢查。從表面看上去，好像日本人對李鴻章和清國使團非常客氣，其實，日本人已成功破譯清廷的密碼，而且，在談判過程中甚至瞭解到清國使團此次來日本的賠款底線是二萬萬兩白銀，因此早就成竹在胸。
三月二十一日，在與李鴻章的首次談判中，伊藤博文向李鴻章提出的停戰條件是：日軍佔領大沽、天津、山海關一線所有城池和堡壘，駐紮在上述地區的清朝軍隊要將一切軍需用品交與日本軍隊；天津至山海關的鐵路由日本軍官管理；停戰期間日本軍隊一切駐紮費用開支由清政府負擔等等。伊藤博文明白，山海關、天津一線如果被日軍佔領，將直接危及北京安全。這個停戰條件是清政府萬萬不會答應的。如果這一停戰條件被清政府駁回，日本正好就此再戰。尤其狡猾的是，伊藤博文此時隱藏了日軍正向台灣開進的事實，企圖在日軍佔領台灣既成事實後，再逼李鴻章就範。
春帆樓上，中日兩國代表唇槍舌劍，談判僵持不下。恰在此時，一樁突發事件改變了談判的進程。在馬關的春帆樓上，李鴻章與日本全權代表伊藤博文和陸奧宗光開始談判。經過三次談判之後，李鴻章感覺身心憔悴。因為耗費這麼多天的精力，居然沒有什麼任何意料中的進展。然而，意外卻不期而至——這天，同以前一樣，李鴻章無奈地走出春帆樓，即將到達所住的行館時，忽然，一個年輕的男子從人群中衝了出來，隨即以手槍向李鴻章射擊，子彈擊中了李鴻章的左頰。周圍自然是一片慌亂。原來，此人名叫小山，是一個極端的日本侵華分子。他希望中日戰爭一直打下去，不願意和中國議和，所以決定刺殺李鴻章。李鴻章被刺，昏厥過去。隨行的西醫馬上採取急救措施。李鴻章醒來之後，表現得很鎮靜。李鴻章看著衣服被血染紅，長嘆一聲說，「此血可以報國矣」。由於子彈卡在他左眼下的骨頭縫裡，沒有醫生敢在這個位置下手術刀，李鴻章給朝廷的電報只有六個字：「傷處疼，彈難出。」
李鴻章遇刺之後，國際輿論嘩然，紛紛譴責日本。日本害怕列強干涉，只得宣佈無條件休戰。日本本來想見好就收漫天要價，結果行刺事件的發生使得日本的計劃被破壞。伊藤博文惋惜地說：此次事件的嚴重性，超過在戰場上一兩個師團的潰敗。日本天皇和皇后分別派出御醫和護士，讓他們好生給李鴻章治療。伊藤博文也以私人身份前去探望。順便說一下，李鴻章和伊藤博文二人，在人生經歷上有很多相似之處，其中更為巧合的是兩個人都曾經遇刺。雖然發生了遇刺事件，李鴻章還得堅持談判。面對日本人割讓遼東、台灣、澎湖，賠款軍費三億兩白銀的漫天要價，李鴻章實在難以認可。清政府在給李鴻章的電報中，均是模稜兩可的「著鴻章酌量辦理」。
四月十日，李鴻章傷勢稍好轉之後，中日雙方又就甲午戰爭展開第五次談判。中國的和約修正案送達日方。由於李鴻章的傷勢漸癒，親自參加了會議。陸奧宗光因病未能出席。中方出席人員有李鴻章、李經方、伍廷芳、馬建忠、羅豐祿。日方出席人員有伊藤博文、伊東巳代治、井上勝之助、中田敬義、陸奧廣吉、楢原陳政。
在最後簽字的前一天下午，日方的要求極其苛刻。只允許中方回答「允」或者「不允」，李鴻章沒有絲毫討價還價的餘地。李鴻章一直磨到天黑，希望能夠再減少兩千萬兩，最後，甚至含淚請求伊藤博文說，就算給我這個老頭子回家的旅費吧。伊藤博文根本不予理會。晚上，伊藤博文還威脅李經方說，如果明天你們還不簽字的話，你們這些代表能否安全回家，我怕都不能真正保證了。一八九五年四月十七日，李鴻章與日本代表簽訂了喪權辱國的中日《馬關條約》。條約規定：清政府承認朝鮮「獨立自主」；割遼東半島、台灣、澎湖列島及附屬島嶼給日本；賠償日本軍費白銀二億兩；增開重慶、沙市、蘇州、杭州為通商口岸；開闢內河新航線；允許日本在中國的通商口岸開設工廠，產品運銷中國內地免收內地稅。
一八九五年之後，李鴻章像被水淹過的一座土山一樣坍塌了，在此之前，這座山巒曾經氣衝霄漢，巍峨矗立。從某種意義上說，李鴻章猶如一個賭徒一樣，輸掉了自己畢生的積蓄。但李鴻章還是克制住自己巨大的悲傷，像一個職業外交家一樣，盡力用外交彌補自己的過失。而後，他把自己封閉在冷靜的沉默中，就像一隻受了傷的老虎，一邊舔著自己的傷口，一邊思考著對策，隱忍，等待，夢想著伺機一擊。只可惜，李鴻章沒有等到出擊的那一天。以後的日子更加陰晦，在他面前的，是更多的麻煩和鬱悶；是寒冷，那彷彿來自極地之側的冰寒。
一八九五年四月，李鴻章帶著《馬關條約》草約和臉上的繃帶，還有懊惱沮喪的心情回國時，發現自己早已成了舉國之「公敵」。朝廷斥責他辦事不力，官員說他喪權辱國，民間傳說他拿了日本人的銀子。更有人公開聲明說，要不惜一切殺掉他，以雪「心頭奇恥大辱」。只有那一句話，讓李鴻章聞後不能不老淚縱橫。其時，全體軍機大臣集體上奏給光緒帝，奏摺中有此一語：「中國之敗，全由不西化之故，非鴻章之過」。
當舉國上下一片討伐李鴻章之時，沙俄突然跳出來聲稱要幫助清政府討回遼東半島，這讓清政府眼前一亮。本來，俄國就一直打著朝鮮和中國東三省的主意，它是想伺機奪取不凍港，擁有自己的東方出海口。為此，沙俄從十九世紀九十年代起，就開始修建西伯利亞鐵路。他們夢想著鐵路能從中國東三省穿過，利用旅順和大連這兩個不凍港。中日戰爭爆發，李鴻章請求沙俄調解，沙俄也是抱著觀望的態度，直到中國戰敗。
俄國並不希望這樣的結局。如果日本在控制朝鮮後，再控制了遼東半島，沙俄在華利益就會受到極大的損失。於是，沙俄聯合了德國和法國為清政府說話，要求日本歸還遼東半島。德國和法國是出於什麼目的呢？法國是想通過俄國牽制德國，德國是想討好俄國，讓俄國把目光放在遠東地區，自己好在歐洲下手。這就是所謂「三國干涉還遼」事件之起因。後來，「三國干涉還遼」成功了。《馬關條約》最後是這樣的收場：清政府賠款二萬萬兩巨銀，並付給日本「贖遼費」三千萬兩白銀，割讓台灣、澎湖。雖然今天我們可以客觀地看待李鴻章，不能把賣國的罪名安在他一個人的身上，但是必須承認這樣一個事實：李鴻章從晚清政府的利益出發，和晚清政府一起出賣了中國的部分主權和領土。
由於簽訂《馬關條約》而被免去顯赫職務的李鴻章心裡並不怨恨清政府的處罰。李鴻章知道，大清帝國必須要懲辦一個「賣國賊」以平息眾怒，李鴻章必然成為大清帝國賣國的替罪羊。