一八九四年七月二十五日，日本軍艦在豐島海面不宣而戰，突然襲擊擊沉中國運兵船「高昇」號。消息傳來之時，李鴻章知道命運躲不過了，戰爭不可避免地爆發了。八月一日，中日兩國政府同時宣戰，甲午戰爭正式爆發。李鴻章被任命為清軍的最高統帥。第二天，聖旨又下，李鴻章被暫停穿黃馬褂和戴三眼翎的資格，最高統帥的位置不變。朝廷這一舉措，可以看作是對李鴻章前一段工作的不滿，也是對李鴻章的警示和激勵，希望李鴻章振作起來，在戰爭進程中有一個良好表現，以重新取得穿黃馬褂的殊榮。
戰爭從一開始就朝著李鴻章最不願看到的局面直轉而下。因為準備倉促，戰爭自開局時起就陷入了被動。李鴻章曾數次致電劉銘傳，讓他出任前線主帥，但劉銘傳以身體狀況為由，拒絕了李鴻章的安排。劉銘傳的不願擔當，使得清軍在前線一直沒有主帥，各部隊之間缺乏統一調度。九月十五日，平壤之戰打響，雙方分別投入約一七○○○兵力，分大同江南岸、平壤玄武門外、平壤城西南三個戰場展開廝殺。清軍在平壤與日軍激戰數晝夜後潰敗，總兵左寶貴戰死，李鴻章的淮軍舊部、統帥葉志超貪生怕死，下令停止抵抗，全面撤退。日本佔領朝鮮全境。當葉志超和他的部隊在六天內狂奔五百里，渡鴨綠江回國時，後方指揮戰鬥的李鴻章竟一直得不到確切情報，更談不上及時阻止和指揮了。當光緒詢問戰事進展時，一無所知的李鴻章不得不跟光緒打起了馬虎眼，說葉志超在牙山一帶打死了日軍一千多人。當李鴻章隨後得到葉志超逃跑的消息後，大驚失色，嚴令葉志超不準再退，否則軍法從事。
接下來對李鴻章最大的打擊就是「黃海大戰」了。九月十七日，中日海軍主力在黃海大東溝附近海域遭遇，雙方擺開陣勢，展開決戰；北洋艦隊投入戰艦十艘，日本戰艦投入十二艘。戰鬥持續五個小時，結果清國軍艦沉沒四艘。北洋水師致遠號管帶鄧汝昌負傷力戰，致遠號在遭受重創的情況下，開足馬力，力圖撞沉日方先鋒艦吉野號，不幸中敵魚雷，隨全艦絕大部分官兵犧牲。經遠號管帶林永升、定遠號管帶劉步蟾、鎮遠號管帶林泰曾皆奮力苦戰，重創日旗艦松島號。
「黃海大戰」的戰敗，使得清國喪失了制海權，在這場立體的戰爭中，已呈頹勢。緊接著，清軍在鴨綠江、九連城等戰場與日軍接連激烈交戰，終未能擋住日軍的攻勢。日軍以摧枯拉朽的方式進入中國境內。
東北此時已進入嚴寒的冬天，這一年的冬天，天降大雪，滴水成冰。在東北，空氣中散發著雪的凜冽，也散發著血的腥味，整個戰場遍佈著絕望。十一月五日，日軍進攻金州，駐守金州的清軍將領徐邦道向駐守大連的守將趙懷業請求援助，但此時，趙懷業早就逃得沒有人影。惱怒的李鴻章在得知情況後，命令劉盛休部和晉軍提督程之偉部火速趕往大連。劉盛休的回答則是：部隊的槍支彈藥在鴨綠江邊都丟失了，無法上陣；晉軍程之偉部傳來的消息則是：為防腹背受敵，部隊已主動撤退。李鴻章氣急敗壞，他在給前方將領的信札中大發雷霆，如果戰爭再失敗，就讓他們「投海自盡」。
十一月七日，大連陷落。在大連，日本軍隊獲取了大量的軍需物資，包括六百廿一支槍、一百二十九門大炮、三千三百萬餘發槍彈、二百五十萬發炮彈。黃昏時分，城內漫天大火，風雪之中日軍把中國百姓不分老幼趕到城外進行報復性屠殺，鮮血將護城河上的薄冰融化。同一天，六十歲的慈禧在紫禁城慶祝她的「萬壽吉日」。後來，內務府的賬本上記載著為慈禧過生日所花費的銀兩，總共在一千萬兩白銀之上。那一天早晨，慈禧心情無比之好，她身穿綴滿珠寶的禮服，顯得華美雍容，青春煥發。韶樂聲中，皇帝、皇后以及文武百官分別行跪拜大禮。李鴻章沒有參加這樣的盛典，仍在天津指揮著前方戰事，那一天，李鴻章心急如焚焦頭爛額，二十四小時內竟發了十六封電報！
慈禧太后的生日慶典達到高潮的時候，旅順緊跟著大連陷落。四天之內，日本軍隊開始全面屠城。幾天後美國報紙報導說，這四天中，日軍共殺害了約六萬名非戰鬥人員，包括婦女和兒童，只留下三十六名男子，為的是掩埋屍體。
一八九五年一月卅日，已登陸集結完畢的二萬五千名日本陸軍，向駐紮在威海衛南幫炮台的三千名清守軍發動攻擊。清國守軍英勇抵抗，在戰鬥中，日軍一少將陣亡。南幫炮台淪陷。二月初，威海陸地全部失陷後，日軍從水陸兩路進攻劉公島、威海港內的廿六艘北洋艦隊。丁汝昌坐鎮劉公島，殊死抵抗，先後擊退敵八次進攻。旗艦「定遠號」中敵魚雷擱淺，在劉步蟾的指揮下仍舊還擊，彈藥告罄後自炸戰艦而亡。丁汝昌誓死不降，被脅迫軟禁，服毒自盡。繼任者「鎮遠號」管帶楊用霖以自殺拒降……
那一段喋血的日子充滿著悲壯，也充滿著憂傷，對於李鴻章來說，彷彿世界末日將要來臨。威海衛的陷落對於清國來說是一次毀滅性的打擊，山東去北京的道路已經門戶洞開，日本從東北和山東兩路，對北京形成包圍之勢。清國萬般無奈，提出了和平倡議。斡旋期間，戰事仍繼續在山東和東北兩地進行。二月下半月，清軍在宋慶等將領的率領下，在海城與日軍進行了激烈的爭戰，但還是沒有控制住戰爭的局面，日軍仍向華北腹地接近。情勢已危急到京城，雖然朝廷集結了廿萬左右的人屯聚在直隸北部，但北京的失陷，看起來不可避免。
在甲午戰爭中，可以說，受打擊最大的，就是李鴻章了。戰場的主力，幾乎都是李鴻章的淮軍嫡系。那段時間，李鴻章不時地聽到傳來一個又一個晴天霹靂。這種莫名其妙的潰敗方式，讓李鴻章比誰都苦澀，比誰都委屈，也比誰都憤懣。他的朋友吳汝綸曾經回憶說：「平壤之敗，李相國痛哭流涕，徹夜不寐……及旅順失守，憤不欲生。」甲午戰爭結束，李鴻章就像一個身敗名裂的賭徒，將自己所有的家當和名聲輸得乾乾淨淨。
甲午戰爭為什麼會失敗？現在總結起來，當然能找到很多原因，比如說制度和職責上的含混不清。清國君主帝制徒有其表，在調動和掌控全局上力不從心，它甚至無法調動整個國家的力量來與另一個國家對抗。甲午戰爭是中國與日本國與國之間的戰爭，但這個現代戰爭的指揮卻落在李鴻章這樣一個省級官吏的肩膀上，整個甲午戰爭就像是李鴻章在以他直隸和北洋水師的力量與日本舉國軍隊作戰。但最根本的，應該是國力原因，腐朽呆板的大清王朝不僅僅在國力上已落後於日本，而且在整個氣韻上也呈垂垂暮氣。相反，對手日本在經過明治維新之後，學習了西方很多的科技和管理，不僅僅在國力上得到了很大的提升，而且整個國家也呈現出巨大的朝氣，新的國民們以國家之事為己任，將自己的一切與國家的沉浮緊密地聯繫在一起，這樣的方式，使得這個新興的國家有著一種令人生畏的原動力。與此同時，日本政府和國民在思維方式以及理解能力上有了質的飛躍，科學和理性的思維方式佔據了主流，整個國家的效能得到很大程度的提高。
從軍隊本身來說，當時日本軍隊中那種來源於西方的精製而周密的準備、縝密的思考方式可以說是在當時的中國軍隊中所鮮見的，在日本軍隊中，已使用了西方軍事當中的戰法與陣法。這樣的陣法與新式武器結合緊密，力量是巨大的。雖然李鴻章的淮軍也是一支久經沙場的常勝軍，曾經以剽悍的作風擊敗過太平軍以及捻軍，而北洋水師也沿用了西方軍事的一些訓練並且聘請了外國軍事顧問，但在淮軍中，那種理性而縝密的思維方式並沒有深入人心，有的只是一些皮毛和表面，相比日本軍隊的現代方式，作風剽悍的淮軍因為組織和戰術上粗糙而隨意，同時缺乏現代戰爭的多兵種的協同作戰方式，只能算是中世紀的兵勇，算不上是一支現代意義上的部隊；而那種一對一之間的捉對廝殺，在兩軍的熱兵器對壘中，往往無從發揮。更何況由於久疏戰爭，此時的淮軍早已是今非昔比了。至於北洋水師，丁汝昌對於海軍的不熟悉，掌控能力較弱；經費嚴重不足、訓練和作戰水平差、軍紀不嚴等，也是失敗的重要因素。可以說，清國的軍隊在對現代軍事的理解上和運用上已經遠遠落後於日本部隊了。甲午戰爭的失敗，從實力上說，是國力上的原因，而具體到軍事上，則是組織、管理、協調、意識等方面的失敗。全方位的落後，導致了甲午戰爭一敗塗地，失敗得窩窩囊囊，失敗得稀里糊塗，失敗得莫名其妙……李鴻章又有什麼辦法呢，在這種情況下，他只有悲憤和認命了。
朝廷向日本提出了議和的倡議。輸光了的李鴻章愧於與日本人面對面，當恭親王試探著讓李鴻章前去日本議和時，李鴻章回信說：「在下與張蔭桓等人再三商量，覺得現在只想派一名忠實可信的洋員前往，既容易得知對方的意圖，又不會引起對方的懷疑。」李鴻章選定的這個人物，就是在天津海關工作廿餘年、對李鴻章忠心耿耿的德國人德璀琳。李鴻章在同一封信中寫道：「德璀琳在天津工作廿多年，對我很忠心，中法議和等事他都暗中相助。先前伊籐博文到天津與我訂約時，他認