奕沂的復出，沒有給大清帝國的政局以絲毫扭轉。百年腐敗已經將國勢置於危險的巔峰，它以人力不可阻擋的趨勢急速滾向災難的深谷。躲在威海衛海港的北洋艦隊剩餘的二十多艘戰艦，幾乎在一夜之間被日本的聯合艦隊全部摧毀。北洋艦隊翼長劉步蟾自殺。北洋水師衙門所在地劉公島被日軍團團圍住。提督丁汝昌萬般無奈，只得以自殺謝天下，剩下的軍艦、炮台及一切軍事器械全部落人敵手。以北洋水師衙門的被占、提督殉國為標誌，李鴻章苦心經營二十多年、耗資千萬兩銀子的北洋海軍，已向國人宣告徹底覆亡。作為海軍的核心和靈魂，北洋水師的這個下場，也向世人表明，大清國海軍已接近全線崩潰。湘軍宿將劉坤一和他所節制的關外六萬湘軍，也抖不起半點往日的威風，不僅關外軍事毫無起色，而且僅僅只六天之內便連失中庄、營口、田莊台等戰略要地。在日本陸軍強大的炮火和鋒利的武士刀面前，當年耀武揚威的湖湘子弟猶如雪人兒見了太陽似的，立即消融化解，潰不成軍。湘軍的神話從此掃地以盡。
海陸兩軍全面失敗的殘酷事實，擊破青年光緒、帝師翁同穌以及朝中那些強烈主戰者的幻想及其虛驕僥倖等種種心態，也堅定了慈禧、奕沂等人的求和選擇。奕沂請求美國公使田貝出面調停。在日本天皇頒發進犯中國的敕書中，本就明確地標明了戰爭的前後兩期。前期的目的是摧毀中國的海軍，震動渤海灣，至於打下北京，佔領全中國，那是後期的目標。日本鑒於前期目標已達到，遂賣了個人情給美國，接受求和的調停。於是，就有了李鴻章代表朝廷所簽訂的《馬關條約》。這個條約不僅令中國蒙受極大恥辱和損失，也讓李鴻章背上了萬世不能卸掉的黑鍋。中國被迫賠償軍費銀二億兩，相當於全國全年財政總收入的兩倍多。承認日本對朝鮮的控制，割讓遼東半島、澎湖列島和台灣島。遼東半島的割讓引起俄、德、法三國的不滿，在三國的干涉下，中國又以三千萬兩銀子的代價贖回，作為回報，又違心地同意俄、德、法三國在此半島上享有租借軍港，修築鐵路，開採礦山的特權。
猶如天崩地震，日亡月歿，又好比崑崙傾圮，黃河倒流，《馬關條約》的簽訂，對大清王國、對中華民族的打擊和震動是史無前例、慘痛無比的。
它讓大部分中國人深感憤恨，既憤恨這個東洋鬼子的兇殘貪婪，又憤恨朝廷的無能軟弱，最後又把這種憤恨幾乎全集中在李鴻章一個人的身上，眾口一辭罵他漢奸。昔日紅得發紫的一代雄傑，如今落到通國不容的地步。他被革去一切實職，只留下一個文華殿大學士的虛銜，龜縮在賢良寺里，憂鬱孤獨，門可羅雀。《馬關條約》也讓不少中國人深感失望，隔海相望的蕞爾小國，歷史上從來都是在堂堂大中國的面前低一截矮一頭，現在居然可以稱王稱霸，欲將中國拼人它的版圖，可見中國如今腐朽到何等地步！人口雖多，卻一盤散沙；軍隊雖多，卻形同烏合。許多人在搖頭嘆息，在自哀自憐：中國的命運不知將伊於胡底！也有少數強悍者，他們將失望化為怨恨，怨恨慈禧、光緒為首的整個滿洲政權。他們認為都是這些關外來的滿洲人將中國弄得如此一塌糊塗，使本來輝煌的中華文明蒙羞含垢，所有罪責應由滿洲人來承擔。自從明崇禎甲申年北京淪落之後，中國實際上已經亡國，中國人至今已做了二百多年的亡國奴，只有驅逐胡虜，才有中國的復興。他們在暗中結社立會，集聚力量，尋找機會，以四十年前的洪秀全、楊秀清為榜樣，揭竿起事，光復漢室。《馬關條約》也讓不少中國人開始對國家的現狀和未來作深入的思索。思索給他們最大的啟發是：國家之所以如此受辱，其原蓋出於弱，要使由弱到強，除加速發展以軍事為主要內容的自強事業外，還要對有礙於自強的各種陳規陋習，乃至律令法則作相應的改變。這一批人多為士林中的熱血青年和官場中頗思作為的開明派。張之洞屬於這一種人，並因他的地位和辦洋務的業績，成了他們中眾望所歸的首領。
中國和日本發生衝突以後，張之洞一秉當年清流本性，態度強硬，力主以牙還牙，並主動為朝廷出謀畫策，運籌帷幄。高陞號運兵船被曰軍擊沉後，其中有五個英國人為此喪生。張之洞向朝廷建議，聯合英國一起來譴責日軍的暴行。在戰爭進行過程中，他多次致電李鴻章，向他提出自己的軍事建議。威海失手後，他甚至電商自己的老部下現已升為台灣巡撫的唐景崧，請他趁眼下日本國內空虛，派一支艦隊奇襲日本本土。可惜，張之洞的這些努力均未奏效，事態的惡化，令他憂慮萬分。
在李鴻章赴馬關與日本商談條約時，張之洞多次電奏朝廷，認為日本的條件太苛刻，對此萬不可答應，否則中國將從此不能自立。不如拿這些銀子購兵艦、募洋將，與倭寇決一死戰。條約簽訂後，他又致電唐景崧和不久前奉命赴台籌辦台灣防務的南澳鎮總兵劉永福，要他們利用台灣紳民反對割台的民氣，拖延交割，以便盡最後的努力，爭取國際於涉，不讓台灣從祖國的領土中分割出去。然而，張之洞的這一切努力也都白費了。尤其令他痛心的是，在此生死存亡之際，他曾寄與重望的唐景崧與過去的戰友反目，為著個人的權力名位而明爭暗鬥，不能合作對敵。經過一番反抗、抵禦後，唐、劉二人先後渡海回歸大陸，台灣被日本強行佔領了。誰也沒有想到，這一佔領便是整整的五十年。
痛定思痛，張之洞認定自強種種，首在強軍。受命署理兩江後所辦的第一件大事，便是組建一支軍隊，他親自將這支軍隊命名自強軍。自強軍共有前隊八營，炮隊二營，馬隊二營，工程隊一營，共計近三千人。自強軍聘請德國軍官為教練，依照德國陸軍的操典予以訓練。它的區分兵種及各營統一於總指揮的特點，迥異於過去的湘淮軍，使之成為一支朝野矚目的新型軍隊。建軍的同時，他又在江寧創建一所陸軍學堂，以便為自強軍培養既懂軍事又懂外語的新式軍官。
看著自強軍在一天天長進，張之洞心裡高興。他設想今後還可以在湖北也籌建一支類似的軍隊。這天晚飯後，隨他前來江寧的老友兼親家桑治平，約他到自己的房裡說話。
桑治平寓居督署的房間，在衙門西北角上。三十多年前的兩江總督衙門，正是與京師紫禁城擁有同等政治地位的天王府。天王洪秀全請干王洪仁玕依照在香港所見的洋人教堂的樣式，為他修造一座小型拜上帝會教堂。這座洋式教堂在王府西北角，全用花崗岩砌就，窗欞上裝的是當時最為時髦的彩色玻璃。房頂做成尖尖的塔狀，上面有一個鐵制的大十字架。上下兩層，除開一樓大廳外，樓上樓下共有六個大小單間。這裡人跡少，極為安靜，洪秀全常在這裡做禮拜，讀《聖經》。住在這裡，他有一種與天父天兄直接對話的感覺。他說的話，天父天兄都能聽到。恍恍惚惚中，他也常見天父天兄在向他指示方略，賜予智慧。天王還常常在這裡寫詩作文，修改增補他的《御制詩文集》。有時，他看中哪個漂亮的女官，也會帶到這裡來幽會，為的是迴避他眾多的王娘和進府來請示機宜的列王天將們。
同治三年六月，湘軍吉字營的一把大火，將天王府幾乎焚燒殆盡，這座小教堂因為地處偏僻又是岩石建成而倖存。曾國藩將江督衙門從安慶遷回此地後，有人曾建議將這座建築拆毀，曾國藩制止了。他說一座好好的房子，拆了可惜，留下還可以住人。他只叫人將尖塔和十字架拆掉，因為那是邪教的象徵，代之以中國傳統的人字形屋頂。也叫人將彩色玻璃取下，那是迷人心性的艷色，代之以中國傳統的灰白皮紙。經過改造後的這所房屋，既舒適好用，又平實素樸，曾國藩便將之作為高等驛館看待，專門接待來兩江的朝中貴客。平時無人來則鎖起。他自己仍守著湘鄉農人似的簡樸生活，這座驛館他一夜也沒住過。曾國藩的這個傳統一直沿襲下來。數十年來，歷任江督都沒改變它。桑治平隨著張之洞來到江寧後，為著對老友的禮遇，張之洞將他安置在這座署中驛館裡。柴氏夫人半年前過世了，他一人獨居。來到江寧後，張之洞給他派了兩個僕役，與他同住驛館，以便隨時照顧。
平時，桑治乎都過來，與張之洞和大家一起在署中會議廳或書房裡議事，這次為何將他請到自己的寓所來呢？在二樓的一間小房子里，落座後，張之洞笑著問：「仲子兄，你叫我到這裡來做什麼？莫非你在這裡發現了當年洪秀全的遺物，叫我來悄悄欣賞？」
桑治平也笑了，說：「要有長毛遺物，也早叫人搜走了，還輪得到我？」
僕役獻上茶後，桑治平叫他們不要再上樓了，他要和總督商談要事。
「有一樁事，我事前沒有和你商量，自作主張地辦了，現在來向你請罪。」
「什麼事？」張之洞一時摸不著頭腦。
「兩個月前，我私自要江寧陸軍學堂派兩個機敏的學生到天津出了一趟差，前幾天回來了。」
「到天津去做什麼？」
「到天津小站去實地考察一下定武軍的訓練情況。」
「我以為什麼大事！」張之洞莞爾一笑。