袁世凱沒有聽從各方勸阻，更不顧及天下人反對，終於於1915年12月12日申令承認帝位，13日在中南海居仁堂接受百官朝賀，預定於1916年元旦登基。
中國又出現了皇帝--洪憲。徐世昌病了。
徐世昌已經許多天不進政事堂理事了。他對外說自己患了一種很討厭的病：全身不適，疲倦無力，每日傍晚和入夜便發低熱，睡倒床上出汗，有時衣服浸濕，並有衰竭感，近日加重了，出現咳嗽不止。還咯粘液痰。昨天早晨，一陣咳嗽之後，咯出的痰中還夾帶血絲，請醫生看看，說他是患了肺結核病。
徐世昌患了肺病，他便給袁世凱遞了一份辭呈，說明病情，"請准去職治療。"
袁世凱正是用人之際，徐世昌又同他關係不一般，他哪能讓他走。於是，派大員去探病，同時退回了"辭呈"，告訴他"好好休息，安心治病"。
袁世凱挽留徐世昌的事，兒子袁克定知道了。許多日子以來，袁克定正因為徐不支持帝制而有點惱恨他，便匆匆走到老爹面前，說："大爺，徐伯既然已經決心愿為清室逸臣，你就成全他吧，何必強人所難!"
袁世凱瞪了兒子一眼，本想大聲斥他幾句，"你懂個屁!"可卻沒有出口，只揮揮手讓他去了。袁世凱明白，爭得徐世昌支持他的帝制，且能為帝制效力，等於征服了千軍萬馬!能有徐世昌這個抵得上千軍萬馬的人為他效力，他的帝位才能坐牢!
就在袁世凱極力挽留徐世昌的時候，京城忽然謠言四起，說"段祺瑞將舉起義旗，討伐帝制。"還說，"為段氏主謀的，便是袁世凱的宰相徐世昌!"袁世凱不相信這個謠言，"段芝泉(段祺瑞號芝泉)、徐菊人是我多年知心，他們怎麼會起來反我呢?果有意見，他們是會善意地面談的。"然而，他又想："傳言不無道理，中南海居仁堂百官朝賀時，不光徐世昌不到，段祺瑞也未到。段祺瑞不來朝賀，說明他不承認、不支持帝制，不支持就要反對。反對--舉兵討伐......"袁世凱有些心驚了："假若段、徐合謀反我，比什麼敵人都厲害，我肯定鬥不過他們。再說，自己人反對我，防不勝防，我不能坐以待斃，我要......"要怎麼樣?他一時競想不出對策。無論段祺瑞還是徐世昌，他們都是袁世凱多年來最親信的人，素來言聽計從，唯獨在帝制問題上，這兩個人都是極端反對的。袁世凱徵求過段祺瑞的意見，段祺瑞不僅不表示贊同，連陸軍部的班也不去上了，索性躲了起來；袁世凱把徐世昌找到面前，問他"知道外間(對帝制)傳言嗎?"徐世昌明明知道，卻再三搖頭。袁世凱頗為動怒地說："外間宣傳日久，你哪能不知道呢?"徐世昌也不示弱，大聲反駁："知之為知之，不知為不知。"袁世凱再讓兒子去試探，他競說了句"聽諸君好自為之"的話，現在好，要養病辭官不幹了。袁世凱猛然覺得"段徐聯合反帝制"的謠言並非空穴來風。他心跳了，害怕了，"不能讓老虎躺在身邊!"袁世凱終於答應了徐世昌"病辭"，並派專人前往慰籍，傳過話說："菊人兄就在天津養病吧，一來是我有事可以請教，二來也免得為黨人暗算。"
徐世昌離開政事堂了，他親筆題的《後樂堂》匾額並沒有帶走。
不過，他沒有聽袁世凱的規勸回天津，而只是回到座落在東四五條鐵匠營自己的北京家中。
袁世凱成為中華帝國的皇帝了，改年號元"洪憲"。這一年，袁世凱58歲。
黃袍加身的袁世凱，春風得意，昏昏然然，成為稱孤道寡的真龍天子。昏然了幾天之後，忽然對徐世昌這箇舊友又懷念起來。相交已久，相助極大，自己成了九五之尊，朋友這個位置怎麼安排呢?讓他做"洪憲"的官，他肯定不幹；讓他做"洪憲"的臣民，袁世凱又覺說不過去。悶坐居仁堂好久，總覺得應該給這位"布衣昆弟"點什麼冠戴才好，要不，人家不是會說他太負義了嗎?給什麼呢?思來想去，決定將徐世昌和其他三位"兩朝元老"趙爾巽、李經義和張謇並封為"嵩山四友"。這是一份什麼樣的待遇?各有說法：袁世凱在加封的申令上說："自古創業之主，類皆眷懷放舊，略分言情。布衣昆季之歡，太只客星之奏"，似乎表明是"其喻予懷"的。趙、李、張三人則默不作聲，但也不領封，更不"謝恩"；徐世昌十分冷漠地對他人說："所謂嵩山四友，即永不敘用之意。"所以，他也推謝了。大約是袁世凱覺得"賞賜"低了，對不起朋友，加封申令之後，又由政事堂頒布優禮諸條，免"嵩山四友"稱臣跪拜；賞乘期輿，至內宮換乘肩輿；皇帝臨朝時，四友在勤政等殿，得設矮几以坐；每人給年薪金兩萬元；賞各種朝服，等等。徐世昌一切都淡然，推謝不變，回到鐵匠營家中，便自題"談風月館"一匾，懸於書齋，下決心閑賦，不問政治。
徐世昌的東四五條鐵匠營私宅，是唐紹儀以重價購置，並進行了華麗裝飾之後贈送給徐世昌的，是為了報答這位東三省總督任上"關照"他這位巡撫的酬謝，也是為向這位盟兄獻殷勤的表示，這是一座屬於上等式的北京四合院。徐世昌掛出了"談風月館"的匾額即是向世人告誡：我這裡只談風花雪月了，志同者歡迎，恕不接待政客!
徐世昌歷來以"文人"自居，功名之外，素以詩文風雅為點綴。他的字寫得還可以，最早作館閣書體，中年寫蘇黃，平生最厭碑文體，從不臨摹；想習畫，卻一直不入門。他很喜歡置磁藏硯，尤喜收藏端硯，之外，還常常和友人一起吟詩著文，有一大群詩文朋友。說起徐氏的學問，仔細品來，卻也平平。時人評他，只學了點俗學，對於正兒八經的儒文卻研究不深，少年時只學了點八比試帖小楷，很少習學律賦，只能寫些四六排偶，為賀吊箋啟，後來人了翰林院，才開始讀研點古近禮詩。他有一位所謂的詩友叫徐花農，杭州人。曾對人談起徐的詩文，只用了五個字："拙俗不足道"。他在翰林院將近十年，絕無文詩譽鄉人。當時的人把翰林院的編修分列為八紅八黑(紅者有才學之士，黑者是拙俗之輩)，徐世昌則是八黑之一。到奉天做了總督，章疏文牘也都是僚屬所稿，偶爾與文友和詩對聯，大多是庸淺僅能諧韻。
徐世昌在自己的"談風月館"沒有等到文友來同他談風說月，第一個來訪的，卻是武將之首的段祺瑞。段祺瑞微服簡從，叩開鐵匠營徐宅大門時，竟被內侍阻攔；徐世昌不得已出迎時，卻不認識了。"芝泉，你怎麼這個模樣了?"
段祺瑞說："菊帥印象中的芝泉是個武夫。現在，無兵領了，成了平民百姓，連故人也不相識了。"
二人相對笑了。
徐世昌和段祺瑞，是被時人稱為袁世凱的"文武膀臂"的。但是，帝制議起，這兩個人都和袁離心離德了：段祺瑞放著陸軍部總長不幹，到西山"休息"了，徐世昌以"肺病"辭退了國務卿，現在，這兩個人都算"在野"了。大約是出於"靈犀相通"，在野的陸軍總長才匆匆趕來拜訪在野的政事堂國務卿。二人對座，香茶應酬，似乎都有許多話要說，但卻又都不開口--比徐世昌小了整整十歲的段祺瑞，自從1896年被袁世凱從北洋軍械局調到天津小站新建陸軍任炮隊統帶兼隨營學堂監督起，就跟袁世凱結下了生死之緣，並且隨著袁的"水漲"在"船高"，被稱為袁世凱手下龍虎狗"三傑"中"虎"傑的。袁保舉了他，他為袁立下過汗馬功勞，遠的不說，武昌之義以後，他就為袁的復出、奪位立了奇功。武昌首義，他被朝廷從江蘇江浦江北提督加侍郎任上調回北京，任第二軍軍統、署湖廣總督兼任第一軍軍統又兼領湖北前線各軍，讓他去平息"武昌之亂"。可他，為了袁世凱的復出，就是按兵不動，這就為袁取得內閣總理大臣立了功勞；1912年1月，又是段祺瑞領銜率北洋四十二名將領聯名電請清室退位，實行共和，又為袁奪總統大位立了功勞；袁世凱在鎮壓"二次革命"中，又是段祺瑞為他打了先鋒，袁世凱沒有忘了他，"二次革命"之後，便讓他署理湖北都督兼領河南都督；1914年6月又授於將軍府建威上將軍兼管將軍府事務。此刻，袁世凱夢般地醒悟了，覺得段軍權太大了，他將無法控制，於是，將軍府之外，袁世凱又成立一個以自己為首的"海陸軍大元帥統率辦事處"，把陸軍大權收到自己手中。段祺瑞失寵了，他只是袁氏"海陸軍大元帥統率辦事處"的一個辦事員，他心裡涼了。袁世凱大肆活動帝制，使軍權旁落的段祺瑞十分反感，因而，便借故"有病"不理軍事，其境況，和徐世昌有極其相似處。
"芝泉，"徐世昌以主人身份先開了腔。"這一段身體還好?""二身輕了，百病皆無。"段祺瑞微笑。
"西山是個好地方，我也想到那裡去住住。"徐世昌捧起茶，沒有喝，忽然想敘說西山之美了。"聽說是三面青峰環抱，南面敞向平原，林木茂密，野草清香，奇石嶙澗，泉水清清，還有八座古廟分布在翠微、平坡、盧師三山之間，真是個誘人的地方!"
段祺瑞笑了，"天下名山僧佔多!和尚們都會享清福，