1919年11月20日，劉師培因患肺結核，醫藥罔效，病逝於北京，年僅三十六歲。臨逝前，他派人把黃侃叫至病榻前，「十分吃力地在枕頭箱子里找出一部手抄本遞到黃（侃）的手裡」，並囑咐道：「這是我畢生研究得來的音韻學秘本，今天送給你作為臨別紀念，望你繼承下來，然後把它再傳之後代。」
劉師培與妻子何震曾育有一女，不幸夭折，膝下荒涼，身後極為蕭條。陳獨秀在喪禮上致悼詞，總結劉師培一生功過，在場師生無不為之唏噓。陳獨秀最後引用康有為的詩句悼念劉師培：「曲徑危橋都歷遍，出來依舊一吟身」。
據說，劉師培的遺稿存放在黃侃處；又有說法稱，劉的遺稿由何震交給了劉文典。劉師培去世後，其主要著作由南桂馨、錢玄同等人搜集整理，編成《劉申叔先生遺書》。
《劉申叔先生遺書》中並沒有收錄劉師培交給黃侃的遺稿。到1928年時，黃侃還承認自己藏有劉稿，但到1934年底便「茫無端緒」了。有研究者認為，此時可能與黃侃藏書遭竊有關。「一·二八」事變發生後，黃侃搬遷，倉促中裝了八卡車書，運到采石磯暫存，不料被當地居民盜出，當作廢紙賣了。有學者猜測，可能劉師培的遺稿也一同被竊。倘若如此，又是學術界一大憾事。