吳宓原名吳玉衡，乳名禿子。「玉衡」為北斗七星之一。由於吳宓自小體弱，1901年，祖母大宴賓客，請吳宓的姑父、詩人陳伯瀾為孫子更名，以破除不祥，增強體質。不知是否酒後糊塗，陳伯瀾揮筆寫下「陀曼」二字，從此，吳玉衡也就變成了吳陀曼。
「吳宓」之名是吳宓1910年報考清華學校時自己所取。當時他隨手翻《康熙字典》，閉目一指，得一「宓」字，遂自稱「吳宓」。1912年春，清華學校因清廷倒台，民國改制而暫時休學，吳宓轉入上海聖約翰大學讀書。當時，聖約翰的一些同學嘲笑吳陀曼為北方「鄉下人」，他們趁吳陀曼課間外出，在黑板上寫下「糊塗men」（諧音吳陀曼）幾個字。從此，吳宓決定以後在發表言論的場合，使用「吳宓」，而不再用「吳陀曼」。
吳宓被同學嘲弄之事傳開後，一日的國文考試課上，國文老師龐先生提出要為「吳陀曼」改名。龐先生問，「陀曼」二字是否出自「曼陀羅」？吳宓回答，是。龐先生說，「曼陀羅」語出佛典，是名詞譯音，指的是「紅蓮花」。「曼陀」二字萬不可前後倒置。說罷，龐先生徑自在試卷上將「吳陀曼」改成了「吳曼陀」。課堂上，吳陀曼並未否決老師的建議，點頭稱是。但他的名字是祖母之命，姑父所取，得到了全家人的同意，弟妹都以「曼」字排行，怎敢輕易改動？所以，在以後的歲月里，吳宓不論走到哪裡，總是對人說起，他原名「吳陀曼」。
在哈佛大學讀書期間，吳宓結識了陳寅恪。陳告訴吳宓，「曼陀羅華」（Mandara）本是梵文名詞譯音，「曼陀」二字正如「威廉」、「亨利」，決不可顛倒為「廉威」、「利亨」，所以「陀曼」一名實在不通。
吳宓字「雨僧」，世人多認為此應出自蔣捷那首沉鬱感人的《虞美人·聽雨》：「而今聽雨僧廬下，鬢已星星也！」一句。