耽是沉浸、沉戀、入迷了，以致別人叫也聽不見，叫耽，所以耽是耳字旁。寓是寄託，玩市是熱鬧的集市、遊玩的場所，相當於現代的購物中心。「耽讀玩市」是在噪雜的市場里還能潛心讀書，對外面的一切境界充耳不聞，這個典故說的是東漢學者王充。「寓目囊箱」也是說，在王充眼裡只有書囊和書箱，除此而外，視而不見，聽而不聞。
王充是東漢著名的唯物論思想家，字仲任，會稽上虞（今浙江上虞）人。早年曾入太學受業，師事班彪，博通百家言。年輕時遊學洛陽，因家境不富，買不起書，便經常到書肆站立著讀書，可以過目成誦。他曾做過小官，但不久就辭官回鄉，一面教書，一面著書立說。他以畢生心血寫下四部哲學巨著：《譏俗》、《政務》、《養生》、《論衡》，但保留下來的只有《論衡》一部。
《論衡》八十五篇，是王充用了三十年心血才完成的，被稱為奇書。公元189年蔡邕來到浙江，看到《論衡》一書如獲至寶，密藏而歸。蔡邕的友人發現他自浙江回來以後，學問突有大進，猜想他可能得了奇書，便去尋找。果然在他帳間隱蔽處發現了《論衡》一書，搶了幾卷就走。蔡邕急忙叮囑：「此書只能你我共讀，千萬不要外傳」。友人讀後亦稱，真乃其書也。