鯨崎町海邊的懸崖下有一個大人們不曾涉足的地方，那是孩子們的秘密基地，一家由魔法師經營的當鋪。 這家常鋪不能典當金銀珠寶、名書鑽表，只能典當「回憶」。在二十歲前，每個人都可以把回憶寄放在這裡，換取金錢，也可以將回憶贖回。不過，一旦過了二十歲生日，就會忘記關於當鋪的一切。當然，也包括沒被贈回的回憶。 永澤里華，鯨崎國中校刊社的新社長。為了採訪魔法師，里華來到「回憶當鋪」，並因此結識了三不五時就來典當回憶的小學生芋川遙斗。一次與魔法師的閑談中，里華得知同班同學白土芽依幾乎天天到當鋪典當不愉快的回憶…...