住宅街に建つ古い三階建てのアパートは，いつの頃からか住人がひとりずつ姿を消し，やがてすべての部屋が無人になった。それでも郵便だけは届き続け，郵便受けには前の住人宛ての封書があふれていた。管理会社の人間は定期的に中身を回収していたが，裁判所や警察署からの封筒まで放置される異様な光景に，少年である「僕」は強い違和感を覚える。 ある日，「僕」は一階の郵便受けに差し込まれた妙に厚い茶色の封筒を見つけ，好奇心から手に取ってしまう。差出人は空白で，宛名はかつてその部屋に住んでいた男のものだった。封筒には紙だけではないような湿った重みがあり，嗅ぐと古い押し入れと濡れた土が混じったような，甘く気味の悪いにおいがした。その夜から，「僕」はどこにいても誰かに見られているような感覚につきまとわれる。 数日後，アパートの郵便物はすべて消えるが，あの厚い封筒だけは誰かに持ち去られたように思えた。しばらくして，同じ部屋に再びよく似た厚い封筒が届く。その晩，アパートには警察車両が集まり，警察官と作業服姿の人間たちが一階の部屋から大きな袋を運び出していた。見物していた「僕」は，道路の向こうに立つ中年の男に気づく。男は最初から「僕」を見ており，封筒に触れたことを知っているかのように不気味に笑い，ゆっくりとうなずいて闇の中へ消えていく。 やがてアパートは立入禁止となり，半年ほどで取り壊される。「僕」はそれで終わったと思うが，更地になった跡地で再びあの茶色い封筒を見つける。その夜，夢の中にあの男が現れ，また黙ってうなずく。翌朝，自宅の郵便受けには昨日より少し厚い茶色の封筒が入っていた。そこに書かれていたのは「僕」の名前だった。しかも住所は自宅ではなく，取り壊される前のあのアパート一階の部屋番号になっていた。怪異は消えておらず，次の宛先として「僕」を選んだのだった。