ぼら納屋は寛永3年（1627年）に紀伊家（現在の和歌山付近）が建築し その後数度増改築が行われた。 ここのボラ漁業は徳川幕府の保護をもとに 紀伊家直営で操業され、ぼらが回遊するころ （3月～5月、9月～11月）には村人が住み込み船や 網の手入れをしながら、ホラ貝や旗を合図に百人以上の 村人たちが勇壮に出漁した根拠地である ここでとれたぼらは遠く江戸城にも運ばれ徳川三代将軍家光公の 食膳を賑わしたとも伝えられています。