VinopanoramaBot
O VinopanoramaBot é o rastreador por trás da Vinopanorama, um diretório multilingue e gratuito de visitas a adegas e provas na Europa. Só visita os sites de adegas que já constam na Vinopanorama, para manter as fichas exatas: estado de abertura, visitas e provas oferecidas, preços e idiomas das visitas.
Como se comporta
- Respeita o
robots.txt, incluindoCrawl-delay, para os gruposVinopanoramaBote*. - Ritmo limitado: cerca de um pedido por segundo por domínio, com um tempo limite de 15 segundos por pedido.
- Limites rigorosos: no máximo 2 MB descarregados por página e no máximo 400 KB de texto guardados para processamento.
- As páginas descarregadas são cópias de trabalho internas usadas para extrair factos; nunca são republicadas.
- Identifica-se em cada pedido:
VinopanoramaBot/0.1 (+https://vinopanorama.com/bot).
Bloqueio ou perguntas
Para o excluir por completo, acrescente isto ao seu robots.txt:
User-agent: VinopanoramaBot Disallow: /
Perguntas, correções ou pedidos de remoção: veja a página de contactos. A ficha da sua adega é o caminho mais rápido, e cada pedido é analisado por uma pessoa.