VinopanoramaBot
VinopanoramaBot è il crawler di Vinopanorama, una directory multilingue e gratuita di visite in cantina e degustazioni in Europa. Visita solo i siti delle cantine già presenti su Vinopanorama, per mantenere accurate le schede: stato di apertura, visite e degustazioni offerte, prezzi e lingue delle visite.
Come si comporta
- Rispetta
robots.txt, inclusoCrawl-delay, per i gruppiVinopanoramaBote*. - Frequenza limitata: circa una richiesta al secondo per dominio, con un timeout di 15 secondi per richiesta.
- Limiti rigidi: al massimo 2 MB scaricati per pagina e al massimo 400 KB di testo conservati per l’elaborazione.
- Le pagine scaricate sono copie di lavoro interne usate per estrarre dati; non vengono mai ripubblicate.
- Si identifica in ogni richiesta:
VinopanoramaBot/0.1 (+https://vinopanorama.com/bot).
Blocco o domande
Per escluderlo del tutto, aggiungi questo al tuo robots.txt:
User-agent: VinopanoramaBot Disallow: /
Domande, correzioni o richieste di rimozione: vedi la pagina contatti. La scheda della tua cantina è la via più rapida, e ogni richiesta è esaminata da una persona.