Vinopanorama

VinopanoramaBot

VinopanoramaBot to robot indeksujący stojący za Vinopanoramą, darmowym wielojęzycznym katalogiem wizyt w winnicach i degustacji w Europie. Odwiedza wyłącznie strony winnic, które już figurują w Vinopanoramie, aby wpisy były dokładne: status otwarcia, oferowane wizyty i degustacje, ceny oraz języki oprowadzania.

Jak się zachowuje

  • Przestrzega robots.txt, w tym Crawl-delay, dla grup VinopanoramaBot i *.
  • Ograniczone tempo: około jedno zapytanie na sekundę na domenę, z limitem 15 sekund na zapytanie.
  • Ścisłe limity: najwyżej 2 MB pobrane na stronę i najwyżej 400 KB tekstu zachowane do przetwarzania.
  • Pobrane strony to wewnętrzne kopie robocze służące do wydobywania faktów; nigdy nie są ponownie publikowane.
  • Przedstawia się w każdym zapytaniu: VinopanoramaBot/0.1 (+https://vinopanorama.com/bot).

Blokowanie i pytania

Aby całkowicie go wykluczyć, dodaj do swojego robots.txt:

User-agent: VinopanoramaBot
Disallow: /

Pytania, poprawki lub prośby o usunięcie: zobacz stronę kontaktową. Strona Twojej winnicy to najszybsza droga, a każdą prośbę rozpatruje człowiek.