spippbot

spippbot ist der Crawler von spipp.com. User-Agent: spippbot/0.1 (+https://spipp.com/bot).

Regeln

spippbot beachtet robots.txt (RFC 9309) inklusive Crawl-delay, meta robots (noindex, nofollow), rel=nofollow und Canonical-Angaben. Standardmäßig wird pro Host höchstens eine Seite alle 2 Sekunden abgerufen; bei Fehlern (429, 5xx) wartet der Crawler zunehmend länger.

spippbot umgeht keine Anmeldungen, Paywalls oder CAPTCHAs und ruft keine privaten Netzwerkadressen ab.

Ausschließen

Mit „User-agent: spippbot“ und „Disallow: /“ in der robots.txt wird die gesamte Website ausgeschlossen.