Crawler-Logs von Vercel, Fastly oder deinem Server senden
Sieh KI-Crawler-Besuche auf jedem Host, wobei jeder Besuch anhand der veröffentlichten IP-Adressen des Crawlers geprüft wird, sodass gefälschte Bots separat gezählt werden.
Etwa 5 Minuten
Das brauchst du
- Ein Website-Projekt
- Zugriff auf die Einstellungen von Vercel oder Fastly oder auf das Access-Log deines Servers
- 1
Endpunkt in Searvia erstellen
Projekt › KI-Crawler
Öffne das Website-Projekt › KI-Crawler › Log-Quellen und wähle Vercel oder Fastly. Searvia zeigt eine private Adresse für diese Website.
- 2
Vercel
vercel.com
Öffne in Vercel Team Settings › Drains (Log Drains), füge einen Drain mit der Searvia-Adresse hinzu und wähle JSON sowie die Proxy-(Edge-)Logs. Füge den Verifizierungscode und das Signatur-Secret, die Vercel anzeigt, in Searvia ein, damit Anfragen signiert werden.
- 3
Fastly
manage.fastly.com
Öffne in Fastly deinen Service › Logging › HTTPS, füge die Searvia-Adresse als URL ein, setze die Methode auf POST und das in Searvia angezeigte Format (eine JSON-Zeile pro Anfrage).
- 4
Oder Logdatei hochladen
Lade von einem beliebigen Server ein nginx- oder Apache-Access-Log (Combined-Format) oder ein CloudFront-Standardlog hoch, unkomprimiert oder .gz, bis 50 MB.
- 5
Bericht lesen
Verifizierte Besuche, gefälschte Besuche, die Statuscodes für Crawler und die Seiten mit 404- oder 5xx-Fehlern. Seiten mit Fehlern erscheinen auch im Autopilot.
Das bekommst du
Der Nachweis, welche KI-Crawler deine Website wirklich lesen und an welchen Seiten sie scheitern, auf jedem Host.
- Nur Anfragen bekannter Such- und KI-Crawler werden behalten; andere Besucher werden sofort verworfen.
Auch per MCP:manage_site_health action=add_log_sourcemanage_site_health action=upload_crawler_log