KI-Crawler steuern: gute Bots durchlassen, den Rest an der Edge stoppen

Das eigentliche Problem ist nicht „Bots ja oder nein“

Seit KI-Trainings-Crawler das Web absuchen, steht in jedem zweiten Betriebsmeeting die Frage: Sollen wir Bots blocken? Das ist die falsche Frage. Ein pauschales Bot-Verbot sperrt auch den Suchmaschinen-Index, den Uptime-Monitor und den Zahlungs-Callback aus. Die richtige Frage lautet: Welcher automatisierte Zugriff ist legitim, welcher nimmt sich ohne Erlaubnis, was ihm nicht gehört — und wie unterscheidet man beide zuverlässig, bevor die Anfrage das Origin erreicht?

Genau diese Unterscheidung findet an der Edge statt, und sie stützt sich nicht auf den User-Agent-Header. Dieser Header ist eine Selbstauskunft: Jeder Scraper kann sich als Googlebot ausgeben. Wer KI-Crawler nach dem Namen im User-Agent filtert, filtert die ehrlichen und lässt die getarnten durch.

Warum User-Agent-Listen ins Leere laufen

Die klassische Abwehr ist eine robots.txt plus eine Blockliste bekannter Crawler-Namen. Beides ist ein Ehrenwort-System. robots.txt ist eine Bitte, keine Grenze — ein aggressiver Scraper liest sie höchstens, um zu erfahren, wo die interessanten Pfade liegen. Und eine Namensliste altert mit jedem neuen Crawler, der auftaucht, sowie mit jedem alten, der sich umbenennt oder maskiert.

Was tatsächlich trägt, ist ein Nachweis der Identität, den der Client nicht einfach behaupten, sondern beweisen muss. Für die guten Bots existiert dieser Nachweis bereits.

Verifizierte Bots beweisen, wer sie sind

Seriöse Betreiber signieren ihre Anfragen kryptografisch — mit Web Bot Auth, einem Verfahren, bei dem der Bot eine kryptografische HTTP-Nachrichtensignatur mitschickt, die sich gegen einen öffentlich hinterlegten Schlüssel prüfen lässt. Ein Bot, der eine gültige Signatur vorlegt, ist nachweislich der, für den er sich ausgibt — kein geratenes Vertrauen, sondern ein prüfbarer Beweis an der Edge.

Damit dreht sich die Logik um: Statt eine endlose Liste böser Namen zu pflegen, lässt man die verifizierbar guten passieren und behandelt den unsignierten Rest nach seinem Verhalten. Ein anonymer Crawler, der sich benimmt, bekommt seine Seiten; einer, der eine ganze Preisdatenbank in Minuten absaugt, läuft in eine Prüfung.

Die Challenge-Leiter statt der Holzhammer-Sperre

Unsignierter, aber verdächtiger automatisierter Zugriff wird nicht hart abgewiesen, sondern über eine abgestufte Challenge-Leiter geführt: erst ein Proof-of-Work, der für einen Browser billig, für eine massenhafte Scraping-Farm aber spürbar teuer ist; bei anhaltendem Verdacht ein CAPTCHA; und für die Clients, die sich ordentlich ausweisen können, eben Web Bot Auth. Wie diese Stufen ineinandergreifen, steht ausführlich in unserem Beitrag zur Challenge-Leiter.

Darüber liegt ein ML-Entity-Scoring, das eine Quelle nicht sofort sperrt, sondern durch detection → verify → enforce führt: Ein neues Signal muss sich erst bewähren, bevor es blocken darf. So fällt kein legitimer Partner-Integrationszugriff einer nervösen Heuristik zum Opfer.

Jede Entscheidung ist nachvollziehbar

Für einen deutschen Betreiber zählt nicht nur, dass geblockt wurde, sondern warum — und ob man es belegen kann. Jede Crawler-Entscheidung landet in einem unveränderlichen, nur-anfügenden Audit-Log: welche Quelle, welche Signaturprüfung, welche Stufe der Challenge-Leiter, welches Ergebnis. Das ist kein Nice-to-have, sondern die Grundlage dafür, gegenüber Datenschutz und Revision Rede und Antwort zu stehen. Die Verarbeitung bleibt dabei auf EU-Edge-Nodes (Hetzner, OVH, Scaleway) — Datensouveränität als Architekturvorgabe, nicht als Zusatzoption.

Ehrlich über die Grenzen

Wir behaupten nicht, jeden getarnten Scraper der Welt zu erkennen — das kann niemand seriös. Ein geduldiger Angreifer, der sich exakt wie ein Mensch bewegt und pro Stunde eine Seite zieht, ist teuer zu fangen und wird durchrutschen. Was wir liefern, ist die ökonomische Umkehrung: verifizierte gute Bots ohne Reibung, und für den Rest genug Kosten, dass großflächiges Absaugen sich nicht mehr rechnet. Die Filterung selbst bleibt in unserem Design-Budget von ≤5 ms; wie wir diese Zahl messen und kennzeichnen, steht in der Latenz-Methodik.

Wenn Sie steuern wollen, welche KI-Crawler Ihre Inhalte sehen — und es belegen können wollen —, nennen Sie uns Ihre Domain.