Cloudflare lässt Websites KI-Bots mit ‚Pay Per Crawl‘ zur Kasse bitten

Cloudflare bietet Verlagen eine neue Option: Sie können AI-Bots für das Durchsuchen ihrer Seiten mittels eines wiederbelebten HTTP 402 Zahlungssystems zur Kasse bitten.

Durch ihr neues „Pay Per Crawl„-System können Website-Besitzer AI-Bots für den Zugriff auf ihre Inhalte zur Kasse bitten. Das System bietet Verlegern eine alternative Herangehensweise zu ihrer derzeitigen Zweioptionen-Politik, die entweder AI-Datenscraping zulässt oder den AI-Zugriff vollständig blockiert.

„Viele Verleger, Content-Ersteller und Website-Besitzer fühlen sich derzeit so, als hätten sie eine binäre Wahl – entweder sie lassen die Haustür weit offen für KI, um alles zu konsumieren, was sie erstellen, oder sie erschaffen ihren eigenen abgeschotteten Garten“, sagte Cloudflare. „Aber was wäre, wenn es einen anderen Weg gäbe?“

Mit Pay Per Crawl können Content-Ersteller nun entscheiden, wer herein kommt und zu welchem Preis. Sie können einige KI-Crawler kostenlos hereinlassen, andere vollständig blockieren oder den Zugang berechnen. „Wir wollten, dass Content-Ersteller die Kontrolle darüber haben, wer auf ihre Arbeit zugreift“, sagte Cloudflare. „Die Schöpfer sollten auf dem Fahrersitz sein.“

Der Schritt erfolgt vor dem Hintergrund einer zunehmenden Gegenreaktion gegen KI-Unternehmen, die Webinhalte ohne Zustimmung verwenden. So wurde zum Beispiel YouTube dafür kritisiert, dass es Google erlaubt hat, Videos zu scrapen, ohne die Ersteller zu benachrichtigen. Zusätzlich hat die KI-Übersichtsfunktion von Google den Traffic zu Nachrichtenseiten wie der HuffPost und The Washington Post um mehr als 50% reduziert.

„Google nimmt einfach Inhalte mit Gewalt und verwendet sie ohne Gegenleistung – die Definition von Diebstahl“, sagte Danielle Coffey, Präsidentin der News/Media Alliance.

Das Tool funktioniert mit einem alten Web-Feature: dem HTTP-Antwortcode 402, der für „Zahlung erforderlich“ steht. Wenn ein AI-Bot versucht, auf eine Seite zuzugreifen, kann der Server nun mit einem 402 antworten und einen Preisaufkleber einfügen. Wenn der Bot einverstanden ist zu zahlen, liefert der Server den Inhalt.

Cloudflare stellt die technische Infrastruktur bereit und kümmert sich um die Zahlungsabwicklung. Verlage können einen festen Preis pro Crawl-Anfrage festlegen und sogar unterschiedliche Regeln für verschiedene Bots anwenden. Selbst wenn ein Bot nicht bei Cloudflare registriert ist, kann ihm trotzdem eine „Gebühr“ auferlegt werden – im Grunde den Zugang blockierend, aber Raum für zukünftige Vereinbarungen lassend.

Dieses System könnte in Zukunft zu flexibleren Lizenzierungen und dynamischer Preisgestaltung führen. Wie Cloudflare es ausdrückt: „Indem wir den Schöpfern einen robusten, programmatischen Mechanismus zur Bewertung und Kontrolle ihrer digitalen Vermögenswerte bieten, ermöglichen wir ihnen, weiterhin den reichen, vielfältigen Inhalt zu schaffen, der das Internet unschätzbar macht.“