Cloudflare testet Bezahlsystem für KI-Zugriff auf Webinhalte

Eine der umstrittensten Fragen mit Blick auf das rasante Wachstum von KI-Angeboten ist die Frage, woher diese ihre Informationen beziehen und ob das automatisierte Abgrasen von Nachrichtenseiten mit dem Ziel der kommerziellen Weiterverwertung rechtmäßig ist. Der Internetkonzern Cloudflare hat nun ein Angebot vorgestellt, das es den Betreibern von Webseiten ermöglichen soll, den Zugriff von KI-Crawlern auf ihre Inhalte zu monetarisieren.

Das neue Cloudflare-Produkt nennt sich Pay per Crawl und setzt auf bestehende Web-Standards und soll dem Anbieter zufolge eine Alternative zum bisherigen „Alles oder Nichts“-Prinzip im Umgang mit den automatisierten Anfragen von KI-Systemen schaffen. Gewöhnliche Besucher bleiben von diesen Maßnahmen ausgenommen, Cloudflare hat die technischen Möglichkeiten, KI-Bots bei einem Seitenbesuch zu identifizieren.

Alternative zu pauschaler Freigabe oder Blockade

Bisher hatten Webseiten-Betreiber die Wahl, ihre Inhalte entweder komplett freizugeben oder automatisierte Zugriffe – etwa durch KI-Modelle – grundsätzlich zu blockieren. Die neue Option von Cloudflare soll nun ergänzend die Möglichkeit schaffen, ausgewählte Inhalte nur gegen Bezahlung für die Roboter zugänglich zu machen.

Dabei greift das System auf den HTTP-Statuscode 402 („Payment Required“) zurück – eine bislang weitgehend ungenutzte Standardantwort im Internetprotokoll. Fordert ein KI-Crawler eine Ressource an, kann der Webserver künftig mitteilen, dass für den Zugriff ein Preis verlangt wird. Die Auslieferung der angeforderten Inhalte erfolgt dann nur, wenn eine Zahlungsabsicht übermittelt wird.

Technische Einbindung über Standardschnittstellen

Technisch basiert das Verfahren auf standardisierten HTTP-Headern und digitalen Signaturen. KI-Crawler, die an dem System teilnehmen wollen, müssen sich zuvor bei Cloudflare registrieren und ihren Datenverkehr signieren. Dies soll verhindern, dass sich andere Dienste als zahlungswillige Crawler ausgeben.

Website-Betreiber können dann entweder einzelne Crawler zulassen, blockieren oder eine einheitliche Preisstruktur für den Zugriff festlegen, wobei auch individuelle Ausnahmen möglich sind. Die Abrechnung erfolgt in der Folge automatisiert über Cloudflare.

Das Modell befindet sich zunächst in einer geschlossenen Testphase, für die sich die Ersteller von Inhalten und KI-Anbieter bewerben können.