![\"Declaring](\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/01\/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click.png\")
<\/a><\/p>\nChatGPT & Co.: Wie gierige Staubsauger im Internet unterwegs<\/h6>\n
Ein beeindruckendes Beispiel kommt aus Deutschland<\/a>: In den vergangenen 60 Tagen wurden 11,3 Millionen Anfragen auf die Webressourcen des Projekts registriert. Dies entspreche einer durchschnittlichen Anfragelast von 2,19 Aufrufen pro Sekunde.<\/p>\n Ein Blick auf die Herkunft dieser Anfragen zeige, dass ein Gro\u00dfteil nicht von menschlichen Nutzern, sondern von sogenannten Bots stamme. Angef\u00fchrt werde die Liste von GPTBot, einem Crawler, der ChatGPT-Macher von OpenAI. Dieser sei f\u00fcr nahezu ein Viertel des gesamten Traffics verantwortlich. Weitere Bots, wie Amazonbot mit knapp 1,7 Millionen Anfragen (14,9 Prozent) oder ClaudeBot, machten ebenfalls einen signifikanten Anteil aus. Zusammen verursachten die meistgenutzten Crawler laut Betreiber rund 70 Prozent des gesamten Datenverkehrs.<\/p>\n Die Betreiber kritisieren insbesondere das Verhalten dieser Bots. Diese w\u00fcrden die gleichen Seiten in kurzen Intervallen immer wieder aufrufen \u2013 oft im Abstand von nur wenigen Stunden. Vorgaben in der Datei robots.txt<\/i>, die Webcrawlern die Indexierung bestimmter Bereiche untersagen sollen, w\u00fcrden von vielen dieser Bots ignoriert. Zudem sei festgestellt worden, dass sie selbst auf weitgehend irrelevante Inhalte wie Versionshistorien von Wikiseiten zugreifen und dabei Datenbank- und Serversysteme stark beanspruchten.<\/p>\n Versuche, den Datenverkehr dieser Bots durch Zugangsbeschr\u00e4nkungen<\/a> oder Filter einzud\u00e4mmen, seien wenig erfolgreich. Die Bots w\u00fcrden ihre IP-Adressen regelm\u00e4\u00dfig \u00e4ndern und k\u00f6nnten ihre Identit\u00e4t durch ge\u00e4nderte Angaben in den Benutzeragenten verschleiern.<\/p>\n Im Gegensatz dazu verhielten sich klassische Suchmaschinenbots wie Googlebot oder Bingbot deutlich zur\u00fcckhaltender. Diese machten zusammen weniger als 0,3 Prozent des Traffics aus und beschr\u00e4nkten ihre Aktivit\u00e4t auf sinnvollere Bereiche der Webseite.<\/p>\n Der Betreiber des Projekts bezeichnet die Situation als problematisch, da die anhaltend hohe Serverlast zu Leistungseinbu\u00dfen und zeitweiligen Ausf\u00e4llen f\u00fcr menschliche Nutzer f\u00fchre. Eine effektive L\u00f6sung zur Begrenzung der Crawler-Aktivit\u00e4t stehe derzeit offenbar nicht zur Verf\u00fcgung. Allerdings arbeiten erste Anbieter bereits an entsprechenden L\u00f6sungen. Cloudflare etwa besitzt inzwischen gesonderte Einstellungen zum Blockieren von KI-Crawlern<\/a>.<\/p>\n7 von 10 Zugriffen durch KI-Crawler<\/h2>\n
<\/a><\/p>\nCloudflare visualisiert die Zunahmen von KI-Crawlern<\/h6>\n
Anhaltend hohe Serverlast<\/h2>\n
\n