{"id":262183,"date":"2025-08-04T18:37:06","date_gmt":"2025-08-04T16:37:06","guid":{"rendered":"https:\/\/www.ifun.de\/?p=262183"},"modified":"2025-08-04T18:38:11","modified_gmt":"2025-08-04T16:38:11","slug":"verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen","status":"publish","type":"post","link":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/","title":{"rendered":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen"},"content":{"rendered":"<p>Der <a href=\"https:\/\/www.perplexity.ai\/\">KI-Dienst Perplexity<\/a> steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. <a href=\"https:\/\/www.ifun.de\/zeit-spiegel-bild-kein-zugriff-fuer-apple-intelligence-238628\/\">Derartige Regeln dienen dazu<\/a>, die Serverlast zu reduzieren oder sensible Inhalte zu sch\u00fctzen.<\/p>\n<p><a href=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-500x474.png\" alt=\"Perplexity App\" width=\"500\" height=\"474\" class=\"aligncenter size-medium wp-image-262184\" srcset=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-500x474.png 500w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-700x664.png 700w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-768x728.png 768w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-1536x1457.png 1536w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app.png 1860w\" sizes=\"auto, (max-width: 500px) 100vw, 500px\" \/><\/a><\/p>\n<p>In Tests konnte Cloudflare nachweisen, dass Perplexity nicht nur mit seinem offiziell deklarierten Crawler aktiv ist, sondern zus\u00e4tzlich einen alternativen Zugriff \u00fcber nicht n\u00e4her spezifizierte IP-Adressen und manipulierte Browserkennungen nutzt.<\/p>\n<p>Dabei kam unter anderem ein User Agent zum Einsatz, der den Browser Google Chrome auf einem Mac nachahmt. Diese Tarnung diene offenbar dazu, Zugriffsbeschr\u00e4nkungen zu umgehen. Nach Angaben von Cloudflare wurden t\u00e4glich mehrere Millionen solcher verdeckten Anfragen registriert.<\/p>\n<h2>Verhalten widerspricht g\u00e4ngigen Standards<\/h2>\n<p>Cloudflare sieht in der beobachteten Vorgehensweise einen <a href=\"https:\/\/blog.cloudflare.com\/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives\/\">klaren Versto\u00df gegen geltende Normen<\/a> im Umgang mit automatisierten Zugriffen. W\u00e4hrend seri\u00f6se Anbieter wie OpenAI ihre Bots eindeutig kennzeichnen, feste IP-Bereiche verwenden und sich an Zugriffsverbote halten, scheine Perplexity bewusst gegen diese Praxis zu versto\u00dfen. In einem Vergleichstest habe OpenAIs ChatGPT die Sperranweisungen respektiert und auf weitere Zugriffsversuche verzichtet.<\/p>\n<ul>\n<li><strong>7 von 10 Zugriffen:<\/strong> <a title=\"7 von 10 Zugriffen: KI-Bots sorgen f\u00fcr immer h\u00f6here Serverlasten\" href=\"https:\/\/www.ifun.de\/7-von-10-zugriffen-ki-bots-sorgen-fuer-immer-hoehere-serverlasten-246101\/\">KI-Bots sorgen f\u00fcr immer h\u00f6here Serverlasten<\/a><\/li>\n<li><strong>ZEIT, SPIEGEL, BILD, FAZ:<\/strong> <a title=\"ZEIT, SPIEGEL, BILD, FAZ: Kein Zugriff f\u00fcr Apple Intelligence\" href=\"https:\/\/www.ifun.de\/zeit-spiegel-bild-kein-zugriff-fuer-apple-intelligence-238628\/\">Kein Zugriff f\u00fcr Apple Intelligence<\/a><\/li>\n<\/ul>\n<p>Zur \u00dcberpr\u00fcfung des Verhaltens hatte Cloudflare mehrere neu registrierte Testseiten erstellt, die weder \u00f6ffentlich auffindbar waren noch in Suchmaschinen indexiert wurden. Trotzdem konnte Perplexity detaillierte Inhalte dieser Seiten ausgeben. Daraus schlie\u00dft Cloudflare, dass eine automatisierte Erfassung trotz Sperre erfolgt sein muss.<\/p>\n<h2>Schutzma\u00dfnahmen f\u00fcr Webseitenbetreiber<\/h2>\n<p>Cloudflare hat nach eigenen Angaben technische Gegenma\u00dfnahmen ergriffen. Neben der Entfernung von Perplexity aus der Liste verifizierter Bots wurden neue Erkennungsmuster in die Schutzsysteme integriert, um verdecktes Crawling zu unterbinden. Webseitenbetreiber, die <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\">Cloudflares Bot-Management<\/a> nutzen, sollen damit bereits gesch\u00fctzt sein. Au\u00dferdem k\u00f6nnen Regeln eingerichtet werden, die automatisierte Zugriffe herausfiltern oder deren Nutzer zu einer Best\u00e4tigung auffordern.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/vg06.met.vgwort.de\/na\/16d770a97fb349d683eabf5122fa2bb3\" width=\"1\" height=\"1\"  no-lazy class=\"tracking\"><\/p>\n","protected":false},"excerpt":{"rendered":"<a href=\"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/\"><img width=\"150\" height=\"150\" src=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-150x150.png\" class=\"alignright tfe wp-post-image\" alt=\"Perplexity App\" decoding=\"async\" loading=\"lazy\" \/><\/a><p>Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":262184,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[1],"tags":[3536,6562],"class_list":["post-262183","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","tag-ki","tag-perplexity"],"acf":[],"aioseo_notices":[],"featured_image":["https:\/\/images.ifun.de\/wp-content\/uploads\/2024\/10\/perplexity-app-feature.jpg"],"subheadline":["robots.txt konsequent ignoriert"],"rest_api_enabler":{"featured_image":"https:\/\/images.ifun.de\/wp-content\/uploads\/2024\/10\/perplexity-app-feature.jpg","subheadline":"robots.txt konsequent ignoriert"},"_links":{"self":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts\/262183","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/comments?post=262183"}],"version-history":[{"count":3,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts\/262183\/revisions"}],"predecessor-version":[{"id":262190,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts\/262183\/revisions\/262190"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/media\/262184"}],"wp:attachment":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/media?parent=262183"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/categories?post=262183"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/tags?post=262183"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}