{"id":262183,"date":"2025-08-04T18:37:06","date_gmt":"2025-08-04T16:37:06","guid":{"rendered":"https:\/\/www.ifun.de\/?p=262183"},"modified":"2025-08-04T18:38:11","modified_gmt":"2025-08-04T16:38:11","slug":"verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen","status":"publish","type":"post","link":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/","title":{"rendered":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen"},"content":{"rendered":"<p>Der <a href=\"https:\/\/www.perplexity.ai\/\">KI-Dienst Perplexity<\/a> steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. <a href=\"https:\/\/www.ifun.de\/zeit-spiegel-bild-kein-zugriff-fuer-apple-intelligence-238628\/\">Derartige Regeln dienen dazu<\/a>, die Serverlast zu reduzieren oder sensible Inhalte zu sch\u00fctzen.<\/p>\n<p><a href=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app.png\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-500x474.png\" alt=\"Perplexity App\" width=\"500\" height=\"474\" class=\"aligncenter size-medium wp-image-262184\" srcset=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-500x474.png 500w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-700x664.png 700w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-768x728.png 768w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-1536x1457.png 1536w, https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app.png 1860w\" sizes=\"auto, (max-width: 500px) 100vw, 500px\" \/><\/a><\/p>\n<p>In Tests konnte Cloudflare nachweisen, dass Perplexity nicht nur mit seinem offiziell deklarierten Crawler aktiv ist, sondern zus\u00e4tzlich einen alternativen Zugriff \u00fcber nicht n\u00e4her spezifizierte IP-Adressen und manipulierte Browserkennungen nutzt.<\/p>\n<p>Dabei kam unter anderem ein User Agent zum Einsatz, der den Browser Google Chrome auf einem Mac nachahmt. Diese Tarnung diene offenbar dazu, Zugriffsbeschr\u00e4nkungen zu umgehen. Nach Angaben von Cloudflare wurden t\u00e4glich mehrere Millionen solcher verdeckten Anfragen registriert.<\/p>\n<h2>Verhalten widerspricht g\u00e4ngigen Standards<\/h2>\n<p>Cloudflare sieht in der beobachteten Vorgehensweise einen <a href=\"https:\/\/blog.cloudflare.com\/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives\/\">klaren Versto\u00df gegen geltende Normen<\/a> im Umgang mit automatisierten Zugriffen. W\u00e4hrend seri\u00f6se Anbieter wie OpenAI ihre Bots eindeutig kennzeichnen, feste IP-Bereiche verwenden und sich an Zugriffsverbote halten, scheine Perplexity bewusst gegen diese Praxis zu versto\u00dfen. In einem Vergleichstest habe OpenAIs ChatGPT die Sperranweisungen respektiert und auf weitere Zugriffsversuche verzichtet.<\/p>\n<ul>\n<li><strong>7 von 10 Zugriffen:<\/strong> <a title=\"7 von 10 Zugriffen: KI-Bots sorgen f\u00fcr immer h\u00f6here Serverlasten\" href=\"https:\/\/www.ifun.de\/7-von-10-zugriffen-ki-bots-sorgen-fuer-immer-hoehere-serverlasten-246101\/\">KI-Bots sorgen f\u00fcr immer h\u00f6here Serverlasten<\/a><\/li>\n<li><strong>ZEIT, SPIEGEL, BILD, FAZ:<\/strong> <a title=\"ZEIT, SPIEGEL, BILD, FAZ: Kein Zugriff f\u00fcr Apple Intelligence\" href=\"https:\/\/www.ifun.de\/zeit-spiegel-bild-kein-zugriff-fuer-apple-intelligence-238628\/\">Kein Zugriff f\u00fcr Apple Intelligence<\/a><\/li>\n<\/ul>\n<p>Zur \u00dcberpr\u00fcfung des Verhaltens hatte Cloudflare mehrere neu registrierte Testseiten erstellt, die weder \u00f6ffentlich auffindbar waren noch in Suchmaschinen indexiert wurden. Trotzdem konnte Perplexity detaillierte Inhalte dieser Seiten ausgeben. Daraus schlie\u00dft Cloudflare, dass eine automatisierte Erfassung trotz Sperre erfolgt sein muss.<\/p>\n<h2>Schutzma\u00dfnahmen f\u00fcr Webseitenbetreiber<\/h2>\n<p>Cloudflare hat nach eigenen Angaben technische Gegenma\u00dfnahmen ergriffen. Neben der Entfernung von Perplexity aus der Liste verifizierter Bots wurden neue Erkennungsmuster in die Schutzsysteme integriert, um verdecktes Crawling zu unterbinden. Webseitenbetreiber, die <a href=\"https:\/\/developers.cloudflare.com\/bots\/additional-configurations\/block-ai-bots\/\">Cloudflares Bot-Management<\/a> nutzen, sollen damit bereits gesch\u00fctzt sein. Au\u00dferdem k\u00f6nnen Regeln eingerichtet werden, die automatisierte Zugriffe herausfiltern oder deren Nutzer zu einer Best\u00e4tigung auffordern.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/vg06.met.vgwort.de\/na\/16d770a97fb349d683eabf5122fa2bb3\" width=\"1\" height=\"1\"  no-lazy class=\"tracking\"><\/p>\n","protected":false},"excerpt":{"rendered":"<a href=\"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/\"><img width=\"150\" height=\"150\" src=\"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app-150x150.png\" class=\"alignright tfe wp-post-image\" alt=\"Perplexity App\" decoding=\"async\" loading=\"lazy\" \/><\/a><p>Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":262184,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[1],"tags":[3536,6562],"class_list":["post-262183","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","tag-ki","tag-perplexity"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO Pro 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Nicolas\"\/>\n\t<meta name=\"google-site-verification\" content=\"uH_IhWlZO-QDb51DGwVoGT_GCZmfJp98klL3XmbE3ow\" \/>\n\t<link rel=\"canonical\" href=\"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO Pro (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ifun.de | Apple-News seit 2001\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de\" \/>\n\t\t<meta property=\"og:description\" content=\"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2025-08-04T16:37:06+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2025-08-04T16:38:11+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/facebook.com\/ifun.de\" \/>\n\t\t<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n\t\t<meta name=\"twitter:site\" content=\"@ifun_news\" \/>\n\t\t<meta name=\"twitter:title\" content=\"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de\" \/>\n\t\t<meta name=\"twitter:description\" content=\"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren\" \/>\n\t\t<meta name=\"twitter:creator\" content=\"@ifun_news\" \/>\n\t\t<script type=\"application\/ld+json\" class=\"aioseo-schema\">\n\t\t\t{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#article\",\"name\":\"Verdecktes Crawling: Perplexity soll sich \\u00fcber Zugriffsregeln hinwegsetzen | ifun.de\",\"headline\":\"Verdecktes Crawling: Perplexity soll sich \\u00fcber Zugriffsregeln hinwegsetzen\",\"author\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/author\\\/admin\\\/#author\"},\"publisher\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/#organization\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/images.ifun.de\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/perplexity-app.png\",\"width\":1860,\"height\":1764,\"caption\":\"Perplexity App\"},\"datePublished\":\"2025-08-04T18:37:06+02:00\",\"dateModified\":\"2025-08-04T18:38:11+02:00\",\"inLanguage\":\"de-DE\",\"commentCount\":34,\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#webpage\"},\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#webpage\"},\"articleSection\":\"News, KI, Perplexity\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#breadcrumblist\",\"itemListElement\":[{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ifun.de#listItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.ifun.de\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/category\\\/news\\\/#listItem\",\"name\":\"News\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/category\\\/news\\\/#listItem\",\"position\":2,\"name\":\"News\",\"item\":\"https:\\\/\\\/www.ifun.de\\\/category\\\/news\\\/\",\"nextItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#listItem\",\"name\":\"Verdecktes Crawling: Perplexity soll sich \\u00fcber Zugriffsregeln hinwegsetzen\"},\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ifun.de#listItem\",\"name\":\"Home\"}},{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#listItem\",\"position\":3,\"name\":\"Verdecktes Crawling: Perplexity soll sich \\u00fcber Zugriffsregeln hinwegsetzen\",\"previousItem\":{\"@type\":\"ListItem\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/category\\\/news\\\/#listItem\",\"name\":\"News\"}}]},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/#organization\",\"name\":\"ifun.de\",\"description\":\"Apple-News seit 2001\",\"url\":\"https:\\\/\\\/www.ifun.de\\\/\",\"telephone\":\"+493057707123\",\"logo\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/images.ifun.de\\\/wp-content\\\/uploads\\\/2026\\\/02\\\/apple-touch-icon.png\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#organizationLogo\",\"width\":512,\"height\":512,\"caption\":\"Apple Touch Icon\"},\"image\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#organizationLogo\"},\"sameAs\":[\"https:\\\/\\\/facebook.com\\\/ifun.de\",\"https:\\\/\\\/x.com\\\/ifun_news\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/author\\\/admin\\\/#author\",\"url\":\"https:\\\/\\\/www.ifun.de\\\/author\\\/admin\\\/\",\"name\":\"Nicolas\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#webpage\",\"url\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/\",\"name\":\"Verdecktes Crawling: Perplexity soll sich \\u00fcber Zugriffsregeln hinwegsetzen | ifun.de\",\"description\":\"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \\u00fcber die Datei robots.txt ausdr\\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren\",\"inLanguage\":\"de-DE\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/#website\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#breadcrumblist\"},\"author\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/author\\\/admin\\\/#author\"},\"creator\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/author\\\/admin\\\/#author\"},\"image\":{\"@type\":\"ImageObject\",\"url\":\"https:\\\/\\\/images.ifun.de\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/perplexity-app.png\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#mainImage\",\"width\":1860,\"height\":1764,\"caption\":\"Perplexity App\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\\\/#mainImage\"},\"datePublished\":\"2025-08-04T18:37:06+02:00\",\"dateModified\":\"2025-08-04T18:38:11+02:00\"},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.ifun.de\\\/#website\",\"url\":\"https:\\\/\\\/www.ifun.de\\\/\",\"name\":\"ifun.de\",\"description\":\"Apple-News seit 2001\",\"inLanguage\":\"de-DE\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.ifun.de\\\/#organization\"}}]}\n\t\t<\/script>\n\t\t<!-- All in One SEO Pro -->\r\n\t\t<title>Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de<\/title>\n\n","aioseo_head_json":{"title":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de","description":"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren","canonical_url":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/","robots":"max-image-preview:large","keywords":"","webmasterTools":{"google-site-verification":"uH_IhWlZO-QDb51DGwVoGT_GCZmfJp98klL3XmbE3ow","miscellaneous":""},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#article","name":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de","headline":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen","author":{"@id":"https:\/\/www.ifun.de\/author\/admin\/#author"},"publisher":{"@id":"https:\/\/www.ifun.de\/#organization"},"image":{"@type":"ImageObject","url":"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app.png","width":1860,"height":1764,"caption":"Perplexity App"},"datePublished":"2025-08-04T18:37:06+02:00","dateModified":"2025-08-04T18:38:11+02:00","inLanguage":"de-DE","commentCount":34,"mainEntityOfPage":{"@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#webpage"},"isPartOf":{"@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#webpage"},"articleSection":"News, KI, Perplexity"},{"@type":"BreadcrumbList","@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#breadcrumblist","itemListElement":[{"@type":"ListItem","@id":"https:\/\/www.ifun.de#listItem","position":1,"name":"Home","item":"https:\/\/www.ifun.de","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ifun.de\/category\/news\/#listItem","name":"News"}},{"@type":"ListItem","@id":"https:\/\/www.ifun.de\/category\/news\/#listItem","position":2,"name":"News","item":"https:\/\/www.ifun.de\/category\/news\/","nextItem":{"@type":"ListItem","@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#listItem","name":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen"},"previousItem":{"@type":"ListItem","@id":"https:\/\/www.ifun.de#listItem","name":"Home"}},{"@type":"ListItem","@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#listItem","position":3,"name":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen","previousItem":{"@type":"ListItem","@id":"https:\/\/www.ifun.de\/category\/news\/#listItem","name":"News"}}]},{"@type":"Organization","@id":"https:\/\/www.ifun.de\/#organization","name":"ifun.de","description":"Apple-News seit 2001","url":"https:\/\/www.ifun.de\/","telephone":"+493057707123","logo":{"@type":"ImageObject","url":"https:\/\/images.ifun.de\/wp-content\/uploads\/2026\/02\/apple-touch-icon.png","@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#organizationLogo","width":512,"height":512,"caption":"Apple Touch Icon"},"image":{"@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#organizationLogo"},"sameAs":["https:\/\/facebook.com\/ifun.de","https:\/\/x.com\/ifun_news"]},{"@type":"Person","@id":"https:\/\/www.ifun.de\/author\/admin\/#author","url":"https:\/\/www.ifun.de\/author\/admin\/","name":"Nicolas"},{"@type":"WebPage","@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#webpage","url":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/","name":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de","description":"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren","inLanguage":"de-DE","isPartOf":{"@id":"https:\/\/www.ifun.de\/#website"},"breadcrumb":{"@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#breadcrumblist"},"author":{"@id":"https:\/\/www.ifun.de\/author\/admin\/#author"},"creator":{"@id":"https:\/\/www.ifun.de\/author\/admin\/#author"},"image":{"@type":"ImageObject","url":"https:\/\/images.ifun.de\/wp-content\/uploads\/2025\/08\/perplexity-app.png","@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#mainImage","width":1860,"height":1764,"caption":"Perplexity App"},"primaryImageOfPage":{"@id":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/#mainImage"},"datePublished":"2025-08-04T18:37:06+02:00","dateModified":"2025-08-04T18:38:11+02:00"},{"@type":"WebSite","@id":"https:\/\/www.ifun.de\/#website","url":"https:\/\/www.ifun.de\/","name":"ifun.de","description":"Apple-News seit 2001","inLanguage":"de-DE","publisher":{"@id":"https:\/\/www.ifun.de\/#organization"}}]},"og:locale":"de_DE","og:site_name":"ifun.de | Apple-News seit 2001","og:type":"article","og:title":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de","og:description":"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren","og:url":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/","article:published_time":"2025-08-04T16:37:06+00:00","article:modified_time":"2025-08-04T16:38:11+00:00","article:publisher":"https:\/\/facebook.com\/ifun.de","twitter:card":"summary_large_image","twitter:site":"@ifun_news","twitter:title":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen | ifun.de","twitter:description":"Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese \u00fcber die Datei robots.txt ausdr\u00fccklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu, die Serverlast zu reduzieren","twitter:creator":"@ifun_news"},"aioseo_meta_data":{"post_id":"262183","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"Article","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"open_ai":null,"ai":null,"created":"2026-02-23 19:34:35","updated":"2026-02-23 19:34:35"},"aioseo_breadcrumb":"<div class=\"aioseo-breadcrumbs\"><span class=\"aioseo-breadcrumb\">\n\t<a href=\"https:\/\/www.ifun.de\" title=\"Home\">Home<\/a>\n<\/span><span class=\"aioseo-breadcrumb-separator\">&raquo;<\/span><span class=\"aioseo-breadcrumb\">\n\t<a href=\"https:\/\/www.ifun.de\/category\/news\/\" title=\"News\">News<\/a>\n<\/span><span class=\"aioseo-breadcrumb-separator\">&raquo;<\/span><span class=\"aioseo-breadcrumb\">\n\tVerdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen\n<\/span><\/div>","aioseo_breadcrumb_json":[{"label":"Home","link":"https:\/\/www.ifun.de"},{"label":"News","link":"https:\/\/www.ifun.de\/category\/news\/"},{"label":"Verdecktes Crawling: Perplexity soll sich \u00fcber Zugriffsregeln hinwegsetzen","link":"https:\/\/www.ifun.de\/verdecktes-crawling-perplexity-soll-sich-ueber-zugriffsregeln-hinwegsetzen-262183\/"}],"featured_image":["https:\/\/images.ifun.de\/wp-content\/uploads\/2024\/10\/perplexity-app-feature.jpg"],"subheadline":["robots.txt konsequent ignoriert"],"rest_api_enabler":{"featured_image":"https:\/\/images.ifun.de\/wp-content\/uploads\/2024\/10\/perplexity-app-feature.jpg","subheadline":"robots.txt konsequent ignoriert"},"_links":{"self":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts\/262183","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/comments?post=262183"}],"version-history":[{"count":3,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts\/262183\/revisions"}],"predecessor-version":[{"id":262190,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/posts\/262183\/revisions\/262190"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/media\/262184"}],"wp:attachment":[{"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/media?parent=262183"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/categories?post=262183"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ifun.de\/apiv2\/wp\/v2\/tags?post=262183"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}