Verdecktes Crawling: Perplexity soll sich über Zugriffsregeln hinwegsetzen
Der KI-Dienst Perplexity steht in der Kritik, sich nicht an etablierte Regeln zur automatisierten Datenerfassung im Internet zu halten. Wie der Netzwerk-Dienstleister Cloudflare berichtet, soll Perplexity auch dann auf Inhalte von Webseiten zugreifen, wenn diese über die Datei robots.txt ausdrücklich untersagen, von automatisierten Programmen durchsucht zu werden. Derartige Regeln dienen dazu , die Serverlast zu reduzieren oder sensible Inhalte zu schützen. In Tests ... →