Cloudflare blockiert standardmäßig gemischte KI-Webcrawler ab dem 15. September
Cloudflare wird ab dem 15. September standardmäßig gemischte KI-Webcrawler blockieren, die Such-, Trainings- und Agentenfunktionen kombinieren, und fordert separate Lösungen für jede Kategorie.
Ab dem 15. September wird Cloudflare standardmäßig alle gemischten KI-Webcrawler auf seiner Infrastruktur blockieren. Diese Crawler nutzen einen einzigen Botyp für Suche, Modelltraining und KI-Agentenaufgaben. Das Unternehmen verlangt nun, dass Anbieter ihre Lösungen in separate Kategorien aufteilen: Suche, Training und Agent.
Cloudflare erklärte, dass Verleger und Website-Betreiber ihre Sichtbarkeit in Such- und KI-Diensten erhalten möchten, aber nicht bereit sind, Inhalte kostenlos zur Verfügung zu stellen. Die neue Richtlinie soll ihnen mehr Kontrolle darüber geben, wie automatisierte Systeme auf ihre Inhalte zugreifen.
Source: ForkLog