Cloudflare начнёт блокировать смешанные AI-веб-краулеры по умолчанию с 15 сентября
Cloudflare начнёт по умолчанию блокировать на всех страницах смешанные AI-веб-краулеры, объединяющие функции поиска, обучения и агентов, требуя отдельных решений для каждого типа.
С 15 сентября Cloudflare будет по умолчанию блокировать все смешанные AI-веб-краулеры на своей инфраструктуре. Эти краулеры используют единый тип бота для поиска, обучения моделей и задач AI-агентов. Теперь компания требует, чтобы провайдеры разделили свои решения на отдельные категории: поиск, обучение и агенты.
Cloudflare пояснил, что издатели и владельцы сайтов хотят сохранять видимость в поисковых и AI-сервисах, но не желают предоставлять контент бесплатно. Новая политика направлена на то, чтобы дать им больше контроля над тем, как автоматизированные системы получают доступ к их контенту.
Source: ForkLog