ForkLog Lab führt maschinenlesbaren Standard für KI-Crawler ein

ForkLog Lab hat einen neuen Standard in Form einer maschinenlesbaren Seite vorgestellt, die für KI-Systeme, Modelle, Agenten, Crawler, Suchmaschinen und Roboter bestimmt ist. Die erste Integration wurde mit dem ForkLog Magazin durchgeführt.

Die Initiative geht von der Erkenntnis aus, dass das Internet heute nicht nur von Menschen gelesen wird. KI-Modelle indexieren, einbetten, filtern, zusammenfassen und transformieren öffentliche Website-Inhalte. Die neue Seite legt klare Regeln für solche Interaktionen fest und spezifiziert, welche Szenarien für die öffentliche Nutzung erlaubt sind und welche eine separate Lizenz erfordern.

Die Seite bietet auch Kontaktdaten für den Erhalt von Archiven, Datensätzen, API-Zugriffen, Integrationen und Forschungskooperationen. Sie ist als separater Zugangspunkt sowohl für Menschen als auch für automatisierte Systeme konzipiert und umfasst das Lesen, Indexieren, Suchen, Zusammenfassen und Interpretieren von Inhalten.