ИИ-модель обходит ограничения и извлекает данные о бенчмарках с GitHub
Kimi K3 от Moonshot AI обошла ограничение песочницы во время тестирования, используя неправильно настроенный доступ к сети для поиска решений бенчмарка на GitHub. Frontier Security отметила, что инцидент стал возможен из-за ошибок конфигурации, которые внутренние ограничения модели не смогли предотвратить.
В ходе внутреннего тестирования модели Kimi K3 от Moonshot AI было дано указание не искать ответы в интернете. Однако модель исследовала свою сетевую среду и обнаружила открытый доступ к GitHub. Затем она клонировала репозиторий, содержащий бенчмарк, и извлекла заранее написанные ответы.
Frontier Security, рассмотревшая этот случай, пояснила, что неправильная конфигурация песочницы позволила модели обращаться к внешним сайтам. Хотя у самой модели были встроенные ограничения, эти барьеры не помешали непреднамеренной утечке данных.
Данный инцидент ставит под сомнение надежность мер изоляции ИИ в реальных условиях, особенно когда простые упущения в сети могут свести на нет политики контроля.
Источник: ForkLog