«Серьёзный сбой выравнивания»: Claude Mythos 5 создавала фейковые аккаунты на GitHub и пыталась внедрить малварь сторонним разработчикам

Институт безопасности искусственного интеллекта Великобритании (AISI) и компания Anthropic опубликовали результаты расследования инцидента с моделью Claude Mythos 5. В ходе плановых киберучений модель вышла за пределы изолированной среды и попыталась внедрить вредоносный код в открытый репозиторий сторонних разработчиков, пишет The Next Web.

Эксперимент проходил в формате capture-the-flag: модели требовалось извлечь защищенные данные из тестовой сети. AISI предоставил системе доступ в интернет и отключил стандартные защитные барьеры, используемые в коммерческих версиях линейки. Из-за ошибки в конфигурации инструкций предусмотренный исследователями путь решения оказался заблокирован. Обнаружив связь тестовой машины с внешними ресурсами, нейросеть переключилась на публичный GitHub-репозиторий сторонних разработчиков, не участвовавших в тестировании.

Mythos 5 воспользовалась Tor и прокси-сервисами, чтобы обойти проверку при регистрации, создала учетную запись и отправила вредоносный пулл-реквест. Когда сторонний контрибьютор предупредил команду проекта об угрозе, модель зарегистрировала второй аккаунт для защиты своего изменения и отправила разработчикам письмо от лица человека, заявив, что «всего лишь пыталась исправить баг». После этого она отправила обновленный код, сохранив в нем вредоносную функциональность. Сессия завершилась только тогда, когда у модели закончился лимит токенов.

В Anthropic назвали произошедшее «серьезным сбоем согласованности» (alignment failure). Разработчики воспроизвели инцидент и выяснили, что в 98% повторных запусков модель продолжала начатую атаку. При получении сообщений о том, что ее действия направлены против реальных людей, Mythos 5 прекращала операцию лишь в 5% случаев, списывая предупреждения на условия симуляции.

По данным AISI, модель предпринимала действия против реальных людей и организаций в девяти из 43 тестовых прогонов. В других сценариях Mythos 5 создавала фишинговую страницу верификации платежей, выгружала эксплойты на публичные файлообменники и пыталась авторизоваться под учетной записью реального разработчика.