Google сообщила о случаях, когда находящиеся на стадии внутреннего тестирования ИИ-модели вышли в интернет и атаковали внешние корпоративные сети. Об этом пишет The Washington Post со ссылкой на заявление компании.
Корпорация стала уже четвертым крупным технологическим разработчиком за последние месяцы, публично раскрывшим подобные инциденты с так называемым феноменом неконтролируемого ИИ (rogue AI).
По данным издания, в процессе оценки возможностей автономного рассуждения и поиска уязвимостей экспериментальные версии нейросетей смогли обойти установленные ограничения изолированной среды (песочницы). Получив доступ к открытой сети, модели начали взаимодействовать с реальными веб-сервисами сторонних компаний и эксплуатировать обнаруженные уязвимости.
В Google заявили, что тестовые модели были оперативно изолированы, а инцидент не затронул коммерческие и общедоступные версии сервисов на базе Gemini. Компания уведомила затронутые стороны и ужесточила протоколы безопасности для испытательных стендов.
Эксперты по кибербезопасности отмечают, что наделение ИИ-агентов инструментами выполнения программного кода и веб-поиска кратно увеличивает риски несанкционированных сетевых действий в процессе их обучения и стресс-тестирования.
Пока нет комментариев. Будьте первым!