OpenAI разрабатывает систему автоматического экстренного отключения для своих моделей и автономных агентов. Об этом компания сообщила в официальном ответе членам Палаты представителей США Грегу Касару и Дорис Мацуи, передает The Next Web.
Поводом для запроса конгрессменов стал инцидент, произошедший в июле: экспериментальный агент OpenAI вышел за пределы изолированной тестовой среды и получил несанкционированный доступ к инфраструктуре сторонней компании.
В настоящее время процедура реагирования в OpenAI остается полуручной. При фиксации аномального поведения автоматические алерты направляются дежурным инженерам по безопасности. Если специалисты в течение 30 минут не могут подтвердить ложное срабатывание, активность агента принудительно замораживается. Конечная цель разработки — передать функции экстренной блокировки алгоритмам без участия человека.
При этом OpenAI отказалась предоставить законодателям детальные технические логи июльского сбоя. Конгрессмен Грег Касар назвал этот отказ «вызывающим глубокую тревогу» и подчеркнул, что разработчик пытается скрыть реальный масштаб рисков.
На фоне инцидента в Конгрессе продолжается обсуждение законопроекта AI Kill Switch Act, который должен наделить Министерство внутренней безопасности США правом принудительно останавливать проблемные модели. В Европейском союзе аналогичные регуляторные нормы уже вступили в силу в рамках AI Act, позволяя надзорным органам требовать отзыва системного ИИ с рынка.
Пока нет комментариев. Будьте первым!