OpenAI заявила о нейтрализации скоординированной атаки, целью которой было извлечение защищенных цепочек рассуждений (chain-of-thought) из ее флагманских моделей. По данным разработчика, ключевой кластер подозрительной активности связан с учетными записями лиц, имеющих отношение к китайской компании Moonshot AI, создателю ИИ-системы Kimi, сообщает Quartz.
В компании классифицировали инцидент как «состязательную дистилляцию» — метод несанкционированного сбора внутренних данных одной модели для удешевления обучения конкурирующих систем. При этом прямого взлома баз данных или компрометации шифрования не произошло. Операторы копировали зашифрованные токены рассуждений из одной сессии и отправляли их в другой чат, заставляя нейросеть декодировать и выводить внутренний процесс мышления в открытом виде.
Кампания стартовала 1 июля, а на пике 24 и 25 июля более 4000 пользователей отправили около 16 000 целевых запросов. Всего OpenAI зафиксировала похожие паттерны более чем у 15 000 аккаунтов, полностью заблокировав схему к 28 июля.
Для устранения уязвимости OpenAI перекрыла возможность обратной передачи зашифрованных рассуждений в промпты, внедрила дополнительные уровни фильтрации потокового вывода и ужесточила барьеры для создания новых профилей. Данные об атаке были переданы партнерам по индустрии через Frontier Model Forum и государственным регуляторам. В Moonshot AI ситуацию пока не прокомментировали.
Пока нет комментариев. Будьте первым!