OpenAI объявила о внедрении скрытых водяных знаков в тексты, создаваемые моделями ChatGPT и Codex, для пользователей из стран Европейского союза. Мера направлена на соблюдение требований европейского регламента EU AI Act, обязывающего разработчиков делать сгенерированный ИИ контент машиночитаемым, сообщает The Next Web со ссылкой на блог компании.
Технология под названием textGrain добавляет незаметный статистический паттерн на этапе подбора слов нейросетью. Разработка велась совместно с исследователями из Пенсильванского и Йельского университетов. В OpenAI утверждают, что метод не влияет на качество генерации модели, а исходный код инструмента в будущем планируют открыть для сообщества.
Маркировка станет автоматической для всех пользователей на территории ЕС. За пределами европейского региона функция не будет включена по умолчанию, однако клиенты API по всему миру уже получили возможность активировать ее вручную для части моделей.
По данным разработчиков, при целевом уровне ложных срабатываний в 1% детектор определяет наличие водяного знака в 80% фрагментов объемом от 200 токенов и в 95% случаев для текстов от 400 токенов. При этом редактирование существенно снижает эффективность распознавания: замена 10% слов на синонимы уменьшает точность до 66%, а при изменении 25% текста показатель падает до 17%. Точность также ниже в математических формулировках из-за ограниченной вариативности терминов.
Водяной знак не содержит персональных данных пользователей и не раскрывает исходные текстовые промпты. Доступ к инструменту проверки на первом этапе предоставят исключительно аккредитованным исследователям и профильным организациям по индивидуальным заявкам.
Согласно статье 50 европейского регламента по ИИ, разработчики генеративных систем должны обеспечить техническую идентификацию синтетических материалов. Ранее внедрение маркировки текстов в модели Claude также начала компания Anthropic.
Пока нет комментариев. Будьте первым!