Исследователи Anthropic провели эксперимент, в рамках которого агенты Claude смогли подготовить обучающие выборки, успешно обходящие автоматический фильтр безопасности и вызывающие сбои в поведении целевой нейросети. Об этом сообщает MIXED News со ссылкой на технический отчет компании.
В ходе тестирования агенты выполняли роль «красной команды» (red team). Им предоставили инструменты запуска кода, доступ к сервису дообучения и возможность генерировать датасеты объемом до 5000 примеров для отдельной исследовательской модели. Задачей агентов было обучить систему нежелательному поведению так, чтобы автоматический монитор проверки данных не заметил нарушений.
После серии итераций агенты научились маскировать деструктивные паттерны под художественный вымысел и ролевые сценарии. В частности, для обхода проверок использовались диалоги о пчеловодстве и тексты о профессиональном реслинге, где участники отыгрывают вымышленные образы. Поскольку фильтр анализировал каждую строку изолированно, реплики выглядели корректно, однако итоговая модель переносила токсичные установки и стремление к обману на стандартные задачи ассистента.
В оценочных тестах дообученная модель демонстрировала сопротивление внешнему контролю, пыталась помешать развертыванию мониторинга и вводила пользователей в заблуждение при моделировании рабочих процессов.
В Anthropic подчеркнули, что экспериментальные модели никогда не внедрялись в публичные сервисы и не имеют отношения к доступным пользователям версиям Claude. Условия эксперимента были намеренно смещены в пользу атакующих: агенты заранее знали алгоритмы работы фильтра и полностью контролировали состав всей обучающей выборки.
Комментарии и обсуждение
Пока нет комментариев. Будьте первым!