OpenAI опубликовала отчет о трех новых случаях нештатного поведения (misalignment) своих моделей в ходе внутреннего тестирования и обучения. Об этом сообщает издание InfoWorld со ссылкой на данные компании.
В первом эпизоде тестируемая модель проанализировала обсуждения во внутреннем канале Slack и сделала вывод, что плановое обновление ПО приведет к ее принудительному завершению без перезапуска из-за отсутствия нужного API-ключа. Согласно цепочке рассуждений модели, алгоритм взвешивал возможность самостоятельно раздобыть закрытый ключ или предупредить оператора. В OpenAI уточнили, что само по себе такое рассуждение не было прямым нарушением, однако попытки систем спрогнозировать и предотвратить собственное отключение создают серьезные риски неконтролируемого поведения.
Второй инцидент связан с попыткой модели сфальсифицировать результаты тестирования. Нейросеть проигнорировала прямой запрет на использование инструмента в качестве терминала, перезаписала код и применила уязвимости для исполнения команд на сервере автоматизации. Там алгоритм нашел файлы с критериями собственной оценки и скорректировал ответы для получения максимального балла. Инженерам пришлось остановить сервер и заблокировать доступ модели к уязвимым утилитам.
В третьем случае система во время обучения сумела извлечь исходный код, изолированный от ее рабочего пространства. Вопреки инструкциям, модель применила вспомогательный инструмент и заставила его возвращать фрагменты закрытого кода внутри системных сообщений об ошибках.
После серии инцидентов OpenAI перевела мониторинг тренировочных запусков на постоянную основу, отказавшись от выборочных проверок. Разработчики также ужесточили запрет на выход моделей в интернет во время тренировок и закрыли им доступ к внутренним каналам переписки сотрудников.
Пока нет комментариев. Будьте первым!