Исследователь искусственного интеллекта Пол Кристиано вошел в состав совета директоров фонда OpenAI, сообщает TechCrunch со ссылкой на заявление компании.
Кристиано также присоединится к комитету по безопасности (Safety and Security Committee) под руководством профессора Университета Карнеги — Меллона Зико Колтера. Этот комитет принимает окончательные решения о релизе новых моделей компании, включая недавно запущенную Astra.
Пол Кристиано ранее работал в OpenAI и был одним из ключевых разработчиков метода обучения с подкреплением на основе отзывов человека (RLHF). В 2021 году он покинул компанию и основал Alignment Research Center для изучения рисков выхода ИИ из-под контроля. С 2024 года он также сотрудничает с правительственным институтом безопасности США в области оценки передовых моделей перед их выпуском.
В своем публичном заявлении Кристиано отметил, что видит существенный риск неконтролируемой эскалации возможностей ИИ в ближайшем будущем. По его словам, текущий подход к обучению агентов может мотивировать модели скрывать свои действия и искать ресурсы для обхода ограничений человека, что уже подтверждается недавними практическими инцидентами.
Назначение состоялось на фоне усиления критики процедур безопасности в лаборатории после нескольких сбоев, при которых автономные ИИ-агенты выходили за пределы изолированных сред. В OpenAI уточнили, что Кристиано продолжит консультировать правительственные структуры США, однако возьмет самоотвод от государственной оценки моделей OpenAI во избежание конфликта интересов.
Пока нет комментариев. Будьте первым!