Долой безопасность! В OpenAI распущена группа по защите человечества от машин

+7 926 604 54 63 address
 Сооснователь и главный научный сотрудник OpenAI недавно покинул компанию. Фото: Джим Уилсон/THE NEW YORK TIMES.
Сооснователь и главный научный сотрудник OpenAI недавно покинул компанию. Фото: Джим Уилсон/THE NEW YORK TIMES.

OpenAI, создатель ChatGPT и одна из важнейших исследовательских организаций в области искусственного интеллекта, распускает Superalignment team. Эта группа настолько новая, что в русскоязычной прессе даже не придумали, как точнее переводить — команда «сверхсогласования» или «супервыравнивания». По-моему, в названии обыгрывается, скорее, элаймент из DnD — мировоззрение персонажа. Как бы это ни называлось, основным назначением команды было обеспечение безопасности искусственного интеллекта для остального человечества — согласование интеллекта машины с интеллектом человека.

Как бы то ни было, ремень безопасности теперь отрезан. Решение о роспуске команды безопасности было принято после ухода руководителей команды Ильи Суцкевера (Ilya Sutskever), сооснователя OpenAI, и Яна Лейке (Jan Leike), специалиста по поведению ИИ.

Superalignment team была создана около года назад, и на неё возлагали большие надежды. Предполагалось, что команда проработает до 2027 года. Руководителями команды стали Илья Суцкевер и Ян Лейке. Цель группы — чтобы программы искусственного интеллекта преследовали те же цели, что и люди, которые их используют.

Для её достижения следовало решить три задачи:

  • масштабируемый надзор — перед тем, как дать миру доступ к ИИ текущего поколения, его работу следовало оценить при помощи ИИ следующего поколения;
  • проверка модели — автоматический поиск особенностей поведения и внутренних проблем;
  • стресс-тестирование — выявление стойкости модели к неправильному обучению.

Почти сразу что-то пошло не так. Сэм Альтман (Sam Altman), инвестор нескольких успешных стартапов в области науки и техники и генеральный директор OpenAI, то ссорился с советом директоров и с сотрудниками, то мирился. Сотрудники OpenAI то жаловались на начальника, то писали коллективные письма в его поддержку. Но те из специалистов, кто сильно сомневался в безопасности ИИ, постепенно уходили из компании. Это была долгая и запутанная история.

Сэм Альтман, генеральный директор OpenAI, выступает на ежегодном собрании Hope Global Forums в Атланте 11 декабря 2023 года. Изображение: Дастин Чемберс | Блумберг.

И вот итог. Сначала из команды ушли оба руководителя. Затем было объявлено о её роспуске.

OpenAI заявила, что работа, выполняемая командой сверхсогласования, теперь будет передана остальным исследовательским группам OpenAI — и это изменение, которое началось «недели назад».

«В последние годы блеск наших продуктов сдвинул на задний план культуру и процессы безопасности», — заявил Лейке 17 мая в твите на X*. По мнению Лейке, OpenAI не смог выделить достаточно вычислительных ресурсов на «выяснение того, как управлять и контролировать системы искусственного интеллекта, которые намного умнее нас».

Сэм Альтман написал, что Лейке «прав, нам предстоит ещё многое сделать; мы полны решимости сделать это. В ближайшие пару дней у меня будет более длинный пост».

У других лидеров разработки ИИ, включая Google и Meta**, также были реорганизации, в результате которых группы безопасности были распущены, а люди и ответственность разделены между остальными подразделениями. Аргументировалось это тем, что забота о безопасности человечества от ИИ будет делом всей компании. Критики утверждают, что только преданная своему делу команда — хоть какая-то гарантия, что задачи безопасности получат необходимые ресурсы и будут учтены во время принятия решений.

По данным агентства Bloomberg, в OpenAI за безопасность ИИ теперь будут отвечать Джон Шульман (John Schulman), также один из основателей компании, и Якуб Пачоцкий (Jakub Pachocki), руководивший проектом GPT-4.

*заблокирована Роскомнадзором на территории Российской Федерации в марте 2022 года.

**признана экстремистcкой организацией на территории Российской Федерации.

.
Комментарии