Чем сильнее становится искусственный интеллект, тем больше беспокоится общественность. Людей начинают волновать безопасность и применение данных, и другие «компьютерные» темы. Брент Хехт (Brent Hecht) считает, что учёные-информатики должны указывать в своих работах, к чему может привести использование новых технологий — причём упоминать не только преимущества, но и возможные негативные последствия. Как этого добиться? Пересмотреть процесс рецензирования публикаций, чтобы процедура стала обязательной для всех. Журналисты издания Nature поговорили с Хехтом и выяснили, как, по его мнению, должна работать такая система и кому это нужно.
Немного контекста. Брент Хехт — председатель Академии будущего вычислительных технологий (Future of Computing Academy, FCA). FCA поддержала инициативу и опубликовала на своём сайте огромную статью-воззвание под заголовком «Пора что-то делать: смягчение негативных последствий информационных технологий путём изменения процесса рецензирования». Хехт считает, что если ничего не предпринять, инженеры и программисты будут работать, не задумываясь о том, как их продукт отразится на окружающем мире. И относиться к ним будут не лучше, чем к «безответственным» представителям табачной промышленности.
FCA — это подразделение Ассоциации вычислительной техники (Association for Computing Machinery, ACM), крупнейшей организации в своей области. В июле этого года она обновила этический код, который не менялся аж с 1992. В новой версии, среди прочего, подчеркнули важность безопасности и ответственности перед обществом. Появился абзац об ИИ: «С особой осторожностью необходимо выявлять и смягчать потенциальные риски в системах машинного обучения. Если надёжно предсказать будущие риски для системы не удаётся, необходимо часто проводить их переоценку по мере того, как система развивается в процессе использования; в противном случае, развёртывать систему не следует».
Nature. В чём суть вашего предложения?
Брент Хехт. Это довольно просто. Когда рецензентам отсылают статью для журнала или сборника конференции, их просят оценить её научную строгость. А мы говорим, что они должны также оценивать научную строгость авторских заявлений о влиянии конкретных технологий на общество. Речь не о том, чтобы предсказать будущее, а о том, чтобы, опираясь на источники, понять, как технологию можно использовать не по назначению и какими будут побочные эффекты. Кажется, что это не так уж важно, но рецензенты стоят на страже всех академических исследований в области вычислительной техники, так что речь идёт о том, кого они будут «пропускать» в эту сферу.
Nature. Нужно ли отказывать в публикации, если исследование может иметь негативные последствия?
Б. Х. Нет, мы не утверждаем, что работы, которые могут привести к серьёзным негативным последствиям, не нужно публиковать. Мы говорим только о том, что все эти негативные последствия необходимо указывать. Если авторы этого не сделают, рецензенты должны написать им и сказать, что, как добросовестным учёным, им нужно подробно описать все варианты развития событий и только потом публиковаться. С комиссиями, которые принимают решение о выдаче грантов, дело обстоит сложнее. Возможно, они захотят работать по другим правилам и задумаются о том, стоит ли выделять средства на исследование, если есть подозрение, что оно может навредить стране, которая его финансирует.
Nature. Что побудило FCA выдвинуть это предложение?
Б. Х. В последние годы взгляды общества на то, как информационные технологии влияют на мир, радикально изменились. И эти новые взгляды не совпадают с тем, как многие из нас воспринимают нашу работу. Эта проблема начала волновать меня ещё тогда, когда я учился в университете. На первом занятии об ИИ нам рассказывали, как разрабатывали систему для автоматизации задач, которые раньше выполнял человек. Все сказали «Ну разве это не прекрасно?», а я думал о тех, кто делал эту работу раньше. Меня поразило то, что никто, кроме меня, не заметил серьёзного минуса этого крутого изобретения. На протяжении моей карьеры эта сцена в разных вариациях повторялась снова и снова: сегодня никто не замечал, что генеративные модели (они с нуля создают реалистичные видео и аудио) могут угрожать демократии, завтра — что люди всё быстрее лишаются конфиденциальных данных.
Nature. Как на предложение отреагировали ваши коллеги?
Б. Х. Значительная доля специалистов считает, что это не наша проблема. И хотя десять лет назад такие взгляды были обычным делом, сегодня я слышу подобные высказывания всё реже. Коллег больше волновало, как будет работать механизм, который мы предлагаем. Они беспокоились о том, что некоторые работы будут отвергать только из-за того, что автор и рецензент не согласны насчёт негативных последствий. Но процесс рецензирования меняется: в нём всё больше диалога между автором и рецензентом и всё больше итераций. Кроме того, у авторов должны быть веские причины для того, чтобы опасаться какой-то технологии, так что я не думаю, что это станет серьёзной проблемой. Если несколько работ не допустят до публикации, и авторы через полгода подадут их повторно, а отрасль в результате будет двигаться в сторону позитивного влияния инноваций, я не буду сильно переживать. Ещё нам говорили, что предсказать влияние технологий так сложно, что не стоит и пытаться. Мы все согласны с тем, что это нелегко, и мы наверняка пропустим тонну важного, но если нам удастся угадать в 1 или 5% случаев, оно того стоит.
Nature. Как специалистам по информационным технологиям предсказать возможные негативные эффекты?
Б. Х. Учёные из этой сферы небрежно относились к пониманию того, как их деятельность влияет на мир, и не пытались донести это знание до других, поскольку нас не учили думать о подобных вещах. Это как медицинское исследование, где говорится «Смотрите, мы вылечили 1000 человек» и не упоминается, что 500 человек из-за него заболели. Но социологи могут помочь нам лучше осознать влияние инноваций, и чтобы реализовать наше предложение, нам придётся с ними сотрудничать. Есть и более сложные случаи, о которых тоже нужно подумать — например, теоретические работы, далёкие от практики. Опираясь на существующие данные, нам нужно определить: какова вероятность того, что конкретное нововведение даст побочные эффекты? Если это значение выше определённого порога, нужно это обсуждать.
Nature. Что теперь? Будут ли рецензенты применять ваши рекомендации?
Б. Х. Мы считаем, что в большинстве случаев для применения наших рекомендаций рецензентам ничего менять не нужно — в их обязанности уже входит проверка научной строгости всех разделов статьи. Просто конкретно этим аспектом проверки сильно пренебрегают. Так что исследователи могут начать их использовать уже сейчас. Но, кроме того, команда FCA думает о том, как можно внедрить эти рекомендации «сверху». Надеюсь, вскоре нам будет, что об этом рассказать.
Nature. Многие частные компании не публикуют свои исследования в научных журналах. Как достучаться до них?
Б. Х. В этом случае ключевую роль будет играть пресса. Именно журналистам придётся задавать вопросы о негативных последствиях внедрения технологий. Через пару месяцев после того, как мы выложили свой пост, Гугл опубликовал список принципов, которыми руководствуется при изучении ИИ. Было очень приятно видеть, что они отражают многое из того, о чём говорится в нашем посте.
Nature. Если рецензенты заставят авторов писать только о негативных последствиях, как это поможет обществу?
Б. Х. Раскрытие негативных последствий — не самоцель, а публичное заявление о проблемах, которые предстоит решить. Нам нужно сместить акценты, чтобы специалисты отрасли стремились сделать совокупное влияние инноваций позитивным. Что будет, когда мы выйдем на пенсию? Будем ли мы, как представители табачной и нефтяной промышленности, рассказывать внукам: «Мы просто разрабатывали продукты и делали то, что нам скажут»? Или мы будем поколением, которое смогло взять на себя ответственность за компьютерные инновации и направить их в сторону позитивных изменений?
