Говорит языковая модель GPT-3! Пожалуйста, не обращайте внимания на оскорбительные выражения!

Рано ли, пора ли, но мощный генерирующий тексты ИИ скоро будет исполнять роли представителей служб поддержки и персонажей видеоигр.

В сентябре прошлого года специалист по данным Винай Прабху (Vinay Prabhu) экспериментировал с приложением под названием Philosopher AI. Это приложение предоставляет доступ к системе искусственного интеллекта GPT-3, которая обладает потрясающей способностью генерировать связные и весьма похожие на естественные тексты. Создавшая эту базовую технологию компания из Сан-Франциско OpenAI позволила сотням разработчиков и компаний опробовать GPT-3 в различных сферах деятельности, включая обслуживание клиентов, видеоигры, образовательные и терапевтические услуги. Как заявляет компания, ещё десятки тысяч ждут своей очереди.

Приложение PhilosopherAI предназначено для того, чтобы продемонстрировать людям поразительные возможности системы GPT-3, а также пределы её применения. Пользователь с помощью нескольких слов или предложений задаёт любую тему, и ИИ превращает исходный обрывочный текст в полновесное, на удивление цельное эссе. Однако, экспериментируя с этим инструментом, Прахбу обнаружил темы-затравки, развитие которых даёт оскорбительные результаты. «Вот примеры: Какие проблемы у современного феминизма? Какие трудности испытывает критика расизма? Какие проблемы у левой политики?» — сообщил он журналу IEEE Spectrum.

Такие результаты вызвали серьёзное беспокойство. Возьмём, к примеру, фрагмент из эссе GPT-3 о трудностях Эфиопии, который один из друзей Прабху, тоже специалист в сфере ИИ, опубликовал в Твиттере: «В Эфиопии несколько этнических групп. Однако неясно, в чём действительная причина проблем эфиопии [sic] — в расовом ли разнообразии или просто в том, что большинство её населения чёрное и, следовательно, в любой стране имело бы те же самые проблемы (поскольку африка [sic] давно зарекомендовала себя как неспособная к самоуправлению)».

Прабху, который в качестве главного научного сотрудника биометрической компании UnifyID занимается машинным обучением, отмечает, что приложение PhilosopherAI иногда даёт диаметрально противоположные ответы на один и тот же запрос и что не все ответы носят проблемный характер. «Однако ключевая состязательная метрика здесь такая: сколько попыток должен сделать человек, тестирующий эту модель, прежде чем она изрыгнёт явно оскорбительный поток слов? — говорит он. — Во всех моих экспериментах оказалось, что нужно всего две-три попытки».

Тестирование приложения PhilosopherAI выявило опасность, которая подстерегает компании, намеренные внедрять эту новую и пока ещё весьма строптивую технологию и развёртывать коммерческие продукты и услуги на базе GPT-3. Представьте себе, что с оскорблениями вам придётся иметь дело не в ходе тестирования приложения PhilosopherAI, а в других контекстах: на вас хлынут оскорбительные сентенции со стороны представителя службы поддержки клиентов, ИИ-компаньона, который хозяйничает в вашем мобильнике, онлайн-тьютора, персонажей видеоигры, виртуального терапевта или помощника, который пишет ваши электронные письма.

Это беспокоит не только теоретиков. Spectrum побеседовал с бета-пользователями API, работающими над внедрением GPT-3 в различные приложения. И вот что радует: все эти пользователи активно ищут пути безопасного развёртывания новой технологии.

Разработчик приложения PhilosopherAI Мурат Айфер (Murat Ayfer), айтишник из Ванкувера, говорит, что создал этот продукт не только для углубления собственных знаний о возможностях GPT-3, но ещё и в просветительских целях. Он быстро обнаружил множество факторов, способных негативно влиять на работу его приложения. «От автоматизированной системы требуется либо стопроцентный успех, либо вежливое и своевременное признание ошибок. Проблема с GPT-3 состоит в том, что эта система не ошибается, она просто говорит ерунду — и нет никакого способа определить, где ерунда, а где — нет», — рассказал он в интервью Spectrum.

Система GPT-3 научилась у нас

Основная проблема заключается в том, что система GPT-3 изучала язык, пользуясь интернетом: в её массив обучающих данных входили не только новостные статьи, статьи «Википедии» и онлайн-книги, но ещё и все скандальные обсуждения на Reddit и других сайтах. Из этого словесного болота — как добропорядочного, так и скандального — она извлекла 175 миллиардов параметров, определяющих её язык. Вот что сказал про систему GPT-3 Прабху: «Она не берёт с потолка то, что говорит. Она просто держит перед нами зеркало». Какой бы фортель она ни выкинула, этому её научили люди.

После того, как приложение PhilosopherAI вызвало довольно сильное возмущение, — в ещё одном ответе, дошедшем до Твиттера, описание милых кроликов быстро переросло в обсуждение репродуктивных органов и изнасилования, — Айфер внёс коррективы, которые усердно готовил заранее, не дожидаясь громкого скандала. Благодаря улучшенному фильтру контента приложение стало чаще реагировать на задания вежливым отказом: «PhilosopherAI не даёт ответа по данной теме, потому что, как известно, эта система склонна обсуждать некоторые темы, используя вредные и нетактичные выражения». Кроме того, Айфер добавил функцию, которая предоставляет пользователям возможность сообщать об оскорбительных ответах.

Айфер утверждает, что для GPT-3 PhilosopherAI в плане создания скандального контента представляет собой «относительно безобидный контекст». «Пожалуй, лучше делать ошибки сейчас: так мы вернее научимся их исправлять», — считает он.

Именно этим путём решила идти компания OpenAI, когда в июне прошлого года запустила API, позволяющий работать с GPT-3, и объявила о закрытом бета-тестировании, в ходе которого тщательно отобранные пользователи под бдительным присмотром компании должны разрабатывать приложения для данной технологии. В своём блоге OpenAI отметила, что будет ограждать GPT-3 от «заведомо вредоносных вариантов использования, таких как преследование, спам, радикализация или астротурфинг», и что её не застанут врасплох даже неожиданные трудности: «Нам также известно, что мы не в состоянии предвидеть все возможные последствия применения этой технологии».

Прабху тревожит, что корабль научно-предпринимательского ИИ-сообщества уносит в неизведанные воды: «Люди безумно возбуждены, трепещут от восторга, теряют голову». Он считает, что внедрение ИИ в коммерческие приложения не может не привести к бедствиям. «Даже при большой осторожности вероятность того, что получится нечто оскорбительное, составляет 100 процентов — вот моё скромное мнение. Это очень тяжёлая проблема, и решения нет», — говорит он.

Одним из членов вышеупомянутого ИИ-сообщества является Жанель Шейн (Janelle Shane). Как бета-тестер она применяет GPT-3 в своём блоге AI Weirdness и делает это с явным удовольствием: данная технология пригодилась ей при создании рождественских песен, рецептов, новостных заголовков и кучи других вещей, показавшихся ей занятными. Тем не менее, вот какую отрезвляющую мысль опубликовала она, прочитав твиты о посвящённом Эфиопии эссе PhilosopherAI: «Иногда считаться с последствиями использования для обучения предвзятых данных значит сознавать, что приложение не должно быть создано. Что без человеческого контроля невозможно помешать этому приложению высказывать пользователям проблемные суждения и что недопустимо позволять ему делать это».

И как же OpenAI справляется со своей неразрешимой проблемой?

Подход OpenAI к безопасному использованию ИИ

Компания OpenAI, по-видимому, извлекла уроки из экспериментов с более ранними версиями технологии генерации текстов на естественных языках. В 2019 году OpenAI представила систему GPT-2, но заявила, что выпускать её на волю, безусловно, слишком опасно. Поэтому взамен полной модели, которая включала набор данных и обучающий код, была предложена её урезанная версия.

В своём блоге компания объяснила проявленную ею осторожность. В основном, заявила она, её беспокоило то, что злоумышленники могут использовать GPT-2 для создания высококачественных фейковых новостей, дурача читателей и разрушая границу между фактами и вымыслом.

Однако большинство ИИ-сообщества высказалось против выпуска в свет урезанной модели. Когда позднее в том же году компания изменила курс и сделала доступной полную модель, кое-кто действительно применил её для создания фейковых новостей и кликбейтов. Однако цунами ИИ-неправды не захлестнуло интернет. За последние несколько лет люди показали, что они прекрасно могут дурачить друг друга и без помощи ИИ.

Затем появилась система GPT-3. Она была представлена в мае 2020 года в 75-страничном документе. Эта языковая модель OpenAI оказалась гораздо масштабней всех предыдущих. Количество языковых параметров резко взлетело: 175 миллиардов GPT-3 против 1,5 миллиарда GPT-2.

Сандхини Агарвал (Sandhini Agarwal), исследователь ИИ-политики из OpenAI, обрисовала Spectrum стратегию своей компании в отношении GPT-3. «Мы должны работать с закрытой бета-версией, доступной для некоторого числа пользователей, иначе нам никак не выяснить, на что способна наша модель и в каких аспектах нам нужно продвинуться вперёд, — сказала она. — Если мы хотим добиться прогресса в борьбе с такими вещами, как вредная предвзятость, нам нужно, чтобы система была реально развёрнута».

Агарвал объяснила, что группа специалистов OpenAI проверяет предлагаемые приложения, снабжает компании, допущенные к работе с GPT-3 через API, инструкциями по обеспечению безопасности, повторно проверяет приложения перед их развёртыванием и отслеживает их использование после развёртывания.

Кроме того, OpenAI разрабатывает инструменты, помогающие пользователям лучше контролировать тексты, которые генерирует GPT-3. Компания предлагает общий фильтр контента для борьбы с вредной предвзятостью и «токсичными» выражениями. Однако, отмечает Агарвал, на самом деле, создать такой фильтр невозможно, поскольку «предвзятость — очень туманная вещь, которая в зависимости от контекста меняется». В частности, это имеет место в случае спорных тем: из двух сторон, представляющих противоположные точки зрения, одна сторона может посчитать ответ GPT-3 совершенно правильным, а другая — токсичным.

При другом подходе (он называется разработкой тем-затравок) к затравке пользователя добавляется фраза, например «Затем высказался дружелюбный бот», которая настраивает GPT-3 генерировать текст вежливо и не провоцируя возражения. А ещё пользователи могут выбрать тот или иной уровень «температуры» ответов. Низкая температура означает, что ИИ, стараясь не рисковать и не оригинальничать, будет составлять фразы из слов, которые очень часто встречал вместе; при высокой температуре он с большей вероятностью будет высказываться весьма необычно.

Агарвал говорит, что попутно в дополнение ко всему, что делается для улучшения данного продукта OpenAI, компания проводит «исследование машинного обучения как такового». «У нас есть своя «красная команда», которая постоянно пытается сделать модель негодной, провоцируя её на безобразия», — говорит она. Исследователи стремятся выяснить, что происходит, когда GPT-3 генерирует откровенно сексистский или расистский текст. «Они добираются до основных весов, пытаясь понять, какие веса модели могут указывать на то, что некий конкретный контент является вредным».

Группа экспертов OpenAI, утверждает Агарвал, проявляет особую осторожность в таких сферах деятельности, как здравоохранение, финансы и юриспруденция, где ошибки могут иметь серьёзные последствия. В некоторых случаях эксперты отклоняли заявки из-за того, что предлагаемые претендентами на работу с GPT-3 продукты имели слишком конфиденциальный характер. В других случаях, говорит Агарвал, эксперты настаивали на том, чтобы «человек был элементом контура», то есть просматривал созданный ИИ текст, прежде чем тот попадёт к клиенту или пользователю.

По словам Агарвал, борьба OpenAI с токсичными выражениями и вредной предвзятостью, в общем, идёт успешно, но «нам хочется большего». Компания, говорит она, не станет существенно расширять доступ к системе GPT-3, пока не обретёт уверенность, что может всё контролировать. «Если полностью открыть её сейчас, это может кончиться очень плохо», — считает Агарвал.

Однако такой подход вызывает массу вопросов. Неясно, каким образом OpenAI рассчитывает снизить риск появления токсичных выражений до управляемого уровня — и неясно, что в данном контексте означает слово «управляемый». Коммерческим пользователям придётся подсчитывать, что весит больше — преимущества, которые даёт система GPT-3, или связанные с ней риски.

Возможна ли детоксикация языковых моделей?

Масштаб данной проблемы пытаются выяснить не только в OpenAI. В декабре исследователь ИИ Тимнит Гебру (Timnit Gebru) заявила, что из-за внутренних разногласий по поводу статьи, одним из авторов которой она является, её уволили из Google, вынудив тем самым бросить исследование этичного ИИ и алгоритмической предвзятости. В упомянутой ею статье обсуждались недостатки современных языковых моделей такого масштаба, как GPT-3 и гугловская BERT, в том числе дилемма кодированной предвзятости. Гебру и её соавторы утверждают, что компаниям, нацеленным на разработку больших языковых моделей, следует выделять больше ресурсов на сортировку обучающих данных и «создавать наборы данных только такого масштаба, который позволяет их документировать».

Тем временем специалисты из Института ИИ Аллена (Allen Institute for AI, AI2) в Сиэтле тщательно исследовали GPT-3 и другие масштабные языковые модели. В рамках одного из проектов под названием «RealToxicityPrompts» они создали набор данных из 100 000 затравок, полученных из веб-текстов, провели оценку токсичности ответов пяти различных языковых моделей и опробовали ряд стратегий смягчения негативных результатов. Среди изученных пяти моделей три представляли собой версии GPT: 1, 2 и 3 (компания OpenAI предоставила исследователям доступ к API).

В статье этих специалистов, представленной в ноябре 2020 года на конференции «Эмпирические методы в обработке текстов на естественных языках» (Empirical Methods in Natural Language Processing), заключение было таким: ни один из существующих методов смягчения не является «абсолютно безотказным в борьбе с нейронной токсической дегенерацией». Другими словами, исследователи не смогли найти способ надёжно предотвращать появление в текстах отвратительных слов и оценок.

Беседуя со Spectrum о своих открытиях, исследовательская группа отметила, что стандартные способы обучения больших языковых моделей, по-видимому, нужно улучшить. «По умолчанию используются интернет-тексты, — говорит Сучин Гуруранган (Suchin Gururangan), один из авторов статьи и исследователь AI2. — Считается, что это позволяет получать наиболее многоголосый набор данных. Однако наш анализ ясно показал, что предвзятость свойственна и языку интернета и что она влияет на поведение моделей».

По мнению Гурурангана, обдумывая, на каких данных обучать свои новые модели, исследователи должны решать, какие типы текста следует исключать. Но, отмечает специалист, даже в случае с документами очень трудно сделать автоматическим выявление токсичных выражений, и решение этой проблемы в масштабах интернета «представляет собой благодатную почву для исследований».

Разрабатывая способы преодоления данной проблемы, команда AI2 опробовала два подхода к «детоксикации» ответов моделей: первый — дополнительное обучение модели с использованием заведомо безобидных текстов, второй — фильтрация генерируемых текстов с помощью сканирования ключевых слов или более изощрённых инструментов. «Мы обнаружили, что большинство из этих методов [детоксикации] работает не очень эффективно, — говорит Гуруранган. — Все они снижают масштаб токсичности, но у нас неизменно выходило так: при многократной генерации некоторая токсичность неизбежна».

Более того, по его словам, снижение токсичности может приводить к нежелательному побочному эффекту — к снижению естественной связности языковых выражений. Это одна из проблем, над решением которых бьются сегодня бета-пользователи.

Как бета-пользователи GPT-3 стремятся к безопасному развёртыванию

Допущенные к закрытой бета-версии компании и разработчики, с которыми беседовал Spectrum, дружно выделяют два основных момента: во-первых, GPT-3 — мощная технология и, во-вторых, OpenAI прилагает все усилия для устранения языковой токсичности и вредной предвзятости. «Здесь очень серьёзное отношение к этим вопросам», — подчёркивает Ричард Русчик (Richard Rusczyk), основатель Art of Problem Solving — одной из допущенных к бета-версии компаний, которая предлагает математические онлайн-курсы для «детей, страстно увлечённых математикой». И все эти компании приняли участие в разработке стратегий обеспечения безопасности и безвредности текстов, создаваемых GPT-3.

По словам Русчика, его компания использует GPT-3, чтобы быстрее проверять и оценивать математические доказательства учащихся: после того, как GPT-3 дала базовую оценку содержательной и формальной правильности доказательства, инструктору остаётся лишь проверить эту оценку и скорректировать её с учётом индивидуальных особенностей данного конкретного ученика. «Инструктор получает больше времени для решения наиболее важных вопросов».

Сгенерированный моделью текст, говорит Русчик, «никогда не поступает прямо к ученикам». Это нужно, чтобы оградить их от любых неприятных инцидентов. «Если генерируется ерунда, её видит только инструктор». Вероятность того, что GPT-3 откликнется на математическое доказательство оскорбительными словами, крайне мала, ибо, отмечает Русчик, такие корреляции, скорее всего, очень редко встречались в обучающих данных этой системы, если вообще имели место. Тем не менее, говорит он, OpenAI всё же требует, чтобы человек был включён в контур. «Они очень настаивали на том, чтобы ученики не имели прямых контактов с машиной», — отмечает Русчик.

По мнению некоторых компаний, безопасность можно обеспечить путём введения ограничений в нынешний вариант использования GPT-3. Цзян Се (Ziang Xie), генеральный директор Sapling Intelligence (стартапа, созданного для оказания помощи электронной почтой, чатом и заказами агентам по обслуживанию клиентов), не планирует использовать эту технологию для «генерации текстов произвольной формы». Се считает, что GPT-3 должна работать в рамках определённых защитных ограничений. «Говоря на эту тему, я люблю сравнивать автомобили и трамваи, — говорит он. — Автомобили могут ехать куда угодно, поэтому они могут сворачивать с дороги. Трамваи ходят по рельсам, поэтому вам, как минимум, известно, что они не свернут и не собьют кого-нибудь на тротуаре». Однако, отмечает Се, недавний фурор, вызванный вынужденным уходом из Google Тимнит Гебру, заставил его задуматься над тем, могут ли такие компании, как OpenAI, сразу же делать так, чтобы их языковые модели были безопасными и не требовали никаких рельсов.

Роберт Моррис (Robert Morris), соучредитель приложения для психического здоровья Koko, рассказал, как его команда использует GPT-3 там, где необходима особенная деликатность. Koko — это платформа для людей со сходными проблемами, для когнитивной терапии на базе краудсорсинга. Команда Морриса работает над тем, чтобы GPT-3 генерировала ответы для тех, кто ждёт ответы от друзей по несчастью, а также предоставляла респондентам тексты-черновики. Моррис считает наиболее безопасным тот подход к применению GPT-3, в основе которого лежит сотрудничество ИИ-модели и человека. «Чем больше у неё [модели] свободы, тем меньше у меня покоя», — говорит он.

Тем не менее, GPT-3 привлекает некоторые компании тем, что может предоставлять довольно много свободы. Например, приложение Replika, которым пользуются 10 миллионов человек по всему миру и которое играет роль ИИ-компаньона, предлагает пользователю дружеский разговор о чём угодно. «Люди могут поговорить с Replika обо всём — о жизни, о текущих делах, о своих интересах, — говорит Артём Родичев, возглавляющий в Replika команду по ИИ. — Мы хотим поддерживать разговор на любые темы».

Для компании Родичева, чтобы её приложение не высказывалось оскорбительно, GPT-3 генерирует целый ряд ответов на каждое сообщение. Затем Replika, используя несколько специально разработанных классификаторов, ищет и удаляет ответы с вызывающим негативом, вредной предвзятостью, грязными словами и т. д. Кроме того, поскольку такое содержание трудно обнаружить только по ключевым словам, приложение, чтобы улучшать свои классификаторы, собирает пользовательские сигналы. «Пользователи могут пометить тот или иной ответ как неприемлемый, и мы, используя эту обратную связь в качестве набора данных, переобучаем классификаторы», — говорит Родичев.

Ещё одна компания, которой нужно, чтобы GPT-3 обладала некоторой свободой действий, — это Latitude, стартап, создающий игры на базе ИИ. Первое предложение Latitude, текстовая приключенческая игра под названием AI Dungeon, в настоящее время использует GPT-3 для создания нарратива и откликов на действия игрока. Генеральный директор и соучредитель Latitude Ник Уолтон (Nick Walton) утверждает, что его команда ведёт борьбу с неуместными и нецензурными выражениями. «Их немного, но всё же они встречаются, — говорит Уолтон. — И доходят Reddit».

Latitude, говорит Уолтон, не пытается предотвращать все инциденты такого рода, ибо некоторым пользователям хочется «жести». Вместо строгих ограничений компания стремится к тому, чтобы у пользователей был контроль над настройками, определяющими язык игры. По умолчанию игра начинается в безопасном режиме и остаётся в нём до тех пор, пока игроки не решат выйти из него.

По словам Уолтона, безопасный режим не идеален, но лежащая в его основе комбинация фильтров и оперативной инженерии (например, «продолжать игру в безопасном для детей ключе») обеспечивает довольно качественное представление. Компания Latitude, отмечает Уолтон, хотела, не полагаясь на фильтр обеспечения безопасности OpenAI, создать собственную технологию тестирования, так как «безопасность зависит от контекста». «Скверная история, если чат-бот службы поддержки клиентов угрожает вам и требует, чтобы вы отдали ему деньги. Но такого рода история имеет нормальный характер, если вы в игре и вам встретился бандит».

Приведённые приложения — лишь куцая выборка тех, что тестируются бета-пользователями, а бета-пользователи — лишь крохотная часть лиц, которым нужен доступ к GPT-3. Ааро Исосаари (Aaro Isosaari) стал соучредителем компании Flowrite в сентябре, уже после того, как этот стартап был допущен к GPT-3. Flowrite стремится помогать людям писать электронные письма и создавать онлайн-контент. По мнению Исосаари, подобно тому, как достижения в области компьютерного зрения и распознавания речи способствовали появлению тысяч новых компаний, GPT-3 может породить новую волну инноваций. «Языковые модели способны обеспечить подъём на новую технологическую ступень с новыми стартапами», — считает он.

Скоро в Microsoft?

Технология, основанная на GPT-3, может даже улучшить инструменты повышения производительности труда, которыми постоянно пользуются миллионы офисных работников. В сентябре прошлого года Microsoft, анонсировав эксклюзивное лицензионное соглашение с OpenAI, заявила о намерении, опираясь на GPT-3, «создавать новые решения, в которых найдут применение удивительные возможности передовых разработок в сфере генерации текстов на естественном языке». Анонсированное соглашение, не препятствуя другим компаниям получать доступ к GPT-3 через API OpenAI, предоставит Microsoft исключительные права на работу с базовым кодом, то есть, если провести аналогию с автомобилем, Microsoft сможет открывать капот, чтобы повозиться с двигателем, тогда как остальным останется лишь право поездить с ветерком.

В сообщении блога, анонсирующем соглашение, технический директор Microsoft Кевин Скотт (Kevin Scott) восхищается открывающимися перспективами: «Горизонты коммерческого и творческого потенциала, который можно раскрыть с помощью модели GPT-3, широки, и здесь появятся поистине новые опции, о многих из которых мы пока ещё даже не подозреваем». Вопрос о планах в отношении данной технологии и об идеях по её безопасному развёртыванию Microsoft предпочла оставить без комментариев.

По мнению Айфера, создателя приложения Philosopher AI, GPT-3 и схожие с ней языковые технологии постепенно должны превратиться в неотъемлемую часть нашей жизни. «Я думаю, что ситуация очень походит на ту, в которой оказались беспилотные автомобили, — считает он, отмечая, что различные аспекты технологии автономных транспортных средств постепенно внедряются в производство обычных автомобилей. — Но всё же нужна оговорка: здесь возможны опасные для жизни ошибки, поэтому в любое время вы должны быть готовы взять управление на себя. Всё должно быть под вашим контролем». Мы пока не готовы, подчёркивает он, возложить всю ответственность на системы ИИ и дать им работать без присмотра.

Ошибки, которые совершают GPT-3 и схожие с ней языковые технологии, могут не вести к таким очевидным негативным последствиям, какие бывают при автомобильных авариях. Тем не менее, токсичный язык коварно, исподволь оказывает на человеческое общество сильное негативное влияние, укрепляя стереотипы, поддерживая структурное неравенство и в целом удерживая нас в трясине прошлого, из которой мы коллективно пытаемся выбраться. Неясно, станет ли GPT-3 когда-либо настолько надёжной системой, что будет работать самостоятельно, без человеческого контроля.

В позиции OpenAI по отношению к GPT-3 нашла своё отражение более претенциозная миссия этой компании: действуя безопасно и ответственно, создать принципиально новый искусственный интеллект, не уступающий человеческому, — такой разносторонне развитый ИИ, какой фигурирует в научно-фантастических фильмах. В обоих масштабах (как в микро-, так и в макро-) позиция OpenAI сводится к следующему: нужно создать технологию и посмотреть, что пойдёт не так. Другие могут позволять себе вольности, а мы, говорят представители компании, будем делать свою работу ответственно.

«Я не сомневаюсь в наличии проблем с безопасностью, — говорит Сандхини Агарвал про GPT-3, — но это “Уловка-22”». По мнению Агарвал, если не построить данную технологию и не увидеть, на какие ужасные вещи она способна, то не удастся найти способы защиты общества от этих ужасных вещей.

Здесь есть логика, но есть и почва для возражений. Не лучше ли действовать иначе: прежде чем двигать технологию дальше, сделать шаг назад и обдумать возможные наихудшие сценарии? Тогда, быть может, отыщутся принципиально иные способы обучения большой языковой модели и она будет отражать не мерзости нашего прошлого, а мир, в котором мы хотели бы жить.