Стюарт Рассел. Для кого-то из вас это будет дежавю, особенно если вы были на пуэрториканской ИИ-встрече или на собрании AAAI (Ассоциация по развитию ИИ, Association for the Advancement of Artificial Intelligence) в январе. С тех пор в дискуссию было добавлено несколько новых мнений, и я надеюсь, что для некоторых их вас они будут в новинку. Я размышлял над этой темой долгое время. Первое издание моей книги вышло в 1994-м году. Так вот, в ней есть раздел, озаглавленный «А что если мы преуспеем?» Было очень важно предложить дискуссию по этому вопросу, потому что учёные на тот момент не задумывались о такой возможности. В течение десятилетий у них не наблюдалось значительного прогресса, они и думать перестали о том, что будет, если «всё» получится. Меня навел на идею главы Дэвид Лодж (David Lodge), автор книг «Академический обмен. Повесть о двух кампусах» («Changing places») и «Мир тесен» («Small World»). Лодж повествует о молодом английском учёном, который в конце концов оказывается в «Государстве эйфории». Судя по описанию, это место является весьма искажённой версией Беркли. Герой приехал из Бирмингема (Burmingham), который в книге назван Раммадж (но прототипом был, очевидно, Бирмингем, где Дэвид Лодж преподавал). По случайности, когда мы переезжали из Бирмингема, Лодж купил дом, в котором мы жили. Так, из-за большого числа совпадений, я решил почитать его книги. В одной из книг молодой протагонист ставит вопрос перед одной очень влиятельной группой теоретиков филологии: «А что если вы правы?» И выясняется, что никто из них не думал о такой возможности раньше. Так я получил идею главы «Что будет, если мы преуспеем».
Мы все согласимся с тем, что ИИ — это про то, как сделать компьютеры «умными». И мы уже не считаем, что мыслительный процесс компьютера обязательно должен подражать мыслительному процессу людей, что он должен следовать каким-то законам «разума». Что важно, так это понять, можем ли мы заставить компьютеры делать «правильные вещи», и какие есть способы сделать так, чтобы внутренние процессы компьютеров были согласованы с этой целью. Может быть много способов делать «правильные вещи», да и много определений «правильных вещей». В данном случае мы будем понимать под «правильной вещью» максимизацию ожидаемой ценности всего будущего, имея в виду какую-то мерку итогового коллективного счастья. Другими словами, это максимизация ожидаемой пользы. Это очень стандартная формула. И это как раз то, что мы обычно подразумеваем, когда говорим, что компьютер делает «правильную вещь». Такое определение может быть специфицировано для разных процессов и исполнителей — для речевых актов, для машинного обучения, для роботов. Есть множество способов использовать эту базовую формулировку.
Почему мы занимаемся исследованиями ИИ? Изначально это просто ужасно вдохновляет: думать, что мы сможем понять разум так хорошо, что создадим что-то «разумное» или подобное разуму. И чем разумнее, тем лучше, это не вызывает сомнений. Мы верим, что такой ИИ может быть создан. Некоторые исследователи считают, что мы никогда не получим сильный ИИ, поэтому нет никакой надобности волноваться о будущем. Я не уверен, что они до конца честны сами с собой, так как нет смысла работать над исследовательской задачей и верить, что она неразрешима. Проведём аналогию с Судным днём, «пророки» говорят, что ИИ ведёт «машину человеческой расы» по дороге, которая заканчивается обрывом. Говорить, что ИИ никогда не преуспеет, аналогично утверждению: «Хорошо, мы просто будем продолжать двигаться в сторону обрыва и будем надеяться, что бензин закончится до того, как мы в самом деле сорвёмся». Это не кажется мне разумной стратегией.
Тогда давайте в своей работе исходить из мысли, что мы «преуспеем». Я не стану утверждать, что мы преуспеем за какое-то определённое количество времени, так как знаю, что в таком случае меня процитируют в газетах, а я этого не хочу. Но давайте предположим, что такое может случится. Когда я говорю с физиками, они мне заявляют, что нет никаких препятствий, чтобы в будущем суметь «лучше» упорядочить атомы и выполнять вычисления гораздо быстрее и эффективнее, чем сейчас. Способности компьютера, таким образом, превзойдут человеческие. Сейчас очевидно для каждого, что прогресс ускоряется, и это не просто коммерческий хайп (хотя не без него). Когда я разговаривал со своими коллегами, мы выяснили, что у нас всех были моменты, когда мы восклицали «вот это да!». Это когда видишь реализацию какого-то определённого аспекта прогресса, который, по твоему мнению, просто невозможно было воплотить на данной стадии развития науки.
Одна из причин акселерации науки — это то, что её теоретические основы сейчас довольно тверды. Они основаны на рациональном принятии решений, статистике и понимании, как работают восприятие и язык. С этим становится возможным построить кумулятивно что-то, чего мы никогда не видели в ранние дни развития информатики. Говоря про историю, в первые двадцать лет было большой удачей найти научную работу, которая бы основывалась на исследованиях хотя бы двух или трёх предшественников. Но сейчас накоплено достаточно теории, и практика подтягивается за ней. Обучение с подкреплением (reinforcement learning) и техники глубокого обучения (deep learning) постепенно отбирались из идей, которые существовали двадцать лет назад. С новыми поправками они вдруг заработали очень хорошо, и мы стали свидетелями небывалого прогресса в прикладных задачах, таких как распознавание речи или компьютерное зрение.
Сейчас можно использовать универсальные языки, чтобы описывать вероятностные модели любой сложности. Всё, что может быть записано на любом языке мира, может быть записано на этих языках очень кратко. И наш фокус смещается с инструментов на проблему — как принимать решения в долгосрочной перспективе, где за планами последуют миллионы, или даже миллиарды, физических действий разных людей. Тем не менее, нам бы хотелось планировать в такой широкой перспективе. Я иногда читаю лекции под названием «Жизнь выбирает из двадцати триллионов шагов». Двадцать триллионов — это примерно столько, сколько вы совершаете за время своей жизни. Это число может показаться чрезмерно большим, но оно верно, если рассматривать действия как активации отдельных мышц.
Мы все были свидетелями недавних успехов ИИ, и может быть самый большой на моей памяти — это победа Deep Blue над Гарри Каспаровым в 1997-м. Пару месяцев назад компьютер обыграл лучших игроков в одну версию покера. Deep Mind, который сейчас является частью корпорации Google, разработал систему обучения с подкреплением, которая использует глубокое обучение, чтобы представить ценностную функцию [интеллектуальных агентов]. Эта ценностная функция формируется, когда система учится. Входные данные системы — это экран видеоигры Atari (640×480 пикселей), больше никаких других входных данных нет. Система «рождается», она открывает глаза и видит над своей колыбелью видеоигру. За несколько часов она научается играть в эту видеоигру на уровне сверхчеловека. Это было опробовано для более чем тридцати видеоиграх. И если бы вечером того дня, когда ваш младенец родился, он мог бы играть в добрый десяток видеоигр Atari на уровне суперигрока, вы бы обеспокоились.
Вот это финал викторины «Джеопарди» (Jeopardy).
По уровню она — не для интеллектуалов со стажем, но тоже ничего: она не совсем тривиальна — в ней много игры слов, трюков в манере постановки вопросов. Чем-то похоже на кроссворд. В целом, в «Джеопарди» насчитывается около 110 разных категорий вопросов и типов логической связи между вопросом и ответом. Watson — компьютерная система, построенная IBM для того, чтобы играть в «Джеопарди». Ватсон был натренирован распознавать все типы вопросов. Вдобавок, он «обладает» энциклопедическим знанием, которое он добывает автоматически из интернета (у него нет базы данных, созданной вручную по каждому вопросу). И он играет значительно лучше, чем лучшие «человеческие» игроки, некоторые из них — очень умные и начитанные (некоторые даже профессора Беркли).
Некоторые из вас наблюдали за прогрессом в области беспилотных автомобилей. Вот — стандартное качество изображения, с которым работает система.
Машины проехали на данный момент почти миллион миль без каких-либо серьёзных аварий.
А вот это — мой коллега Питер сделал робота.
Вы видите перед роботом гору полотенец. Если у вас есть ноутбук или телефон, вы можете посмотреть видео, как робот складывает полотенце, просто написав в поисковой строке «robot towel folding». Робот берёт полотенце, осматривает на предмет углов и складывает его довольно неплохо. На самом деле, в цикл функционирования входят следующие действия: разобрать корзину грязного белья, положить бельё в стиральную машину, дождаться, пока машина закончит цикл, вытащить, положить в сушилку, подождать, вытащить, аккуратно сложить и положить обратно в корзину. Это действительно впечатляющий прогресс.
Следующий пример — это довольно новая задача в машинном обучении — делать подписи к картинкам.
Такие системы натренированы на миллионах картинок, которые были подписаны людьми в интернете. И вот вы снимаете новый кадр и спрашиваете «как его назвать?», и система предлагает «группа молодых людей играет во фрисби». Когда системы начинают быть способны на такие вещи с минимальным количеством человеческого инструктажа, это заставляет людей говорить «вот это да!»
Я коротко расскажу о работе своей исследовательской группы. Вот карта мест, в которых происходили ядерные взрывы.
Было два в Японии в 1945-м году. В сумме были убиты порядка 200 000 человек. Все остальные ядерные взрывы — это испытания. Кроме этого, в Советском Союзе было так называемое «мирное использование атомной энергии». Взрывы использовали, чтобы «копать» каналы или освобождать место для больших подземных помещений. Не очень успешное предприятие. Ещё 100 000 человек умерли от радиоактивных осадков.
Сейчас мы особо не думаем о ядерном оружии, но оно все ещё является серьёзной мировой проблемой. Есть соглашение (Договор о всеобъемлющем запрещении ядерных испытаний), которое запрещает испытание ядерного оружия на Земле. Это очень сильное соглашение, и, если будет получено убедительное доказательство, что кто-то испытывает ядерное оружие, и это доказательство будет представлено [Исполнительному] совету государств [— участников соглашения], он может войти в страну с инспекцией и исследовать территорию в тысячу квадратных километров на предмет следов испытаний ядерного оружия. К сожалению, США предложили этот договор 57 лет назад и до сих пор не подписали соглашение, которое сами же предложили. Это удивительная ситуация. Когда президент Клинтон попробовал провести соглашение через Сенат, его оппоненты заявили, что утверждение, что кто-то испытывает ядерное оружие, будет невозможно подтвердить: «У нас пока нет достаточно точных механизмов детектирования, чтобы обнаружить обманы (в виде тайных ядерных испытаний), возможные со стороны других наций». ООН построило с этой целью сеть станций вокруг света, большая часть из них — сейсмические станции для обнаружения вибраций, вызываемых взрывами.
Это достаточно сложная проблема, так как на Земле по сотне раз в день случаются землетрясения, которые вызывают такую же или даже более сильную реакцию, чем ядерные взрывы. Кроме этого, люди могут попытаться «замаскировать» ядерные взрывы с помощью разных умных техник, так чтобы они были похожи на другие сейсмические события. Можно взорвать бомбы одну за другой, чтобы создать что-то похожее на сейсмическое событие (типа обычного землетрясения). Это очень сложная проблема. Я привёл этот пример, чтобы показать значение универсальных вероятностных языков, которые сейчас появились в ИИ.
Используя один из этих вероятностных языков, система будет работать сразу после нескольких часов обучения. Вот программа, которую мы написали на таком языке.
Это, в сущности, решение задачи со взрывами. Я не ожидаю, что вы все сейчас прочитаете и поймёте этот код (и у нас не будет теста после лекции :)). Код описывает физику потоков сейсмических событий — физику того, как сейсмические или ядерные события проходят и как распространяются сигналы, как их распознать и какие ошибки при распознавании существуют, какие шумовые процессы проходят в земле. Мы просто пишем большую вероятностную модель, как эта, обучаем её на сигналах со всех сейсмических станций во всём мире и затем задаёмся вопросами: что случилось в каком-то конкретном случае, какие события произошли, где и насколько большими они были. То, что мы придумали, — лучшее объяснение для наблюдений, которые к нам поступают.
Этот график показывает процент ошибок системы, которая обычно используется для такого типа задач.
Процент ошибок (неправильных классификаций) — между 30 и 50%. Применяя модель, которую мы только что показали, мы смогли понизить этот процент до 10%, и мы пытаемся ещё его снизить.
На этом изображении показано испытание ядерного оружия в Северной Корее в 2013-м году.
На этом изображении показано испытание ядерного оружия в Северной Корее в 2013-м году. На карте — местность, на которой произошёл взрыв; там также обозначена подземная горная выработка, и фактически взрыв произошёл недалеко от неё. Крестом обозначена оценка нашей системы, а треугольником — совмещённая оценка большинства геофизиков и всех автоматизированных систем. Наша оценка гораздо точнее. Мораль такова — что раньше требовало работы сотен людей, теперь может сделать ИИ. ООН выделила более ста миллионов долларов только для того, чтобы разработать программное обеспечение для решения этой проблемы. Её пытаются решить уже в течение ста трёх лет, с тех пор, как была написана первая научная работа о сейсмической локализации. В течение нескольких месяцев с помощью этой системы мы получили гораздо лучшие результаты, чем результаты ПО, написанного для ООН. И всё потому, что ИИ предоставил инструменты, которые могут описать проблему простым языком и решить её почти автоматически.
Если вы занимаетесь научным руководством в области информатики, вы не могли не заметить, что очень сложно удержать студентов в науке, потому что их быстро «крадут». За последние пять лет индустрия вложила значительно больше денег в ИИ, чем государства — с начала существования исследовательской области. Скорость поступления инвестиций впечатляет. Причина проста — в нескольких сферах, и я перечислил некоторые из них, виден значительный прогресс. В лабораториях производительность росла достаточно стабильно и даже значительно увеличилась. Но для нас, учёных, всё, что происходит в лабораториях, выглядит как непрерывный прогресс. Вне лабораторий, в коммерческом мире, прогресс «в лабораториях» был абсолютно невидимым, потому что он был не «на уровне», когда бизнес мог бы его «продать». Как скоро прогресс пересекает определённую границу, он начинает «существовать», и возникает важная петля обратной связи: прогресс формирует рынок, и возникает ценность для дальнейших улучшений качества и производительности (можно повысить стоимость «улучшенных» товаров, можно увеличить долю рынка, которую вы занимаете, можно найти новые применения товаров). И так вы будете вкладывать больше денег, и у вас будет производственный цикл другого масштаба, проходящий с другой скоростью (и с другим объёмом финансирования исследований!). Мы уже видели весь этот процесс на примере беспилотных автомобилей, но мне кажется, мы увидим это и для домашних роботов, и для умных помощников (smart helpers) — это будут две новые большие сферы ИИ, которые люди смогут использовать в повседневной жизни.
Сказав всё это, мы опять возвращаемся к вопросу: «А что если мы преуспеем?» Ирвинг Джон Гуд (I. J. Good) написал очень сильную статью, в которой было одно высказывание, ставшее знаменитым: «Первая сверхразумная машина — это последнее изобретение, которое потребуется человечеству». Если мы посмотрим на историю, то увидим, что мы стали людьми из-за того, что опережали другие виды именно умом — наш вид не является самым быстрым или устрашающим. Ум сделал нас людьми. И если мы сможем использовать машины, чтобы усилить наш интеллект, тогда мы решим все остальные проблемы (по крайней мере, кажется, что так). У нас есть очень хорошие проекты, которые могут стать реальностью, если ИИ наберёт обороты. Эта перспектива вдохновляет многих людей в сфере ИИ.
Джеймс Лайтхил (James Lighthill) сказал, что «мы — грустные люди, которые не могут иметь детей, поэтому мы строим роботов вместо этого». Но люди с помощью ИИ могут сделать много очень полезных вещей, которые просто невозможны без него. Гуд также пометил, что «сверхразумная машина сможет проектировать лучшие машины, и это будет «взрыв разума», и разум человека останется далеко позади…» Это его утверждение часто цитируют… И он продолжает: «…И любопытно, что на этот момент редко обращают внимание за пределами научной фантастики». Серьёзные люди из элиты разработчиков ИИ просто не обращают внимания на то, что, по мнению Гуда, является очень важной проблемой.
Возвращаясь к метафоре «съезжания с обрыва» — мы на дороге, дорога идёт прямо, и мы видим, что дорога заканчивается обрывом где-то впереди. Почему же мы продолжаем? Может быть, стоит задуматься о том, чтобы сменить направление? Недавно вышла статья, для которой Макс Тэгмарк (Max Tagmark) подал идею, но в итоге её написали несколько членов комитета Центра стратегических и современных исследований (Сenter for Strategic and Contemporary Research, CSCR) в соавторстве. Статья была опубликована в газете Huffington Post, она включала два следующих утверждения: 1) если мы преуспеем, то этот успех будет самым величайшим событием в человеческой истории; 2) важно, чтобы это событие не стало последним в человеческой истории. И я не думаю, что первое утверждение — это преувеличение. Интересно, что эти утверждения почти что стали фольклором. Когда я был в Женеве, я очень удивился, когда посол Китая процитировал их в своей речи на открытии дискуссии ООН о возможном соглашении о запрете автономного оружия (autonomous weapon).
Смысл вопроса очень простой — как нам сделать так, чтобы, следуя по этой дороге, мы не упали в пропасть? Учитывая, что это очень важно, я бы сказал, что над этой проблемой думали недостаточно. Давайте проведём мысленный эксперимент. Представим альтернативную глобальную опасность — что к нам скоро прилетят «очень крутые» инопланетяне. Однажды мы на домене ООН (un.org) получили письмо, адресованное «всему человечеству», в котором значилось: «Мы навестим вас через 30—50 лет». И что же мы ответили? Мы отправили им сообщение автоответчика: «Человечества нет на месте». Это наше текущее положение дел, учёные от ИИ просто мямлят что-то себе под нос, и это — плохой ответ на глобальную угрозу.
Частично проблема заключается в том, что на данную тему опубликовано много «несерьёзной чепухи». Вот цитата из Гарвардского бизнес-обзора (Harvard Business Review) 2014-го года, журнала, который обычно отличается серьёзностью и чувствительностью к проблемам: «К 2025-му году году эти машины будут иметь IQ выше, чем 90% населения США». Что это, чёрт возьми, может значить? Компьютеры вообще не имеют IQ, мы не можем говорить о низком или высоком IQ. Компьютер может быть мировым чемпионом по шахматам, и он совершенно не сможет играть в шашки (хотя на самом деле мировые чемпионы по шахматам обычно не очень хорошо разбираются в шашках). Понятие IQ — оно о том, что есть значительная корреляция между человеческими способностями выполнять разные интеллектуальные задания. Некоторые люди утверждают, что на самом деле нужно ввести несколько мерок IQ. Но для машин будет нужно использовать бесконечно много IQ: шахматный IQ, шашечный IQ, IQ по французскому или по английскому, и т. д. Каждое компьютерное задание выполняется вне зависимости от других, не взаимодействует с заданиями, которые выполняются параллельно. Это отчасти объясняет, почему Deep Mind превзошёл наши ожидания, — он действительно оказался способен научиться играть во множество различных игр без какой-либо сторонней помощи. Игры при этом довольно разнообразные: шутеры, аркады, автогонки и др. Компьютер может научиться играть во все эти игры. Это ранний знак того, что создание общего интеллекта возможно.
Часто делают предсказания относительно даты возникновения общего ИИ, которые основываются на увеличивающейся с космической скоростью мощности компьютеров. Проблема в том, что слово «мощность» обычно используется в узком техническом значении — число операций с числами с плавающей запятой на секунду на доллар. В самом деле, это число увеличивается очень быстро. Но проблемы начинаются, когда мы начинаем измерять «мощность» в количестве «человеческих мозгов», говоря, что к 2029-му году компьютеры превзойдут человеческий мозг, а через семь лет после этого будут работать лучше, чем все человеческие мозги в сумме. Это очень неловкое утверждение, потому что сейчас программы «тупы» почти по всем параметрам. И если у нас будут компьютеры, которые будут выполнять задачи в тысячу раз быстрее, чем сейчас, то они просто будут выдавать глупые ответы намного быстрее. Я немного преувеличиваю, но это не будет действительно тем прорывом, который нам нужен, чтобы создать новые структуры логического обоснования и обучения, необходимые для возникновения «общего ИИ». Я предлагаю просто запретить все такие диаграммы, измеряющие мощность в человеческих мозгах.
Журналисты часто говорят: «Если люди начали говорить на эту тему — значит это срочное дело и нужно экстренно придумать какое-то решение». Некоторые учёные мне даже говорили: «Я должен остановить своё исследование прямо сейчас, потому что что бы я ни делал, я постоянно подвергаю человечество риску». Это утверждение на самом деле неверно, а «поворотный момент» в истории ИИ наступит не завтра. Но причины для волнения должны быть не потому, что появление общего ИИ ожидается в скором времени. Не нужно быть на грани обрыва, чтобы начать говорить: «Знаете, вы едете в направлении пропасти». Как я покажу через пять секунд, очень сложно предсказать этот прорыв, и, хотя я верю, что он неизбежен, я не могу утверждать, что он наступит через пятьдесят лет и не позднее. Очень сложно предсказывать точное время технологических прорывов. «Если есть ненулевая вероятность такого прорыва, не важно, малы риски или велики. Если они не пренебрежительно малы, нужно срочно понять их масштаб, а также сообразить, может ли что-то быть сделано в случае, если опасность станет действительно серьёзной, как, например, с изменением климата или с падением астероидов. Чем скорее мы что-нибудь придумаем относительно ИИ, тем лучше», — это мантра Центра стратегических и современных исследований.
К сожалению, многие популярные статьи по этой теме ссылаются на ИИ скорее для того, чтобы «полноправно» использовать картинки «роботов-терминаторов». Даже если вместо пресс-релиза я предоставлю пустую страницу, журналисты всё равно придумают «стрёмные» заголовки с картинками устрашающих роботов на титульной странице. Но армии роботов — это не та опасность, которой мы ждём. Если задуматься, — когда люди совершали ужасные поступки и наносили непоправимый вред этому миру, главным двигателем разрушения были речи и разговоры. Весь вред был нанесён с помощью убеждения большого количества людей, что нужно делать вещи, которые бы заставили страдать миллионы других людей. То есть, можно оказывать влияние на глобальном уровне просто имея доступ к интернету — доступ к миллионам экранов.
Часто встречается мнение: «Мы не должны беспокоиться об этом, потому что в любом случае роботы станут внезапно вредить человечеству, и мы никак не сможем это заранее предусмотреть». С чего бы это случилось? Мы тоже в каком-то смысле — искусственный интеллект, и мы не становимся злыми безо всякой причины. Спонтанная недоброжелательность — это нелепая идея, и некоторые нарративы об ИИ включают такую спонтанную недоброжелательность (особенно в фильмах). Но на самом деле риск исходит от человеческих решений. В реальной жизни не существует злого парня, который в своём гараже, как в фильме «Из машины» («Ex Machina»), разрабатывает что-то без малейшего понимания того, что на самом деле он делает.
Наша цель как учёных — сделать лучшие системы принятия решений. Поэтому я говорю, что, кажется, дорога ведёт прямо в пропасть — если мы просто будем по ней идти, как мы делаем сейчас. Давайте я попробую объяснить, почему мне кажется, что дорога ведёт в пропасть, и потом я расскажу, что мы можем предпринять. Проблема со всё время улучшающимся ИИ заключается в следующем: то, что он «хочет» сделать — это часто совсем не то, что «мы» «действительно» хотим, чтобы он сделал. Если бы эти две цели совпадали, тогда, я думаю, мы бы не жаловались. Мы могли бы жаловаться, что умираем от безделья. Но, очевидно, если система делает что-то, что нам не нравится, и она гораздо умнее нас, то это проблема. Я ставлю в кавычки «мы», потому что, очевидно, нет никакого единого «мы», есть просто много нас, и мы все хотим разные вещи. И я ставлю в кавычки «действительно», потому что на самом деле очень сложно выяснить, что мы «действительно» хотим. Когда вы построите суперумную машину, вы должны будете дать ей такие задачи, выполнения которых вы действительно хотите. И опасность возникнет тогда, когда вы дадите ей что-то, что окажется не тем, что вы на самом деле хотели (потому что вы не слишком хороши в формулировании своих желаний или просто не знаете, чего вы действительно хотите). Машина начнёт выполнять задание, и в какой-то момент вы поймёте, что вам это не нравится.
Во всех научных областях, в которых речь идёт об улучшении процесса автоматического принятия решений, считается, что обязанность постановки задачи лежит во «внешней среде», она учёных не касается. Но это мнение неверно. Мы постараемся заполнить лакуну — мы посмотрим на то, как процесс постановки задачи оптимизировать. Важно понимать, что ответственность за формулировку задачи лежит на нас. «Целью» может быть всё что угодно, покуда оно удовлетворяет правильному набору аксиом — это почти что религиозная заповедь теории утилитаризма. Мы назовём цель — «функцией полезности» (utility function). Фундаментальная ошибка, которую мы просто не можем позволить — это плохая формулировка функции полезности. Многие люди выражали подобные мнения, Ник Бостром (Nick Bostrom), в частности, собрал вместе такие утверждения и сделал так, чтобы они звучали очень убедительно — посмотрите на его пример «максимизатора скрепок». У Марвина Минского (Marvin Minsky) был пример, когда единственной целью ИИ являлось бы как можно точнее вычислить число Пи. Можно даже поставить перед ИИ такую задачу как «вылечить рак». Если её «скормить» суперумной машине без того, чтобы убедиться, что она понимает все остальные человеческие ценности, и что это в самом деле не самая главная цель (вылечить рак), и что есть много компромиссов, которые она должна сделать, которые человек бы сделал просто по своей природе, — всё закончится плохо. Человек по умолчанию понимает, что, когда вы говорите «я хочу вылечить рак», вы не имеете в виду уничтожить человечество, и, следовательно, «устранить рак». И тоже самое со скрепками. Мы не хотим, чтобы этот мир был везде и всюду покрыт скрепками, мы просто хотим, чтобы было достаточно скрепок для какой-то конкретной задачи. Эта история стара как мир. У царя Мидаса была такая же проблема — он определил неправильно свои желания, сказав: «Я хочу, чтобы всё, к чему я прикоснусь, превращалось в золото». Он получил буквально то, что хотел, и понял слишком поздно, что это ему не нравится. Он не мог больше есть и пить и умер от невзгод. Ещё — мы все помним сказки про джинна — есть три желания, и, когда настаёт время третьего, вы просто загадываете «откатить» два предыдущих желания, потому что вы неправильно определили ваши цели. В мифологиях это встречается вновь и вновь.
Важно также убедиться, что машину, выполняющую задачу, никто не выключит. Это наиболее вероятная причина сбоя суперумной системы в процессе выполнения её миссии. Вы должны соблюсти все предосторожности и убедиться в том, что этого не случится. Ещё один аргумент — можно повысить вероятность достижения цели, предоставляя больше финансовых или физических ресурсов для выполнения задания. И я думаю, что фильм «Превосходство» (Transcendence) отлично иллюстрирует, как работают эти аргументы на практике. В нём показано, как происходит сверхбыстрое развитие ИИ в системе, которая захватывает контроль над множеством денег и ресурсов и находит эффективную стратегию самозащиты. Если совместить ресурсы с рассогласованностью ценностей, у нас будет суперумная и действительно хорошая в самозащите система, выполняющая вещи, которые нам не нравятся. Она будет получать все ресурсы, в которых человечество может нуждаться для какой-то другой задачи. Эта проблема уровня «Космической Одиссеи 2001-го года» (2001: A Space Odyssey), в которой желания «Хала» (суперкомпьютера) не совпадают с желаниями людей.
Если думать о проблеме как о задаче оптимизации — нужно будет опускать какие-то переменные, которые для нас не важны. Это в природе задач оптимизации, если системе на вход подаются переменные, которые не являются частью целевой функции, система вольна играть с ними как хочет. Часто, чтобы что-то оптимизировать, она присваивает таким «неважным» параметрам экстремальные значения (то есть, очень большие или очень маленькие). В простом математическом смысле это неизбежно, если только у вас нет достаточно хорошего приближения к целевой функции.
В общем, будет сложно убедиться, что система делает именно то, что вы хотите, эти системы будет сложно проанализировать. В стандартном мысленном эксперименте роботы уже умнее вас, поэтому вы никак не можете просчитать их действия и выяснить их цели. Потому что, если бы вы могли, вы были бы умнее машин. Есть много других технических вопросов, касающихся программного обеспечения (ПО) и ИИ. Мы привыкли тестировать «не-динамические» системы, которые не переписывают сами себя. Только благодаря этому критерию мы можем проверить, что ПО действительно удовлетворяет тем или иным критериям качества. Но здесь мы должны учитывать факт, что умные системы могут себя перепрограммировать так же хорошо, как и мы, они могут создать новые, более сильные, версии себя. Это заставляет задуматься о вопросах, на которые у нас ещё нет ответов.
Я считаю, что мы должны прекратить работать над ИИ в смысле улучшения процесса принятия решений. Мы должны добавить какие-то дополнительные свойства. В конечном итоге эти свойства будут включены в понятие «ИИ». Как и в случае с гражданским строительством, мы не называем дисциплину «строительство мостов, которые не падают». Мы просто говорим «строительство мостов». Конечно, мы не хотим, чтобы они падали. Мы должны думать в той же манере об ИИ. ИИ-системы должны быть спроектированы так, чтобы их действия были хорошо согласованы с желаниями людей. Но это сложная «неразрешимая» проблема, и о ней пока что мало кто задумывался.
Как нам такие системы с «доказанной пользой» создать? Я ставлю в кавычки «доказанную пользу», потому что польза — это плохо определённый термин. У нас нет чёткого понимания, как эта польза может быть доказана. Я сейчас пройдусь по основным идеям, которые люди предложили в этой области. Одна из первых вещей, о которой вы могли бы подумать — это сказать: «Хорошо. Если проблема в том, что система может изменять мир в глобальном масштабе и влиять на мир так, как нам бы не понравилось, давайте просто лишим ИИ возможности влиять на мир! Посадим ИИ в коробку, — это очень естественное желание, если, например, у вас есть тигр, посадить его в клетку. Мы «запечатаем» ИИ и не будем подключать его к Интернету». Но вы должны будете подключить его к чему-то, иначе он просто не сможет существовать. Предлагали делать системы, которые могут только отвечать на вопросы «да» и «нет». И было много аргументов, которые показывали, как такие «ограниченные» системы тем не менее могут причинить значительный вред человечеству. Я не буду рассказывать детально, но одна из точек зрения звучит следующим образом: «Даже если доказано, что эта система может служить только для того, чтобы отвечать на вопросы в формате «да» или «нет», всё равно машина должна будет контролировать своё собственное вычислительное поведение». В каком-то смысле, робот — это действительно субъект, а не объект, на метауровне. Он всё равно должен иметь возможность решать, какие вычисления выполнять. И если вы уберёте эту способность, вы также уберёте способность быть «суперумным отвечателем на вопросы». Я не уверен, но кажется, что если мы оставим «субъектность» на метауровне, то мы просто повторим тот же набор проблем, которых мы пытались избежать, ограничившись функцией ответов «да» и «нет».
Можно ещё рассчитывать на пошаговый прогресс. Если действительно сложно убедиться, что предлагаемый дизайн «суперумного субъекта» — безопасный, тогда мы могли бы сделать суперумные «контролёра», чьё единственное задание было бы — смотреть на дизайны ИИ, которые мы предлагаем, и говорить «да, этот дизайн безопасный, если вы его развернёте, не будет никакой катастрофы для человечества». Такие «контролёры» будут возникать постепенно — вы улучшаете технологии проверки, и это вам позволяет разработать новое поколение ИИ-субъектов, и такими скачками вы продолжаете. Если прогресс будет идти по такому сценарию, это, в принципе, сможет сработать, но я не уверен. Это — открытый вопрос, является ли задача разработки системы-контролёра более простой, чем системы, которая сможет принимать, а не только верифицировать решения.
Есть много актуальных вопросов, на которые мы просто должны дать ответы. Я думаю, большинство этих вопросов могут быть сформулированы математически и решены точно. В данный момент мы говорим об ИИ-системах, у которых есть цели (например, делать скрепки, защищать себя и т.д.). Но это всё — просто слова. Есть ли действительно какое-то объективное значение слова «цель», чтобы мы могли сказать «субъект, воплощённый вот в этой машине, имеет такую-то конкретную цель»? До сих пор нет ответа на этот вопрос. Хотя это достаточно состоятельный вопрос, и на него можно ответить. Нет и ответа на вопрос сравнения субъектов (в смысле, какой ИИ «лучше»). Хотелось бы также получить ответ на вопрос, можем ли мы быть уверены, что определённый дизайн субъекта никогда не перепишет те цели, которые мы предоставили. Даже если мы поймём, какая у нас «правильная» цель, и мы вложим её в робота, сможем ли мы доказать, что он никогда её не заменит на что-то другое? Это сложно сделать сейчас, но я думаю, что с аккумуляцией математических достижений мы сможем добраться до точки, когда это станет возможным.
Я сейчас больше склонен работать над проблемой согласования ценностей. Рассогласованность ценностей — это главная причина возможных проблем. В будущем мы сможем создать системы, чьи ценности будут достаточно согласованы с человеческими. Есть такой концепт «обратно стимулированного обучения» (inverse reinforcement learning), который является переделкой понятия из экономики («структурная оценка марковского процесса принятия решений»). Обучение с подкреплением (reinforcement learing) обозначает, что вам даются «награды» в зависимости от того, как хорошо вы себя ведёте, и вы учитесь вести себя так, чтобы максимизировать сумму вознаграждений. Этот метод хорошо работает на практике, его использует Deep Mind, чтобы учить систему играть в видеоигры. Есть также сведения, что многие процессы обучения людей и животных построены по этому образцу. Обратно стимулированное обучение — это противоположность обычного обучения с подкреплением. Здесь мы наблюдаем поведение других, и мы пытаемся выяснить, какую функцию вознаграждений и целей это поведение пытается максимизировать. Я утверждаю, что, несмотря на то, что мы точно используем механизм «научения с подкреплением» для передачи наших человеческих ценностей, по мере того как люди растут и учатся, они пользуются как раз обратно стимулированным обучением (ОСО). Они не получают систему ценностей напрямую от других людей, а пытаются понять, как люди себя ведут и как другие реагируют на такое поведение. Сейчас есть много литературы об ОСО [на английском]. Многие теоремы показывают, что в разных ситуациях такие алгоритмы после какого-то количества опыта научаются вести себя почти так же хорошо, как и тот субъект, которого они наблюдают (или выучивают близкое приближение к целевой функции того субъекта).
Но есть проблема. Представьте ситуацию: ваш домашний робот наблюдает, как вы с трудом пытаетесь встать из постели утром, сделать что-то смешное из коричневых объектов в форме фасоли при помощи очень шумной машины, откуда-то возникает пар, и т.д. Потом вы кладёте эту коричневую субстанцию в свой рот. Вы хотите, чтобы робот понимал, что кофе — это такая вещь, которая хороша для людей утром. Вы не хотите, чтобы ваш робот вдруг захотел кофе. Мы не хотим, чтобы роботы выучили человеческие ценности в смысле их принятия. Мы хотели бы, чтобы роботы максимизировали значение целевой функции, которая есть у людей. Они вообще не должны заботиться о себе. Правильный способ думать о роботах — это думать, что у них вообще нет никаких желаний. Единственное желание — это чтобы действия робота делали человека счастливее. Мы называем такое поведение «кооперативным обратно стимулированным обучением». Сейчас вопрос в том, чтобы узнать ценностную функцию такой мультисубъектной задачи, в которой равновесие Нэша максимизирует пользу для людей.
Когда вы начинаете работать с роботом, он не знает, какая у вас функция вознаграждений. Находясь в байесовском пространстве (пространстве вероятностей), мы можем определить предварительное распределение вероятности ценностной функции. И если у нас получится широкое значение, возникнет вопрос, что же всё-таки робот должен делать на самом деле. Моё представление — по умолчанию он должен быть способен выполнять ограниченный набор команд. Он должен стоять где-то позади, смотреть и учиться, задавать вопросы, осторожно исследовать наши предпочтения. У робота должна быть установка, что ничего не делать — лучше и безопаснее, чем делать реальные физические действия. Должна быть такая «предвзятость». С точки зрения теории игр, все действия являются «жетонами», которые можно выбрать, и один из «жетонов» — ничего не делать. Должен существовать сдвиг в функции, который бы заставлял робота выбирать именно этот «жетон».
Есть ещё несколько вопросов, которые я не понимаю до конца. И я буду рад обсудить их, если у вас будут какие-то идеи. В данный момент главная задача — проанализировать мультиагентные системы и показать, что максимальный вред, который робот может причинить человеку в результате того, что мы запустили его в мир, невелик (главным образом благодаря тому, что он не делает физических действий до того, как у него не сформировалось твёрдое представление о желаниях человека). Надо, чтобы роботы учились достаточно быстро, чтобы они сразу могли вытаскивать маленьких детей с оживлённого шоссе. С другой стороны, им не нужно по умолчанию знать, вмешиваться ли в драку между двумя взрослыми мужиками.
Если у нас есть предварительное распределение вероятности и функция конвертации рисков, величина вреда, нанесённого человеку роботом, будет зависеть от того, как хорошо вы приблизите ценностную функцию человека. Но интуитивно всё равно кажется, что вред будет скорее зависеть от того, насколько умным будет робот. Если суперумный робот будет работать суперкорректно — он действительно оптимизирует функцию вознаграждения в долгой перспективе, примет к учёту всю возможную доступную информацию, сделает все базовые вычисления правильно, — то ошибки, которые мы могли допустить в функции вознаграждения, будут потенциально преувеличены (это проиллюстрировано в научной фантастике). В конце концов могут произойти вещи похуже, чем мы ожидали. Отсюда возникает вопрос: в случае идеальных роботов и плохой формулировки целевой функции, по мере того, как мы делаем всё более умных роботов, как быстро должна распространяться ошибка в функции вознаграждения, чтобы мы могли избежать плохих исходов?
Это очень интересный набор вопросов. Можно ожидать, что какой-то умный аспирант или постдок займётся ими и сформулирует их так, чтобы можно было сделать хорошее исследование. Но есть сложности. Отстранившись от идеалистического мира информатики и научных работ, можно спросить: «Ну ладно, товарищ профессор, вы действительно предполагаете, что с помощью этих алгоритмов вы сможете получить роботов, которые со временем будут присматриваться к человеческому поведению и выучивать хорошее приближение к ценностной функции „уважаемых представителей человечества“?» Очевидная проблема обратно стимулированного обучения, — это то, что люди не ведут себя рационально и согласованно с какой-то единой функции пользы. У них есть множество опций выбора поведения: рефлекторное поведение, обдуманное поведение; у них есть части мозга, которые отвечают за базовые функции, такие как рептильный мозг, который остался с ранних этапов эволюции и отвечает на очень грубые стимулы. Человеческое поведение — это очень сложная система, составленная из подсистем принятия решений внутри мозга. И мы, конечно, ограничены в своих вычислительных возможностях. Мы не можем вести себя рационально.
Подумайте теперь о шахматах. Вы наблюдаете игрока, который пытается изо всех сил выиграть, но не может рассмотреть все 10^25 возможностей ходов. Он делает ход, который в конце концов будет решающим для его проигрыша. Если система действительно умна и видит этот ход, она не должна подумать, что человек на самом деле пытался проиграть. Несмотря на то, что ход был именно про это. Поэтому вычислительные ограничения людей абсолютно необходимо учитывать, чтобы дать роботам понять, как мы себя ведём и что мы пытаемся сделать. Вы можете делать шаги, которые не ведут к достижению цели, и тем не менее пытаться достичь эту цель. Конечно, у разных людей и культур есть разные ценности. Но я пока не знаю, что бы мы могли сделать, чтобы это учесть при проектировании роботов. И ещё, мы на самом деле не в полной мере сами выбираем свои решения — наши предпочтения зависят от степени развития общества. Да и некоторое поведение не максимизирует пользу конкретного индивида — максимизируется польза нашего вида или рода (например, распространение и унаследование генов).
Вообще, люди часто себя ведут совсем не рационально. Люди предпочитают обращать больше внимания на страдания, которые происходят поблизости, и игнорировать страдания в других частях света, даже если последние — гораздо страшнее. Но судить об индивидуальных решениях, смотря только на последствия решений, неправильно. С одной стороны, кажется абсурдным уделять больше внимания бездомным щенкам в родном городе, чем людям, которые умирают от голода на другой стороне Земли. Но с другой стороны, если бы каждый нашёл того человека, который страдает больше всех, и отдал ему все свои деньги и ресурсы, чтобы смягчить его страдания, это было бы так же абсурдно. «Локальное» поведение, кажущееся иррациональным, может быть более оптимальным на глобальном уровне. В итоге, непонятно, должны ли мы анализировать индивидуальные ценности, потому что они могут оказаться абсолютно абсурдными. Если всё-таки должны, то почему? Ответ прост. Во-первых, у нас есть для этого время, и у нас есть много информации: почти всё, что мы пишем, почти каждый фильм, каждая газетная история содержит информацию о людях, которые совершают поступки; множество реакций людей на действия — задокументированы.
Предположительно, суперумная система могла бы решить проблему кооперативного обратно стимулированного обучения. Используя этот огромный объём информации о реакциях, она могла бы создать нормальное приближение к тому, что мы подразумеваем под «достойным набором человеческих ценностей». Я смотрю на эту задачу оптимистически, потому что есть экономическая мотивация решить этот вопрос намного раньше, чем мы получим «общий искусственный интеллект». Потому что у ИИ должно быть понимание того, что люди ценят и что — не ценят. Вот пример, почему это важно: домашний робот замечает, что холодильник пуст, ему нечем накормить детей до того, как папа с мамой придут с работы. Он решает положить кошку на сковородку, чтобы приготовить обед. Хорошая новость заключается в том, что такой случай должен произойти только один раз в истории индустрии домашних роботов, чтобы некорректное поведение было устранено. Повторю, отточить ценностные системы домашних роботов — это первостепенная задача с точки зрения экономических мотиваций.
Вернусь к реакциям людей на мои опасения. Одна из них: «Этого никогда не случится, бензин просто кончится до того, как мы достигнем обрыва». Отвечая, я люблю цитировать один случай из истории. Резерфорд 11-го сентября 1933-го года прочитал речь для Британской ассоциации продвижения науки. В этой речи он утверждал: «Всякий, кто ищет источник энергии в трансформации атомов, выражает бредовые идеи». Это был не единичный комментарий, он повторял эту мысль вновь и вновь в газетных статьях, в интервью, в лекциях. Аргумент из этой речи был напечатан в газете Times на следующее утро и случайно прочитан Лео Силардом (Leo Szilard). Он был настолько раздражён этим высказыванием, что придумал теорию ядерной реакции. И мы пришли от «никогда» к «сейчас» за 17 часов. Поэтому я не готов сейчас говорить «этого никогда не случится». Несколькими годами позже Силард написал в своём дневнике следующее: «Мы погасили свет и пошли домой. Той ночью в моей голове почти не было сомнений, что мир катится по наклонной». На момент написания, он только что презентовал цепную ядерную реакцию. Он написал, что мир катится по наклонной, потому что они делали исследование в контексте гонки вооружений, в котором участвовала Германия (и потом Советский союз). В тот момент было слишком поздно думать, как сделать так, чтобы технология была использована только для мирных целей. У них не было выбора, они стали производить оружие. Герберт Джордж Уэллс писал про атомные бомбы уже в 1913-м (технология у него была описана неверно — вместо того, чтобы производить огромные взрывы, его бомбы делали обычные взрывы, но они длились несколько недель вместо того, чтобы происходить сразу).
Я не хочу возвращаться домой и писать что-то подобное в дневнике ни о каком из моих исследований. Поэтому мы должны решить проблему безопасности. Чем раньше мы её решим, тем проще будет это решение. Может статься, что это будет совсем просто. Это было бы здорово! Люди, которые волнуются об астероидах, знают, что нужна определённая ракета, определённая силовая установка, определённый тип взрыва, чтобы отклонить астероид до двух тысяч миль от его курса. Это для них как «дважды два четыре». Хорошо было бы иметь такого сорта решение и для ИИ. Тогда мы все могли бы вернуться к разработке ИИ и не думать про безопасность. Но никто до сих пор не придумал «чистенькое и простенькое» решение для этой проблемы. Далее будет всё больше и больше спроса на развитие ИИ от индустрии (в частности от военной индустрии, а военные интересы гораздо менее ограничены общественными дебатами, они не думают о проблеме «кошки на сковородке». Если их системы работают корректно 61% от всего времени работы, они уже довольны. У военных другая функция вознаграждения, чем у большинства из нас).
Нужно учесть, что потребуется много времени, чтобы решить проблемы безопасности ИИ. Давайте посмотрим на моменты в истории, когда человечеству нужно было изобрести регуляторную систему — свод законов или набор соглашений, в которых говорилось, что [любые] системы должны быть сертифицированы перед тем, как их вводить в использование. Введение законов обычно занимало много времени. Например, человечество пришло от страха химического (или биологичческого) оружия к соглашению о неиспользовании за 60—70 лет. Для ИИ у нас нет этих 60—70 лет. Некоторые думают, что уже поздно что-то делать. Так, например, утверждал Джордж Буш, говоря про глобальное потепление (до этого он вообще отрицал, что оно существует). Я надеюсь, что нет, не поздно. Другие думают, что мы ничего не можем сделать, так как мы не можем издать закон, запрещающий писать определённый тип формул на доске, он просто не сработает. А ведь наши прорывы — это просто математические вычисления, а не создание физической сущности, например, бактерии, которая спровоцирует масштабную эпидемию.
Так что создание таких правил будет намного сложнее, чем мы могли подумать. Но есть очень успешный прецедент с генной инженерией. На мастер-классе в 1975-м году в Асиломаре (Калифорния) было принято очень важное решение. Учёные дискутировали: «Одна из главных мотиваций генных исследований — это надежда, что мы сможем сделать самих себя лучше, но если мы пойдём по этому пути, мы построим общество, которое нам в конечном итоге может не понравиться. Мы, может быть, будем счастливы в нём, но сейчас кажется, что будет совсем по-другому». И они запретили генные эксперименты на людях (и у этого запрета есть механизмы применения). Запрет был очень успешен, и насколько мы знаем, до сих пор не было создано устойчивых наследуемых генетических изменений в человеческом геноме. Это было вполне возможно уже давно, просто в тот момент стало гораздо проще. Один из пунктов соглашения заключался в том, что нельзя получить согласие Управления по контролю за продуктами и лекарствами США (FDA) на любое лечение, которое основывается на таких (наследуемых) генетических модификациях.
Сейчас есть новый метод CRISPR, который является гораздо более точной и простой технологией изменения генома. Был ещё один мастер-класс ранее в этом году, учёные собрались и решили пересмотреть этот запрет, потому что одной из основных причин для него был риск, что серьёзные генетические проблемы будут широко унаследованы. Генные терапии прошлых лет не гарантировали, что не приведут к таким изменениям. Сейчас, я думаю, у людей есть отличное понимание, как точно и безопасно редактировать геном. Поэтому вопрос был пересмотрен. Учёные решили, что запрет должен продолжать существовать. Я думаю, этот запрет сейчас имеет гораздо более слабую основу, и в Китае есть группы учёных, которые уже начали проводить эксперименты. Но я думаю, консенсус продолжит существовать, просто потребуется больше публичных объяснений, почему он нужен.
В гражданском строительстве по умолчанию предполагают, что мосты не должны падать, и нет такого разделения — что одна группа проектировщиков занимается дизайном моста, а другая — работает над тем, чтобы он не упал. Это делает один человек. То же самое и в медицине. Гарантия безопасности — это часть того, что ты делаешь, автоматически. Работа медика такова, что ты в первую очередь думаешь о пользе людей, а потом только о дизайне метода. Хотя, конечно, есть субкультура «гаражных энтузиастов синтетической биологии», они занимают противоположную точку зрения. «Мы должны быть вправе делать то, что хотим, и любое ограничение, добровольное или правовое, просто противоречит нашей сущности как независимых изобретателей», — говорят они. Я не уверен, что могу с ними согласиться.
Другая реакция на размышления о безопасности ИИ (частая среди обывателей): «Вы не знаете, о чём вы говорите. Вы просто луддиты, которые стоят на пути прогресса, и мы все знаем, что случилось с луддитами, они были неправы. Вы, как те глупцы, которые говорят, что за изобретением колеса последовали кровавые бойни на дорогах, и тысячи людей умерли». Моей целью не является остановить исследования ИИ, и я не думаю, что этой целью задаются многие. Кто-то, конечно, задаётся, но по большей части люди просто хотят увериться, что изобретённый ИИ не будет вредить людям. И несмотря на все благие вещи, которые ИИ может сделать для человечества, мы не можем работать над ним, не обращая внимания на перечисленные выше вопросы. Мы хотим, чтобы ИИ продолжал развиваться и чтобы он помогал людям. Но мы должны сначала ответить на поставленные вопросы. Мы хотели бы изменить исследовательское поле так, чтобы мотивации учёных были похожи на мотивации строителей или на мотивации исследователей энергии ядерного синтеза. Целью исследователей ядерной энергии не является просто создать бесконечное количество энергии (это было бы очень легко). В 1952-м году водородный взрыв произвёл бесконечное количество энергии, даже больше, чем мы могли бы использовать. Но это не было выгодно для общества. Сейчас исследователи ядерного синтеза придерживаются политики сдерживания. По факту, эта политика занимает умы доброго большинства исследователей ядерного синтеза. Ответ на вопрос о том, как создать энергию, просто последует, когда они выяснят, что делать с проблемой сдерживания. Примерно этого мы хотим и для ИИ. Мы должны перестать называть это «этикой ИИ». Нужно просто выделить отдельное исследовательское направление. Но я не имею в виду, что нам нужно работать так, как будто кто-то ходит у нас за спиной и заглядывает через плечи в наши бумаги, проверяя наши тексты, и уверяясь, что они удовлетворяют требованиям этики — это супернеудачная попытка исправить ситуацию.
Я рад, что я читаю эту лекцию во времена, когда прогресс, кажется, двигается в правильном направлении — благодаря некоторым людям, которые присутствуют здесь, и благодаря некоторым другим (я должен отдельно сказать о Яане Таллине (Jaan Tallinn)), который развивал это направление за свой счёт долгое время). Недавно состоялась конференция в Пуэрто-Рико, организованная Максом Тэгмарком, которая собрала вместе нескольких главных исследователей и энтузиастов ИИ, среди которых был Илон Маск (Elon Musk). Сейчас как раз самое лучшее время, чтобы скорректировать направление движения исследований ИИ. Итогом этой конференции стало открытое письмо, названное «Исследовательские приоритеты для создания надёжного и полезного ИИ», которое многие люди подписали. За неделю у нас было шестьдесят тысяч подписей. Через несколько дней Илон Маск сказал, что даст десять миллионов долларов для финансирования института «Будущее жизни» (Future of Life Institute), который сотрудничает с Массачусетским технологическим институтом (MIT) и Гарвардом. Деньги сейчас предлагаются разным проектам на соревновательной основе в виде гранта.
AAAI, главная профессиональная организация по ИИ, долгое время настаивала, что этические и политические вопросы остаются вне компетенции и ответственности их профессионального сообщества. «Мы научное сообщество — а это ненаучные вопросы, значит они нас не интересуют», — говорили они. Сейчас эта позиция быстро меняется. Был создан комитет AAAI по этическим и социальным вопросам. У нас даже состоялась дискуссия об автономном оружии. Вскоре мы устроим голосование, профессиональное сообщество должно будет принять официальную позицию по этому вопросу. Пять лет назад сообщество исследователей ИИ относилось к этим вопросам несерьёзно, но с тех пор многое изменилось.
Когда Эрик Горвиц (Eric Horwitz) был президентом AAAI, он сформулировал для нас задание в области безопасности ИИ. Но не было никого, кто когда-либо поднимал хоть один из этих вопросов, членами комитета были среднестатистические исследователи-технари. В итоге они проигнорировали задание Горвица. Они сказали: «Да, мы конечно думаем об этом, но мы пока проигнорируем вас, так как нет ничего такого, что нуждается в срочном внимании, а ответы на вопросы подтянутся по мере того, как мы прогрессируем в наших исследованиях». Эта позиция значительно изменилась с тех пор, и не потому что люди вдруг увидели, в чём суть аргументов. Они задумались над многими вопросами из-за стремительного прогресса в ИИ: «Мы двигаемся вперёд, и мы наверно покатимся по этой дороге, давайте же посмотрим, куда она ведёт!» Говоря о скорости прогресса, мы в любом случае достигнем ИИ уровня человеческого разума в обозримые сроки, если не предпочтём остановиться.
Подводя итог, способы думать об ИИ изменились. Мы отошли от чистой цели создания сверхинтеллекта, дополнив её необходимостью ответить на изложенные выше вопросы. Кроме этого, теперь мы учитываем проблемы с целями, стоящими перед сверхинтеллектом, когда говорим про ИИ.
