Искусственный интеллект трудно запретить

Уже давно противники искусственного интеллекта высказывают опасения, что однажды машины станут умнее человека и поработят нашу расу. Что же делать — может, запретить изучение ИИ? По словам Стюарта Рассела, он «содрогается при мысли» о таком запрете. Рассел — всемирно известный специалист в области ИИ, недавно на русский язык перевели его книгу «Совместимость. Как контролировать искусственный интеллект». С позволения издательства «Альпина нон-фикшн» «ХХ2 век» публикует фрагмент о том, почему гипотетический запрет изучения ИИ — плохая идея.

* * *

Не нужно особого воображения, чтобы понять: неразумно создавать сущность, более умную, чем мы сами. Мы понимаем, что власть над средой и другими биологическими видами является следствием нашей разумности, и мысль о еще более умной сущности, будь то робот или инопланетянин, тут же вызывает тошнотворное чувство. Около 10 млн лет назад предки современной гориллы породили (честно говоря, по случайности) генетическую линию, ведущую к современным людям. Как гориллы к этому относятся? Очевидно, если бы они были способны рассказать нам о нынешнем положении своего вида в сравнении с людьми, то сошлись бы на крайне негативном мнении. У их вида, в сущности, нет будущего, кроме того, которое мы ему позволим. Мы не хотим оказаться в аналогичной ситуации перед лицом сверхинтеллектуальных машин. Я называю это «проблемой гориллы»: сумеют ли люди сохранить превосходство и автономию в мире, включающем машины с существенно более высоким интеллектом?

Чарльз Бэббидж и Ада Лавлейс, разработавшие и написавшие программы для аналитической машины в 1842 г., сознавали ее потенциал, но, по-видимому, не беспокоились из-за этого. В 1847 г., однако, Ричард Торнтон, редактор религиозного журнала Primitive Expounder, яростно выступил против механических калькуляторов:

«Ум… опережает сам себя и расправляется с необходимостью собственного существования, изобретая машины, которые должны вместо него мыслить… Как знать, однако, не замыслят ли таковые машины, будучи доведены до большого совершенства, устранить все свои недостатки, а затем напечь идеи, недоступные разуму простого смертного!»

Это, пожалуй, первое размышление об экзистенциальном риске, сопутствующем вычислительным устройствам, но оно осталось незамеченным. Напротив, роман Сэмюэла Батлера «Едгин», изданный в 1872 г., разработал эту тему с большой глубиной и сразу завоевал популярность. Эдгин — страна, где были запрещены все механические устройства после ужасной гражданской войны между сторонниками и противниками машин. В одной из частей романа, «Книге машин», объясняется причина этой войны и приводятся аргументы обеих сторон. Это жутковатое предвидение споров, вновь вспыхнувших в первые годы XXI в.

Главный аргумент противников машин — машины разовьются настолько, что человечество утратит контроль над ними: «Разве не создаем мы сами наследников нашего превосходства на земле? Ежедневно увеличивая красоту и тонкость их устройства, ежедневно наделяя их все большими умениями и давая все больше той саморегулирующейся автономной силы, которая лучше любого разума?.. Пройдут века, и мы окажемся подчиненной расой… Мы должны сделать выбор из альтернатив: продолжать терпеть нынешние страдания или наблюдать, как нас постепенно подавляют наши собственные творения, пока мы не утратим всякое превосходство перед ними, как дикие звери не имеют его перед нами… Ярмо будет ложиться на нас мало-помалу и совсем незаметно».

Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины: «Была лишь одна серьезная попытка ответить на это. Автор ответа сказал, что машины будут рассматриваться как часть собственной физической природы человека, будучи не чем иным, как внетелесными конечностями».

Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».

Известно, что роман Батлера был знаком Алану Тьюрингу, рассмотревшему долгосрочное будущее ИИ в лекции, с которой выступил в Манчестере в 1951 г.: «Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в «Эдгине» Сэмюэла Батлера».

В том же году Тьюринг повторил эти опасения в лекции по радио, транслировавшейся на всю Великобританию Третьей программой Бибиси: «Если машина умеет мыслить, то может мыслить разумнее нас, и что тогда ждет нас? Даже если мы сумели бы удержать машины в подчиненном положении, например, отключив питание в критический момент, мы как биологический вид чувствовали бы себя совершенно униженными… Эта новая опасность… безусловно, заслуживает того, чтобы из-за нее тревожиться».

Когда противники машин из Эдгина «почувствовали серьезные опасения за будущее», то сочли своим «долгом покончить со злом, пока это еще возможно» и уничтожили все машины. Ответ Тьюринга на «новую опасность» и «тревогу» — подумать о том, чтобы «отключить питание» (хотя вскоре станет очевидно, что это на самом деле не выход). В классическом научно-фантастическом романе Фрэнка Герберта «Дюна», действие которого происходит в далеком будущем, человечество чудом пережило Батлерианский джихад, катастрофическую войну с «мыслящими машинами». Возникает новая заповедь: «Не делай машину подобием человеческого разума». Эта заповедь запрещает любые вычислительные устройства.

Все эти радикальные реакции отражают рудиментарные страхи перед машинным разумом. Да, от перспективы появления сверхинтеллектуальных машин становится не по себе. Да, логически возможно, что такие машины могут захватить власть над миром и подчинить или уничтожить человеческую расу. Если это единственное, что нам светит, тогда, действительно, единственный разумный ответ, доступный нам в настоящее время, — это попытаться свернуть исследования в области ИИ, а именно запретить разработку и использование универсальных ИИ-систем человеческого уровня.

Как большинство исследователей ИИ, я содрогаюсь при мысли об этом. Кто смеет указывать мне, о чем можно думать и о чем нельзя? Любой, кто предлагает покончить с изучением ИИ, должен быть очень убедительным. Прекратить исследования ИИ означало бы отказаться не просто от одного из главных путей к пониманию того, как устроен человеческий разум, но и от уникальной возможности улучшить положение человека — создать намного более совершенную цивилизацию. Экономическая ценность ИИ человеческого уровня измеряется в тысячах триллионов долларов, и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпораций и властей. Он пересилит туманные возражения философа, как бы тот ни почитался в качестве «обладателя особого знания», по выражению Батлера.

Второе возражение против идеи запрета универсального ИИ — его трудно запретить. Прогресс в разработке универсального ИИ достигается, главным образом, в дискуссиях ученых из исследовательских лабораторий по всему миру, по мере возникновения и решения математических задач. Мы не знаем заранее, какие идеи и уравнения запрещать, и, даже если бы знали, не приходится ожидать, что подобный запрет будет осуществимым или действенным.

Еще больше осложняет проблему то, что исследователи, двигающие вперед разработку универсального ИИ, часто работают над чем-то еще. Как я уже замечал, изучение инструментального ИИ — специализированных безобидных приложений наподобие игровых программ, медицинской диагностики и планирования путешествий — часто ведет к развитию методов универсального характера, применимых к широкому спектру других задач, и приближает нас к ИИ человеческого уровня.

По этим причинам крайне маловероятно, чтобы сообщество по изучению ИИ — или правительства и корпорации, контролирующие законы и исследовательские бюджеты, — откликнулись на «проблему гориллы», запретив прогресс в области ИИ. Если «проблему гориллы» можно решить только так, она не будет решена. Единственный подход, который, вероятно, сработает, — это понять, что плохого несет в себе создание более совершенного ИИ. Оказывается, мы знаем ответ уже несколько тысячелетий.