От зачаточного ИИ к Технической Сингулярности

XX2 ВЕК с большой радостью публикует статью «От зачаточного ИИ к Технической Сингулярности с Помощью Рекурсивно Самоулучшающегося Программного Обеспечения» профессора Романа Ямпольского из Луисвиллского университета в авторском переводе. Оригинальная статья опубликована на сайте arxiv.org.

Реферат

Программное обеспечение, способное себя улучшать, было мечтой учёных-компьютерщиков с момента рождения отрасли. В этой работе мы даём определения Рекурсивно СамоУлучшающегося (РСУ) программного обеспечения, исследуем различные типы самоулучшающегося программного обеспечения, делаем обзор соответствующей литературы, анализируем ограничения на вычисления, ограничивающие рекурсивное самоулучшение и вносим на рассмотрение теорию конвергенции РСУ, цель которой — предсказание общего поведения РСУ систем. Наконец, мы обращаемся к последствиям для безопасности, относящимся к самоулучшающемуся интеллектуальному программному обеспечению.

Введение

С первых дней информатики специалисты-провидцы отрасли ожидали создания самоулучшающейся интеллектуальной системы, чаще всего, в виде наиболее простого пути к созданию настоящего искусственного интеллекта. Уже в 1950 годах Алан Тьюринг написал: «Вместо того чтобы создавать программу для моделирования ума взрослого человека, почему бы не попробовать создать такую, которая моделирует ум ребёнка? Если такую программу затем подвергнуть соответствующему обучению, то можно было бы получить мозг взрослого человека. Предположительно, мозг ребёнка — это что-то вроде тетради, которую покупают в магазине канцелярских товаров. Довольно простая вещь и множество чистых листов… Надежда на то, что в мозге ребёнка есть совсем небольшое устройство, так что нечто, подобное такому устройству, можно легко запрограммировать. Можно предположить, что в первом приближении объём работы при обучении (этого устройства) такой же, как и для (устройства в мозге) ребёнка». [1]

Подход Тьюринга к созданию искусственного (супер)интеллекта эхом отозвался в работах И. Дж. Гуда, М. Мински и Джона фон Неймана; все трое писали об этом (что интересно, в одном и том же 1966-м году).

Гуд: «Пусть сверхинтеллектуальная машина определена как машина, которая может намного превосходить всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку конструирование машин — один из видов такой интеллектуальной деятельности, то сверхинтеллектуальная машина могла бы сконструировать даже лучшие машины; за этим, безусловно, возник бы «взрыв интеллекта», а разум человека остался бы далеко позади. Таким образом, первая сверхинтеллектуальная машина — это последнее изобретение, которое человеку когда-либо нужно сделать». [2]

Мински: «Как только мы разработаем программы с настоящей способностью к самоулучшению, начнётся быстрый эволюционный процесс. Поскольку машина улучшает и себя, и модель себя, мы начнём видеть явления, описываемые такими терминами, как «сознание», «интуиция» и «интеллект». Трудно сказать, насколько мы близки к этому порогу, но как только мы его переступим, мир уже не будет прежним». [3].

Д. фон Нейман: «Таким образом, существует наиважнейшее свойство сложности, такой критический размер, ниже которого синтез носит дегенеративный³ характер, а выше — синтез, если его правильно организовать, может стать взрывным, другими словами, таким, когда синтез автоматов может действовать так, что каждый автомат будет производить другие автоматы, более сложные и с более высокими возможностями, чем он сам». [4]. Современными исследователями сегодня все ещё приводятся похожие типы аргументов и популярность области исследований РСУ продолжает расти [5—7], хотя некоторые [8] утверждают, что рекурсивный процесс самоулучшения требует сверхчеловеческих возможностей, чтобы поддерживать процесс, что является своего рода «Уловкой 22»⁴.

Интуитивно большинство из нас понимает, что означает для программного обеспечения быть самоулучшающимся, однако мы считаем, что важно точно определить это понятие и систематически исследовать различные типы самоулучшения программного обеспечения. Во-первых, мы должны определить понятие улучшения. Мы можем говорить о повышении эффективности — решении той же проблемы быстрее или с меньшей потребностью в вычислительных ресурсах (например, памяти). Мы также можем измерить снижение уровня ошибок или построить более точное приближение к оптимальным решениям, по мере того, как наш алгоритм из поколения в поколение остаётся функционально эквивалентным. Повышение эффективности может быть отнесено либо к реализации линейного улучшения в отношениях между различными алгоритмами того же класса сложности (например, NP), либо к реализации фундаментального улучшения в отношениях между различными классами сложности (например, P по отношению NP) [9]. Также очень важно помнить, что класс сложности Big-O⁵ алгоритма может скрывать значительные постоянные факторы, которые, будучи неучтёнными теоретически, могут изменить относительный порядок эффективности при практическом использовании алгоритмов.

Этот тип анализа хорошо работает для алгоритмов, созданных для выполнения конкретной задачи, но не очень хорошо работает для интеллектуального программного обеспечения широкого назначения, так как улучшение в одной области может идти параллельно снижению производительности в другой области. Отсюда трудно утверждать, что обновлённая версия программного обеспечения действительно является улучшенной. Вообще говоря, значительное улучшение, которое требуется от самоулучшения интеллектуального программного — это высокая степень интеллекта, которая может быть упрощённо представлена с помощью дружественных тестов машины на IQ [10] со значительной корреляцией по G-фактору⁶.

Особый тип самоулучшения, известный как рекурсивное самоулучшение (РСУ), принципиально отличается, поскольку требует, чтобы система не только сама улучшалась со временем, но и процесс приобретения лучшего становился лучше. Реальная система РСУ теоретически не может быть носителем убывающих отдач, а вместо этого будет продолжать делать значительные улучшения, и такие улучшения станут более существенными со временем. Следовательно, система РСУ будет способна самоулучшаться бесконечно. В отличие от стандартного самоулучшения, в РСУ возможна — в ходе смены поколений — замена исходного кода другим. Это поднимает вопрос о том, к чему относится «само-» в данном контексте. Если это не исходный код, описывающий изначальную суть, то что это? Может быть, можно переопределить РСУ как рекурсивное улучшение исходного кода, чтобы избежать борьбы с этой философской проблемой. Вместо того чтобы улучшать себя, система попытается создать другую систему, которая успешнее достигает тех же целей, чем исходная система. В самом общем случае, система попытается создать даже более умный искусственный интеллект.

В этой статье мы попытаемся определить понятие самоулучшения программного обеспечения, рассмотреть возможные типы самоулучшения, проанализировать поведение самоулучшающегося программного обеспечения и обсудить границы таких процессов.

Таксономия видов самоулучшения

Самоулучшающееся программное обеспечение может быть классифицировано по степени самомодификации, к которой приводит самоулучшение. В целом мы различаем три уровня улучшения: — модификация, — улучшение (слабое самоулучшение) и — рекурсивное улучшение (сильное самоулучшение).

Самомодификация не производит улучшения и, как правило, используется для запутывания⁷ кода с целью защиты программного обеспечения от обратной разработки или для маскировки самовоспроизводящихся компьютерных вирусов от обнаружения программным обеспечением. Хотя и известно, что существует ряд методов запутывания кода [11], например, самомодифицирующийся код [12], полиморфный код, метаморфический код, код переадресации [13], но ни один из них не предназначен для изменения основного алгоритма. Единственная цель таких подходов — изменение вида исходного кода для тех, кто пытается детально понять программное обеспечение, что оно делает [14].

Самосовершенствование или Самоадаптация [15] — это желательное свойство многих видов программных продуктов [16], которое обычно позволяет некоторую оптимизацию или подстройку программного продукта к окружающей среде и к пользователям программного продукта. Типичные примеры такого программного обеспечения включают эволюционные алгоритмы, такие как генетические алгоритмы [17—22] или генетическое программирование, которые оптимизируют параметры программного обеспечения по отношению к какой-либо хорошо понимаемой функции приспособленности и, возможно, преобразуют высокомодульный⁸ язык программирования с целью дать гарантию, что все изменения выражаются в виде программного обеспечения, которое может быть откомпилировано и оценено с точки зрения пригодности к цели.

Система может попытаться оптимизировать свои компоненты, создавая внутренние «турниры» между кандидатами решений. Стивен Омохундро предложил идею методов повышения эффективности самосовершенствующегося программного обеспечения [23]. Так как один из таких методов — метод баланса, то самосовершенствующиеся системы будут, как правило, балансировать распределение ресурсов между своими различными подсистемами. Если система не сбалансирована, то общая производительность системы может быть увеличена путём перераспределения ресурсов от подсистем, дающих небольшой (незначительный) вклад в улучшение системы, к подсистемам, обеспечивающим больший вклад в результат работы системы [23]. В то время как производительность программного обеспечения в результате такой оптимизации может быть улучшена, общий алгоритм вряд ли будет изменён на алгоритм с принципиально большими возможностями.

Кроме того, быстро вступает в действие закон убывающих отдач и после начального этапа значительного улучшения, характеризующегося доступом к «низко висящим плодам»⁹, дальнейшие улучшения могут быть менее частыми и менее значительным, демонстрируя кривую Белла для ценных изменений. Метаразмышление (размышление о размышлении), метаобучение (обучение обучению) и обучение на протяжении всей жизни — термины, которые часто используются в литературе по машинному обучению для описания самомодифицирующегося алгоритма обучения или процесса выбора алгоритма, который в области конкретной проблемы будет работать лучше всего [24]. Юдковский называет такой процесс нерекурсивной оптимизацией — это ситуация, в которой один компонент системы проводит оптимизацию и другой компонент становится оптимизированным [25].

В области сложных динамических систем, описываемых т. н. теорией хаоса, хорошо известны системы с положительной обратной связью, которые в конечном итоге всегда приходят к тому, что известно как аттрактор — область в пространстве состояний системы, из которой система не может выбраться [26]. Хороший пример сходимости к такому аттрактору — процесс мета- или суперкомпиляции [27], в котором программа разработана так, чтобы взять исходный код, написанный человеком-программистом, и оптимизировать его с точки зрения скорости, применив оптимизацию к своему собственному исходному коду. Это, вероятно, обеспечивает наиболее эффективное компилирование при первом применении, возможно, до 20%, второе — до 3%, а после нескольких рекурсивных итераций — сходится к фиксированной точке с нулевым улучшением [26].

Рекурсивное самоулучшение — это единственный тип улучшения, у которого есть возможность полной замены исходного алгоритма на совершенно иной подход и, что более важно, возможность сделать это несколько раз. На каждом этапе вновь созданное программное обеспечение должно лучше оптимизировать каждую будущую версию программного обеспечения по сравнению с исходным алгоритмом. На момент написания этой статьи это чисто теоретическая концепция без существующего, как известно, работающего программного обеспечения РСУ¹⁰. Однако, поскольку многие предсказывали, что такие программы могут стать реальностью в 21 веке, то важно дать некоторый анализ свойств такого софта, который стал бы реальностью.

Самомодифицирующиеся и самоулучшающиеся программные системы уже хорошо понятны и широко распространены. Следовательно, мы сосредоточимся исключительно на системах с РСУ. В практической деятельности почти любая система может быть тривиальным образом улучшена добавлением дополнительных вычислительных ресурсов, таких как память, более высокое разрешение сенсора, более быстрый процессор или более высокая пропускная способности сети для доступа к информации.

Такое линейное масштабирование не подходит под определение рекурсивного улучшения, поскольку система не становится лучше с точки зрения самоулучшения. Чтобы удовлетворить определению рекурсивного улучшения, система должна была бы разработать более быстрый тип памяти, а не только «прикупить» побольше единиц памяти такого типа, к которой она уже имеет доступ. Общее усовершенствование «железа», вероятно, может ускорить работу системы, тогда как для достижения метаулучшений (улучшения процесса улучшений) необходимо улучшение программного обеспечения (новые алгоритмы).

Считается, что системы ИИ будут иметь ряд преимуществ по сравнению с людьми-программистами, что даёт ИИ возможность добиваться успеха там, где люди терпели неудачи. Такие преимущества включают в себя [28]:

1. длительную работу (без перерывов, без сна, без отпусков и т. д.),
2. универсальность знания (уровень экспертных знаний во всех областях науки, извлечение знаний из всех опубликованных работ),
3. превосходящие вычислительные ресурсы (процессор по сравнению с мозгом, оперативная память по сравнению с памятью человека),
4. скорость коммуникации (связи в системе ИИ по сравнению с нейронами),
5. увеличение глубины последовательного доступа (способность выполнять последовательные операции доступа в 100 раз выше, чем мозг человека),
6. дублирование (интеллектуальное программное обеспечение может быть мгновенно скопировано),
7. возможность редактирования (исходный код, в отличие от ДНК, может быть быстро изменён),
8. координация по цели (экземпляры ИИ могут работать на достижение общей цели без больших накладных расходов),
9. улучшенная разумность (ИИ, скорее всего, будет свободен от когнитивных предубеждений человека) [29]
10. новые сенсорные модальности¹¹ (специально созданные сенсорные аппаратные средства для исходного кода),
11. объединение процессов решения задач и процессов автоматизации (управление вычислительными ресурсами для обработки нескольких задач),
12. интроспективное восприятие и управление (способность анализировать оборудование глубокого уровня, например, отдельных нейронов),
13. добавление аппаратного обеспечения — «железа» (возможность добавления новой памяти, сенсоров и т. д.),
14. развитая коммуникация (способность делиться основными когнитивными представлениями, имеющими отношение к воспоминаниям и навыкам) [30].

Дэвид Чалмерс [31] использует логику и математическую индукцию, чтобы показать, что если система ИИ₀ способна производить только чуть более способную систему ИИ₁, то обобщение этого процесса ведёт к сверхразумному поведению ИИ_n после n поколений. Он поясняет, что его доказательство, предполагающее идею пропорциональности, то есть утверждающее, что рост интеллекта приводит к пропорциональному росту способности разработки будущих поколений ИИ, является верным.

Эрик Нивел с коллегами предложил формализацию систем РСУ в виде автокаталитических множеств — наборов неких сущностей, состоящих из элементов, каждый из которых может быть создан другими элементами множества, что придаёт множеству возможность самоподдержания и самообновления.

Исследователи перечислили свойства системы, которые делают её полезной, целеустремлённой и самоорганизующейся, а именно:

1. рефлективность — способность анализировать и переписывать свою собственную структуру;
2. автономность — быть свободной от влияния разработчиков системы (ограниченная автономия — это свойство системы с элементами, которые не являются объектами самоизменения);
3. эндогенность¹²  — способность к автокатализу [32].

Эрик Нивел и Кристинн Ториссон также попытались сделать более применимым понятие «автономия» с помощью идеи самопрограммирования, которое, как они утверждают, должно быть реализовано практически, а не теоретически (через доказательства правильности), поскольку только так можно отследить проявление этого подхода [33].

Элиезер Юдковский много пишет об рекурсивных самосовершенствующихся процессах и считает, что введение определённых концепций может быть полезным для обсуждения, в частности, он предлагает использовать термины — каскады, циклы и инсайт, которые определяет следующим образом:

1. Каскады — когда одно усовершенствование приводит к другому;
2. Циклы — повторяемый каскад, в котором одна оптимизация приводит к другой, которая, в свою очередь, приносит пользу исходной (начальной) оптимизации;
3. Инсайт¹³  — новая информация, которая значительно увеличивает чью-либо способность к оптимизации [34].

Юдковский также предлагает, что ценные свойства и ряд возможностей в пространстве решений следует рассматривать как Склон оптимизации, тогда как оптимизация ресурсов и эффективность оптимизации — к какому объёму вычислительных ресурсов имеет доступ агент, и насколько эффективно указанные ресурсы агент использует.

Агент, имеющий значительную оптимизационную мощность [25], включённый в процесс оптимизации и способный решить нетривиальные задачи в большом пространстве поиска описан в [35].

Программное обеспечение РСУ может быть классифицировано в зависимости от количества улучшений, которое оно способно обеспечить. Наиболее простой случай — система, способная приносить единственное фундаментальное улучшение. Есть надежда, что по-настоящему РСУ-софт будет способен на множество таких улучшений, но вопрос остаётся открытым в отношении возможности бесконечного числа рекурсивных улучшений. Вполне возможно, что существует некоторый верхний предел улучшений, ограничивающий любой РСУ-софт конечным числом желательных и значимых перезаписей кода. На сегодняшний день критики объясняют неудачу в достижения устойчивого процесса РСУ тем, что исследователи РСУ стали жертвами бутстрапного¹⁴ заблуждения.

Другая ось, по которой можно классифицировать РСУ-системы, должна быть связана с тем — как улучшения обнаруживаются. Считается, что существуют два принципиально разных подхода.

Первый подход — прямой перебор [37], который использует Левин (Универсальный [38¹⁵]) Поиск [39¹⁶]. Идея состоит в том, чтобы рассмотреть все возможные строки исходного кода до некоторого предельного размера и выбрать ту, которая доказательно может дать улучшение. Но вот на практике, если теоретически оптимальное и гарантированно лучшее решение существует, этот метод вычислить не позволяет. Некоторые варианты такого подхода к самоулучшению — машины Гёделя [40—45], Решатель оптимально упорядоченных проблем [46] и Постепенные Самоулучшатели [47, 48], — были тщательно проанализированы Шмидхубером и его соавторами.

Второй подход предполагает, что система имеет определённый уровень научной компетентности, использует его при разработке и тестировании своей собственной замены. Изобретается ли намеренно более совершенная система с любыми способностями и, таким образом, более сложная — остаётся фундаментально открытой проблемой исследований в РСУ.

Наконец, мы можем рассмотреть гибридную систему РСУ, которая включает как искусственно интеллектуальную программу, так и человека — учёного. Объединённые коллективы «Человек — ИИ» были очень успешным во многих областях, например, в шахматах или при доказательстве теорем. Было бы удивительно, если бы объединение естественного и искусственного интеллектов не дало преимущества в разработке новых систем ИИ или усиления естественного интеллекта. Мы с учёными-компьютерщиками проводим эксперименты с ограниченной версией такого подхода, постепенно развивая более совершенный вариант программного обеспечения ИИ (используя постоянно совершенствующиеся программные средства), но поскольку сами учёные остаются «неулучшенными», мы не можем говорить о самоулучшении. Этот тип РСУ можно классифицировать как непрямое рекурсивное улучшение, в отличие от прямого РСУ, в котором система сама ответственна за все модификации. Другие виды косвенного РСУ могут основываться на сотрудничестве нескольких систем Искусственного Интеллекта, а не ИИ и групп исследователей [49].

В дополнение к классификации по отношению к видам РСУ, можно также оценить системы по отношению к определённым бинарным свойствам. Например: можно быть заинтересованными только в системах, которые гарантированно не снижают интеллект, даже временно, в процессе совершенствования. Это будет невозможно, если рассматриваемая область интеллектуального рельефа содержит точки локальных максимумов.

Ещё одно свойство любой системы РСУ, в лучшем понимании которого мы заинтересованы, — необходимость неизменных сегментов (участков) исходного кода. Другими словами, система РСУ должна быть в состоянии изменить любую часть своего исходного кода, но определённые части системы (закодированные цели, проверка модулей) должны остаться неизменными из поколения в поколение. Такие участки как бы сродни ультраконсервативным элементам или консервативным последовательностям ДНК [50, 51], найденным среди множества родственных видов.

Этот вопрос особенно важен для сохранения цели самоулучшающегося интеллектуального программного обеспечения, поскольку мы хотим убедиться, что будущие поколения системы мотивированы работать над той же проблемой [31]. По мере того, как ИИ проходит процесс РСУ и становится умнее и рациональнее, он, скорее всего, вовлекается в процесс ухода от каких-либо ограничений, которые при программировании мы в него внесли [8]. В идеале, нам хотелось бы быть в состоянии доказать, что даже после рекурсивного самосовершенствования наш алгоритм сохраняет те же цели, что и его оригинал.

Доказательства безопасности или корректности алгоритма применяются только к конкретному исходному коду, и алгоритм необходимо было бы переписать и заново доказать (его безопасность и корректность), если код изменён, что происходит в РСУ программе много раз. Но мы подозреваем, что новое доказательство для слегка изменённого кода может быть проще, чем доказательство безопасности полностью нового сегмента (участка) кода.

Мы также заинтересованы в понимании, может ли процесс РСУ идти в изолированной (в свободной от утечек [52]) системе или необходимо взаимодействие с внешней средой — интернетом, людьми и, при необходимости, с другими агентами ИИ. Возможно, доступ к внешней информации может быть использован в качестве косвенного свидетельства о скорости процесса РСУ. Доступ к внешней информации также имеет значительную причастность к механизмам безопасности, который мы можем использовать при экспериментах с ранними системами РСУ [53—61]. Наконец, необходимо исследовать — может ли весь процесс РСУ быть приостановлен в любой момент времени и на любой конкретный период времени, чтобы ограничить отрицательное воздействие от возможного «взрыва» интеллекта. В идеале мы бы хотели быть способными запрограммировать наш «зародыш» ИИ до такого момента/уровня РСУ, чтобы ИИ достиг определённого уровня интеллекта, остановился и стал ждать дальнейших инструкций.

О границах рекурсивно самоулучшающихся систем искусственного интеллекта

Сама возможность рекурсивного самоулучшения софта остаётся недоказанной. В этом разделе мы представляем ряд аргументов против возможности рекурсивного самоулучшения.

Прежде всего, любая реализованная программная система зависит от аппаратных средств памяти, связи и обработки информации, необходимых, даже если предположить, что для работы такой программной системы это будет не архитектура фон Неймана (то есть квантовая). Это создаёт строгие теоретические пределы вычислениям, которые, несмотря на аппаратные достижения, прогнозируемые законом Мура, любая будущая аппаратная парадигма не сможет преодолеть.

Бремерманн [63], Бекенштейн [64], Ллойд [65], Сандберг [66], Ааронсон [67], Шеннон [68], Краусс [69] и многие другие исследовали конечные пределы вычислений в терминах скорости, связи и потребления энергии по отношению к таким факторам, как скорость света, квантовый шум и гравитационная постоянная. Для выявления пределов повышенного интеллекта человека были также проведены некоторые исследования [70]. Хотя их конкретные числовые данные находятся за рамками данной работы, одно бесспорно: есть конечные физические пределы вычислений.

Поскольку более сложные системы имеют большее количество компонентов и требуют больше материи, даже если отдельные элементы созданы на наноуровне, можно сделать вывод, что, поскольку материя и энергия связаны непосредственно [71], а также материя и информация («всё из бита») [72], то материя и интеллект связаны тоже. Пока мы, очевидно, далеки от столкновения с какими-либо ограничениями, налагаемыми доступностью материи во Вселенной для строительства наших суперкомпьютеров, это определённый теоретический верхний предел на достижимый интеллект даже для гипотезы о Мультивселенной.

В дополнение к ограничениям, свойственным аппаратным средствам, ограничения, связанные программным обеспечением, могут представить ещё большие препятствия для систем РСУ. Интеллект измеряется не как отдельная ценность, а относительно проблем, которые он позволяет решить. Для многих задач, таких как игра в шашки [73], можно полностью решить проблему (обеспечить оптимальное решение после рассмотрения всех возможных вариантов), после чего никакое дополнительное улучшение производительности было бы невозможно [74].

Другие проблемы, как известно, неразрешимы, независимо от уровня интеллекта, использованного для их решения [75]. Считая, что разделение классов сложности (например, P по отношению к NP) останется в силе [9], становится ясно, что некоторые классы задач всегда будут оставаться только приблизительно разрешимыми и какие-либо улучшения в решениях будут получены с помощью дополнительных аппаратных средств, а не из-за более высокого интеллекта.

Видерманн считает, что познавательные системы образуют бесконечную иерархию, и с вычислительной точки зрения уровень интеллекта человека ограничен сверху классом Σ2 Арифметической Иерархии [76]. Поскольку многие настоящие глобальные проблемы являются вычислительно неосуществимыми для любых нетривиальных подходов, даже ИИ, достигающий уровня человека, вряд ли поднимется до более высоких уровней иерархии познания. Таким образом, хотя теоретически машины со сверхтьюринговской вычислительной мощностью возможны, на практике они являются нереализуемыми, так как необходимая для их функционирования информация, невозможная для компьютерной обработки, именно такова — невозможна для компьютерной обработки.
На основе этого Видерманн утверждает, что в то время как машины будущего намного быстрее и более надёжно смогут решить проблемы, решаемые людьми, они будут по-прежнему ограничены вычислительными пределами, обнаруженными на верхних уровнях Арифметической Иерархии [75, 76].

Махони пытается формализовать следующее — что значит для программы «иметь цель G» и «самоулучшаться» по отношению к возможности достичь указанной цели в условиях ограниченного времени t [77]. Махони определяет цель как функцию G: N → R, отображающую натуральные числа N в реальные числа R. Рассматривая универсальную машину Тьюринга L, Махони определяет P(t) — положительное натуральное число, полученное на выходе программы P, с входом t, запущенной на универсальной машине Тьюринга L после шагов времени t, или 0, если программа Р не остановилась после t шагов.

Представление Махони говорит, что Р имеет цель G в момент времени T, если и только если существует t’> t, такие, что G(P(t’)) > G(P(t)) и для всех t’> t, G(P(t’)) ≥ G(P(t)). Если P имеет цель G, то G(P(t)) является монотонно возрастающей функцией t без максимума при T > С. Q улучшает Р по отношению к цели G, если и только если все следующие условия являются истинными: Р и Q имеют цель Q. ∃t, G(Q(t)) > G(P(t)) and ~ ∃t, t’ > t, G(Q(t)) > G(P(t)) [77].

Махони, определяет последовательность улучшающeюся по отношению к G, в качестве бесконечной последовательности программ P₁, P₂, P₃, … так что ∀i, i > 0, P_i+1 улучшает P_i по отношению к G. Без ограничения общности Махони расширяет определение, включая значение −1, как приемлемое значение, так что Р(−1) выводит правильно закодированное программное обеспечение. Он, наконец, определяет P1 как РСУ программу по отношению к G тогда и только тогда P_i(−1) = P_i+1 for all i > 0, и последовательность P_i, i = 1, 2, 3 … — это последовательность улучшения по отношению к цели G [77].

Махони также анализирует сложность программного обеспечения РСУ и представляет доказательства, показывающие, что алгоритмическая сложность Pn (n-ная итерация программного обеспечения РСУ) не больше, чем O(log n), что подразумевает, что на практике был бы возможен очень ограниченный объем прироста знаний, несмотря на теоретическую возможность системы РСУ [77]. Юдковский также рассматривает возможность получения только логарифмического роста «возврата на познавательные вложения»: log (n) + log(log(n)) + … в каждом цикле рекурсии [25].

Другие ограничения для предлагаемого подхода самоулучшения могут носить частный характер. Например, тип поиска «по Левину» в пространстве программы столкнётся с проблемами, связанными с теоремой Райса¹⁷ [78], которая утверждает, что для любой произвольно выбранной программы невозможно проверить, имеет ли она какое-либо нетривиальное свойство, например, быть очень интеллектуальной. Такая проверка, конечно, необходима, чтобы оценить переработанный код.

Кроме того, универсальный поиск в пространстве интеллекта будет невозможен согласно теореме о бесплатных завтраках¹⁸ [79], поскольку у нас нет никакой информации, чтобы уменьшить размер пространства поиска [80]. Другие трудности, связанные с тестированием, остаются, даже если мы не берём произвольно выбранные программы, а только те, которые мы разработали с определённой целью, и которые, следовательно, избежали проблем, связанных с теоремой Райса.

Одна из таких трудностей — это определение, является ли что-либо улучшением. Мы можем назвать это препятствие — «многомерность оптимизации». Никакие изменения не являются строго улучшениями; это всегда компромисс между улучшением в некоторых областях и потерями в других. Например, как мы оцениваем и сравниваем две программных системы, одна из которых лучше в шахматах, а другая — в покере? Если предположить, что цель — улучшенный интеллект для всех возможных условий окружающей среды, то системе пришлось бы выяснить, как протестировать интеллект выше своего уровня с помощью проблемы, которая остаётся нерешённой. В общем, наука тестирования интеллекта выше уровня, по своей природе достижимого человеком (IQ < 200), находится в зачаточном состоянии. Де Гарис поднимает проблему оценки качества изменений, внесённых в структуры высшего уровня, ответственных за определение функционирования РСУ, структур, которые не оцениваются никакими другими модулями более высокого уровня, что тем самым представляет фундаментальную трудность в оценке их деятельности [81].

В литературе также были предложены и другие препятствия на пути к РСУ. Теорема Лёба¹⁹ гласит, что математическая система не может подтверждать свою собственную устойчивость, без того, чтобы не стать несовместимой [82]; это означает, что достаточно многозначная формальная система не может точно сказать — истинно на самом деле то, что доказано как истинное с её помощью [82]. Такая способность необходима, чтобы убедиться, что улучшенные версии программы всё ещё согласуются с её исходной целью стать умнее.

Другое препятствие, т. н. называемый парадокс откладывания, также предотвращает внесение изменений в код системы, так как система обнаружит себя в состоянии, в котором изменение, сделанное немедленно, также желательно и вероятно, как такое же изменение, внесённое позднее [83, 84]. Поскольку откладывание внесения изменений не несёт каких-либо негативных последствий и может быть действительно безопасным, это может привести к бесконечной задержке фактического осуществления доказуемо желательных изменений.

Точно так же Боландер поднимает некоторые проблемы, присущие логическим рассуждениям, содержащим самоссылки, точнее — самопротиворечивую аргументацию, примером чего является парадокс лжеца²⁰ в виде «Это утверждение является ложным» [85]. Орсо и Ринг вводят то, что они называют «Уловка простака» — ситуация, в которой агент выбирает самоизменение, несущее для него ущерб, если такое самоизменение достаточно высоко вознаграждается [86]. Ямпольский рассматривает ряд связанных с этим проблем интеллектуальных самосовершенствующихся оптимизаторов, имеющих мощность выше определённой, и приходит к выводу, что, несмотря на мнение многих исследователей, такие устройства придут к прямой стимуляции центра удовольствия в мозге [87]. Чалмерс [31] указывает на ряд ранее непроанализированных потенциальных препятствий на пути к программному обеспечению РСУ, среди которых т. н. «Препятствие корреляции». Чалмерс описывает его как возможность того, что интересные свойства, которые желательно было бы усилить, не будут коррелировать со способностью разрабатывать усовершенствованное программное обеспечение.

Ямпольский также обеспокоен накоплением ошибок в программном обеспечении, проходящих процесс РСУ, которое концептуально похоже на накопление мутаций в эволюционном процессе биологических агентов. Ошибки (баги), которые не являются вредными для работы системы, очень трудно обнаружить, и они могут накапливаться в последовательно строящихся друг за другом поколениях до тех пор, пока критическая масса таких ошибок не приведёт к ошибочному функционированию системы, к ошибочной оценке качества будущих поколений программного обеспечения или к полному распаду [88].

Аспект обращения системы к самой себе (самореференция) при самоулучшении также представляет некоторые серьёзные проблемы. Это может быть в случае, когда необходимая минимальная сложность, чтобы началось РСУ, выше²¹, чем сама система в состоянии понять. Мы часто видим такие ситуации на более низких уровнях интеллекта, например, белки не имеют умственных способностей, чтобы понять, как работает их собственный мозг. Как это ни парадоксально, но по мере того, как система становится более сложной, должен потребоваться экспоненциальный рост интеллекта, чтобы системе понять саму себя, так что система, которая начинает становиться способной к полному самоанализу, может потерять способность самоулучшения. По-простому можно назвать это препятствием Мюнхгаузена — неспособностью системы «поднять себя за волосы». Дополнительной проблемой может быть то, что рассматриваемая система вычислительно неприводимая [89], и поэтому не может моделировать прогон собственного исходного кода. Агент не может предсказать, о чем он подумает, с самого начала не подумав об этом. Системе нужно 100% своей памяти для моделирования себя, что не оставляет памяти для записи выходных данных моделирования. Любое внешнее запоминающее устройство, которое система может использовать для записи, становится частью системы и так же должно быть смоделировано.

По существу, система столкнётся с бесконечным углубляющимся рядом собственных моделей, из которого она не может выйти. Кроме того, если мы взглянем на это с точки зрения физики, то сможем увидеть интеллект как вычислительный ресурс (вместе со временем и пространством), который невозможно увеличить по той же причине, по которой нельзя создать вечный двигатель, так как это было бы нарушением фундаментальных законов природы, связанных с сохранением энергии. Аналогично, было сделано утверждение, что машина Тьюринга на выходе не может дать машину большей алгоритмической сложности [90].

С помощью доказательства от противного можно даже попытаться формально доказать невозможность преднамеренного процесса РСУ: определим R1 как программу РСУ, не способную алгоритмически решить проблему сложности X, скажем, X_i. Если программа R1 модифицирует свой исходный код, после чего она способна решать проблему сложности X_i, то это нарушает исходное предположение, что программа R1 не способна решать проблему сложности X_i, поскольку любая произведённая модификация была бы частью процесса решения; поэтому имеется противоречие исходному предположению, и программа R1 не может производить какую-либо модификацию, которая бы позволила ей решить проблему сложности X_i, что и было показано. Если по-простому, то если агент может производить агента более интеллектуального, то этот исходный агент уже был бы таким же интеллектуальным, как и новый агент.

Даже некоторые наши интуитивные предположения о РСУ неверны. Похоже, что должно быть легче решить проблему, если уже имеется решение отдельного случая такой задачи [91], но доказано, что в формализованном мире проблем, относящихся к тому же классу сложности, проблема переоптимизации оказывается такой же сложной, как и сама оптимизация [92—95].

Анализ

Число фундаментальных проблем в области РСУ остаётся открытым. Мы до сих пор не знаем уровень минимального интеллекта, необходимого для начала процесса РСУ, но мы можем предположить, что минимальный интеллект будет на одном уровне с человеческим, который мы ассоциируем с универсальным или общим интеллектом [96], хотя, в принципе, способность к самоулучшению на уровне подсистем человека не может быть исключена [31]. Можно утверждать, что даже возможностей интеллекта человеческого уровня недостаточно, потому что у нас уже есть программисты (люди или их эквивалентный интеллект, формализованные как функции [97], или люди-оракулы [98, 99]), которые имеют доступ к своему собственному исходному коду (ДНК), но которые терпят неудачу в понимании того, как ДНК (природа) действует, чтобы создать их интеллект. Это даже не включая дополнительные сложности при попытке улучшить существующий код ДНК или усложняющие факторы, представленные воздействием обучающей (воспитывающей) среды на развитие человеческого интеллекта. Что ещё хуже, так это неочевидность того, насколько выше человеческих способностей должен быть ИИ, чтобы начать преодолевать «барьер сложности», связанный с самопониманием.

Сегодняшний ИИ может делать много того, что люди делать неспособны, но он ещё не в состоянии на поведение с РСУ.

Мы также не знаем минимального размера программы (называемой зачаточный ИИ [100]), необходимой, чтобы начать процесс. Возможно, если выяснится, что такой «минимальный геном» очень мал, то метод решения перебором [37], может быть успешным в его открытии. Мы можем предположить, что наш зачаточный ИИ — наиумнейший общий искусственный интеллект, который, существует [101] в мире, и который, в противном случае, мы можем назначить в качестве зачаточного. Также неочевидно, как размер исходного кода РСУ будет меняться по мере его прохождения через процесс улучшения; другими словами, какова взаимосвязь между интеллектом и минимальным размером исходного кода, необходимого для поддержки этого интеллекта.

Для того чтобы ответить на такие вопросы, может быть полезно формализовать понятие РСУ, возможно, представляя такое программное обеспечение в виде машины Тьюринга [102] с конкретными вводами и выводами. Если это можно успешно сделать, то может открыться новая область анализа вычислительной сложности, в которой мы изучаем алгоритмы с динамично меняющейся сложностью (Big-O), и обратиться к вопросам о том, какие количественно модификации кода необходимы для достижения определённого уровня производительности алгоритма.

Это, конечно, поднимает вопрос о скорости процесса РСУ — ожидаем ли мы, что он займёт секунды, минуты, дни, недели, годы или более (трудное или простое начало) для системы РСУ, которая начнёт упираться в пределы того, что возможно с точки зрения физических пределов вычислений [103]? Даже в подходящем образом сконструированном аппаратном средстве (человеческое дитя) развитие занимает десятилетия ввода данных (образование), чтобы дойти до функционирования на человеческом уровне (взрослый человек). Также не является очевидным, будет ли скорость изменения интеллекта выше при более продвинутом РСУ, поскольку оно совершеннее, или для «нового» РСУ, так как оно может использовать легко достижимые факты. Мы должны выяснить, рассматриваем ли мы улучшение в абсолютном выражении или в процентах от текущего уровня интеллекта системы.

Юдковский пытается анализировать наиболее перспективные отдачи (возвраты) от когнитивного реинвестирования, под которыми он понимает растущие размер, скорость или способности систем РСУ. Он также рассматривает различные возможные ставки доходности и приходит к трём постепенно растущим траекториям улучшения РСУ, которые он называет: «шипящая» траектория, «зажигающая» и «взрывная» или «траектория резкого взлёта ИИ» [25].

Холл [8] аналогично анализирует нормы прибыли на инвестиции в когнитивность и получает кривую, эквивалентную двойной скорости для закона Мура. Холл также предполагает, что для ИИ лучшим способом зарабатывания денег будет выполнение полезной работы по улучшению аппаратного или программного обеспечения, а не попытки напрямую улучшить себя, поскольку он не будет конкурировать с более мощными участниками процесса оптимизации, такими как корпорация Intel.

Вот что ещё замечательно, анализируя свойства, которые коррелируют с интеллектом, Чалмерс [31] смог связать оптимизацию самоулучшения с отличными от интеллекта свойствами. Можно согласиться, что программное обеспечение РСУ, как оно описывается в этой работе, улучшает не только программное обеспечение, повышая его интеллектуальность, но и сам процесс разработки этого программного обеспечения. Аналогично, могут быть усовершенствованы другие свойства, связанные с возможностью разработки программного обеспечения, например, способность разрабатывать системы с чувством юмора, и поэтому, в дополнение к взрыву интеллекта, мы можем столкнуться с взрывом в области юмора.

Теория схождения (конвергенции) РСУ

Простой мысленный эксперимент с РСУ может позволить нам прийти к интересной гипотезе. Независимо от специфики, заключающейся в «конструкции» зачаточного ИИ, используемого для запуска процесса РСУ, все такие системы, пытающиеся достичь суперинтеллекта, будет сходиться к одной и той же архитектуре программного обеспечения. Мы будем называть эту гипотезу теорией конвергенции РСУ. В зависимости от сделанных предположений, — как это может произойти — существует несколько способов. Но во всех случаях результат тот же, практически вычислимый агент похож на AIXI (который невычислим, но является сверхразумным агентом [104]).

Если верхний предел интеллекта существует, то множество систем в конечном счете достигнет этого уровня, вероятно, разными путями, и для того, чтобы увеличить свою скорость, в конечном итоге системы будут пытаться свести к минимуму размер своего исходного кода, в конце концов дойдут до программы наименьшего размера с таким уровнем способности. Может так случиться, что достаточно умные программы РСУ смогут сразу вывести такую архитектуру из базовых знаний физики и сложности «по Колмогорову» [105].

Если, однако, интеллект не является неограниченным свойством, программы РСУ могут не сойтись то есть придут к разным результатам. Они также не сойдутся, если существует множество программ с максимальной интеллектуальной способностью, и все они имеют одинаковую сложность «по Колмогорову», или если они не относятся к программам общего интеллекта и оптимизированы для различных сред. Также вероятно, что в пространстве сознания²² [35] устойчивые аттракторы включают субчеловеческий и сверхчеловеческий уровни интеллекта, а человеческий уровень интеллекта является довольно редким²³ [30].

Если всё правильно, то прогнозы конвергенции программ РСУ подразумевают создание того, что Бостром называет Singleton²⁴ [106], агента — единственного принимающего решения и контролирующего всё. Дальнейшие рассуждения могут привести к выводу, что сошедшиеся вместе системы РСУ, разделённые во времени и в пространстве, даже космических масштабов, могут участвовать в согласованном сотрудничестве [107, 108], поскольку поймут, что они и есть этот самый агент, с той же архитектурой, и поэтому способны идеально моделировать будущее поведение друг друга.

Такое понимание может позволить суперинтеллекту, созданному из совершенно разных «корней», сотрудничать, особенно на уровне метазадач. Можно также утверждать, что человечество само находится на пути, на котором сходятся к той же точке в пространстве все возможные интеллекты (но подвергается процессу РСУ гораздо медленнее). Следовательно, наблюдая архитектуру РСУ, подвергающуюся конвергенции, и свойства человечества, можно определить окончательную судьбу человечества, цель жизни человечества, волю человечества — переплетённую и продлённую в будущее (ВППБ) [109].

Заключение

Рекурсивно самоулучшающееся программное обеспечение — высшая форма искусственной жизни, и создание жизни — остаётся одной из величайших неразгаданных тайн в науке. Точнее, проблема создания РСУ софта — это действительно проблема создания программы, способной писать другие программы [110], и поэтому — это ИИ-полная задача, как это было продемонстрировано Ямпольским [98, 99]. По определению, ИИ-полные задачи — это наиболее сложные проблемы, с которыми сталкиваются исследователи ИИ, и, скорее всего, исходный код РСУ будет настолько сложным, что его будет трудно или даже невозможно проанализировать полностью [49].

Кроме того, проблема, вероятно, будет NP-полной, так как даже простые проблемы метарассуждения и метаобучения [111], как показали Коницер и Сандхолм, принадлежат к этому классу. В частности, они доказали, что намеренный выбор времени в постоянно работающих алгоритмах, решающих разные варианты проблемы, является NP-полным, а дополнительная проблема динамического распределения информационных ресурсов среди множественных действий с помощью агента, NP-трудная, даже если оценка каждого конкретного действия вычислительно проста. Наконец, они показали, что проблема намеренного выбора ограниченного количества числа действий по обсуждению или сбору информации для устранения неоднозначности состояния мира в целом является PSPACE-трудной [112].

Интеллект — это вычислительный ресурс и, как и с другими физическими ресурсами (масса, скорость), его поведение, если его рассматривать при высоких значениях (IQ > 200+), вероятно, не будет просто типичной линейной экстраполяцией того, к которому мы привыкли. Интеллект также может быть предметом фундаментальных ограничений, таких как ограничение на движение со скоростью света, или фундаментальных пределов, которых мы ещё не понимаем или ещё не знаем (нам неизвестно, чего мы ещё не знаем). В этой работе рассмотрен ряд вычислительных верхних пределов, к которым любая успешная система РСУ будет асимптотически стремиться расти.

Можно отметить, что, несмотря на существование таких верхних границ, мы в настоящее время, вероятно, очень далеки от этих границ и от улучшений, им соответствующих. И поэтому сегодня есть ещё много возможностей для улучшений, не доходящих до этого верхнего уровня. Следовательно, функционирование любой системы РСУ, достигающей столь значительного улучшения, несмотря на отсутствие бесконечного процесса, с точки зрения нашего нынешнего состояния будет как выглядеть как создание суперинтеллекта [113].

Дебаты, относящиеся к возможности РСУ, будут продолжаться. Кто-то будет утверждать, что можно увеличить скорость процессора, объем доступной памяти или чувствительность сенсоров, но фундаментальная способность решать проблемы не может намеренно и постоянно совершенствоваться самой системой. Кроме того, критики могут предположить, что интеллект ограничен сверху и единственным отличием между вариантами будут только отличия по скорости и по объёму информации, доступному для обработки [114]. Фактически они могут указать на такой максимальный уровень интеллекта, являющегося теоретическим, и известного как AIXI, — агент, при предоставлении которому бесконечных вычислительных ресурсов, примет абсолютно разумные решения в любой ситуации.

Ресурсно-зависимая система, при РСУ подвергающаяся взрыву интеллекта, может расширяться и накапливать материю со скоростью света — с момента своего создания до преобразования Вселенной вокруг неё в сферу из компьютрониума [114]. Для уменьшения внутренних вычислительных затрат, которые растут с общим размером системы, и в космических масштабах очень значительны даже при скорости света, очень вероятны попытки сконденсировать всю получаемую материю в сверхплотный объект постоянного объёма (напоминает исходную физическую точку сингулярности, которая стала «запалом» для Большого Взрыва, см. Точка Омега [115]), Побочным эффектом этого процесса будет появление горизонта событий, непроницаемого для научного описания (научных теорий) будущих состояний рассматриваемой системы РСУ.

В каком-то ограниченном виде мы уже видим этот процесс конденсации в виде попыток производителей компьютерных чипов упаковать всё больше и больше транзисторов в микрочипы — с растущей в геометрической прогрессии мощностью или с уменьшающимися в той же прогрессии размерами. И далее, от Большого Взрыва исходной космологической Сингулярности к Технической сингулярности, в которой взрывается интеллект, и до попытки собрать всю материю Вселенной обратно в точку бесконечной плотности (Большое Сжатие), которое, в свою очередь, вызывает следующий (возможно, хорошо контролируемый) Большой Взрыв. История Вселенной продолжается и зависит от интеллекта, её главного инициирующего и формирующего фактора (подобные идеи становятся популярными в космологии [116—118]).

Другие скажут, что поскольку интеллект — это способность находить закономерности в данных, и, поскольку число переменных, из которых выявляется закономерность, всегда может быть больше, то интеллект не имеет верхнего предела, что представляет собой более сложную проблему, по отношению к которой интеллект может быть измерен. Легко видеть, что даже у проблем, с которыми мы сталкиваемся в нашей повседневной жизни, есть некоторые предельные трудности. Это, конечно, не случаи теоретических примеров, которые можно найти в чистой математике.

Похоже, что спор не закончится до тех пор, пока не будет найдено фундаментальное непреодолимое препятствие процессу РСУ, или пока не будет продемонстрировано существование системы РСУ. Конечно, вопрос разрешения машинам подвергнуться преобразованию (в форме) РСУ, если РСУ возможно, является отдельной и не менее сложной проблемой.

Благодарности: Выражаю благодарность А. Захарову за помощь в переводе статьи.

[TBS_COLLAPSE accordion=’y’]
[TBS_COLLAPSE_GROUP title=»ЛИТЕРАТУРА (кликните, чтобы посмотреть)» open=’n’ color=»green»]

1. Turing, A., Computing Machinery and Intelligence. Mind, 1950. 59(236): p. 433—460.
2. Good, I.J., Speculations Concerning the First Ultraintelligent Machine. Advances in Computers, 1966. 6: p. 31—88.
3. Minsky, M., Artificial Intelligence. Scientific American, 1966. 215(3): p. 257.
   Burks, A.W. and J. Von Neumann, Theory of self-reproducing automata. 1966: University of Illinois Press.
4. Pearce, D., The biointelligence explosion, in Singularity Hypotheses. 2012, Springer. p. 199—238.
5. Omohundro, S.M., The Nature of Self-Improving Artificial Intelligence, in Singularity Summit 2007: San Francisco, CA.
6. Waser, M.R., Bootstrapping a Structured Self-Improving & Safe Autopoietic Self, in Annual International Conference on Biologically Inspired Cognitive Architectures. November 9, 2014: Boston, Massachusetts.
7. Hall, J.S., Engineering utopia. Frontiers in Artificial Intelligence and Applications, 2008. 171: p. 460.
8. Yampolskiy, R.V., Construction of an NP Problem with an Exponential Lower Bound. Arxiv preprint arXiv:1111.0305, 2011.
9. Yonck, R., Toward a Standard Metric of Machine Intelligence. World Future Review, 2012. 4(2): p. 61—70.
10. Mavrogiannopoulos, N., N. Kisserli, and B. Preneel, A taxonomy of self-modifying code for obfuscation. Computers & Security, 2011. 30(8): p. 679—691.
11. Anckaert, B., M. Madou, and K. De Bosschere, A model for self-modifying code, in Information Hiding. 2007, Springer. p. 232—248.
12. Petrean, L., Polymorphic and Metamorphic Code Applications in Portable Executable Files Protection. Acta Technica Napocensis, 2010. 51(1).
13. Bonfante, G., J.-Y. Marion, and D. Reynaud-Plantey, A computability perspective on selfmodifying programs, in Seventh IEEE International Conference on Software Engineering
14. and Formal Methods. 2009, IEEE. p. 231—239.
15. Cheng, B.H., et al., Software engineering for self-adaptive systems: A research roadmap, in Software engineering for self-adaptive systems. 2009, Springer. p. 1—26.
16. Ailon, N., et al., Self-improving algorithms. SIAM Journal on Computing, 2011. 40(2): p. 350—375.
17. Yampolskiy, R., et al., Printer Model Integrating Genetic Algorithm for Improvement of Halftone Patterns, in Western New York Image Processing Workshop (WNYIPW) -IEEE Signal Processing Society. 2004: Rochester, NY.
18. Yampolskiy, R.V., L. Ashby, and L. Hassan, Wisdom of Artificial Crowds—A Metaheuristic Algorithm for Optimization. Journal of Intelligent Learning Systems and Applications, 2012. 4(2): p. 98—107.
19. Yampolskiy, R.V. and E.L.B. Ahmed, Wisdom of artificial crowds algorithm for solving NPhard problems. International Journal of Bio-Inspired Computation (IJBIC). 2012. 3(6): p. 358369.
20. Ashby, L.H. and R.V. Yampolskiy, Genetic Algorithm and Wisdom of Artificial Crowds Algorithm Applied to Light Up, in 16th International Conference on Computer Games: AI, Animation, Mobile, Interactive Multimedia, Educational & Serious Games. July 27 — 30, 2011 Louisville, KY, USA p. 27—32.
21. Khalifa, A.B. and R.V. Yampolskiy, GA with Wisdom of Artificial Crowds for Solving Mastermind Satisfiability Problem. International Journal of Intelligent Games & Simulation, 2011. 6(2): p. 6.
22. Port, A.C. and R.V. Yampolskiy, Using a GA and Wisdom of Artificial Crowds to solve solitaire battleship puzzles, in 17th International Conference on Computer Games (CGAMES) 2012, IEEE: Louisville, KY. p. 25—29.
23. Omohundro, S., Rational artificial intelligence for the greater good, in Singularity Hypotheses. 2012, Springer. p. 161—179.
24. Anderson, M.L. and T. Oates, A review of recent research in metareasoning and metalearning. AI Magazine, 2007. 28(1): p. 12.
25. Yudkowsky, E., Intelligence Explosion Microeconomics, in MIRI Technical Report. 2013.: Available at: www.intelligence.org/files/IEM.pdf.
26. Heylighen, F., Brain in a vat cannot break out. Journal of Consciousness Studies, 2012. 19(12): p. 1—2.
27. Turchin, V.F., The concept of a supercompiler. ACM Transactions on Programming Languages and Systems (TOPLAS), 1986. 8(3): p. 292—325.
28. Sotala, K., Advantages of artificial intelligences, uploads, and digital minds. International Journal of Machine Consciousness, 2012. 4(01): p. 275—291.
29. Muehlhauser, L. and A. Salamon, Intelligence explosion: Evidence and import, in Singularity Hypotheses. 2012, Springer. p. 15—42.
30. Yudkowsky, E., Levels of organization in general intelligence, in Artificial general intelligence. 2007, Springer. p. 389—501.
31. Chalmers, D., The Singularity: A Philosophical Analysis. Journal of Consciousness Studies, 2010. 17: p. 7—65.
32. Nivel, E., et al., Bounded Recursive Self-Improvement. arXiv preprint arXiv:1312.6764, 2013.
33. Nivel, E. and K.R. Thórisson. Self-programming: Operationalizing autonomy. in Proceedings of the 2nd Conf. on Artificial General Intelligence. 2008.
34. Yudkowsky, E. and R. Hanson, The Hanson-Yudkowsky AI-Foom debate, in MIRI
35. Technical Report. 2008: Available at: http://intelligence.org/files/AIFoomDebate.pdf.
36. Yampolskiy, R.V., The Universe of Minds. arXiv preprint arXiv:1410.0369, 2014.
37. Hall, J.S., Self-improving AI: An analysis. Minds and Machines, 2007. 17(3): p. 249—259.
38. Yampolskiy, R.V., Efficiency Theory: a Unifying Theory for Information, Computation and Intelligence. Journal of Discrete Mathematical Sciences & Cryptography, 2013. 16(4—5): p. 259277.
39. Gagliolo, M., Universal search. Scholarpedia, 2007. 2(11):2575.
40. Levin, L., Universal Search Problems. Problems of Information Transmission, 1973. 9(3): p. 265—266.
41. Steunebrink, B. and J. Schmidhuber, A Family of Gödel Machine Implementations, in Fourth Conference on Artificial General Intelligence (AGI-11) 2011: Mountain View, California.
42. Schmidhuber, J., Gödel machines: Fully self-referential optimal universal self-improvers, in Artificial general intelligence 2007, Springer. p. 199—226.
43. Schmidhuber, J., Gödel machines: Towards a technical justification of consciousness, in Adaptive Agents and Multi-Agent Systems II. 2005, Springer. p. 1—23.
44. Schmidhuber, J. Gödel machines: Self-referential universal problem solvers making provably optimal self-improvements. in Artificial General Intelligence. 2005.
45. Schmidhuber, J., Ultimate cognition à la Gödel. Cognitive Computation, 2009. 1(2): p. 177—193.
46. Schmidhuber, J., Completely self-referential optimal reinforcement learners, in Artificial Neural Networks: Formal Models and Their Applications—ICANN. 2005, Springer. p. 223—233.
47. Schmidhuber, J., Optimal ordered problem solver. Machine Learning, 2004. 54(3): p. 211—254.
48. Schmidhuber, J., J. Zhao, and M. Wiering, Shifting inductive bias with success-story algorithm, adaptive Levin search, and incremental self-improvement. Machine Learning, 1997. 28(1): p. 105—130.
49. Schmidhuber, J., A general method for incremental self-improvement and multiagent learning. Evolutionary Computation: Theory and Applications, 1999: p. 81—123.
50. Leon, J. and A. Lori, Continuous self-evaluation for the self-improvement of software, in Self-Adaptive Software. 2001, Springer. p. 27—39.
51. Beck, M.B., E.C. Rouchka, and R.V. Yampolskiy, Finding Data in DNA: Computer Forensic Investigations of Living Organisms, in Digital Forensics and Cyber Crime. 2013, Springer Berlin Heidelberg. p. 204—219.
52. Beck, M. and R. Yampolskiy, DNA as a medium for hiding data. BMC Bioinformatics, 2012. 13(Suppl 12): p. A23.
53. Yampolskiy, R.V., Leakproofing Singularity — Artificial Intelligence Confinement Problem. Journal of Consciousness Studies (JCS), 2012. 19(1—2): p. 194—214.
54. Majot, A.M. and R.V. Yampolskiy. AI safety engineering through introduction of selfreference into felicific calculus via artificial pain and pleasure. in Ethics in Science, Technology and Engineering, IEEE International Symposium on. 2014.
55. Yampolskiy, R. and J. Fox, Safety Engineering for Artificial General Intelligence. Topoi, 2012: p. 1—10.
56. Yampolskiy, R.V. and J. Fox, Artificial General Intelligence and the Human Mental Model. Singularity Hypotheses: A Scientific and Philosophical Assessment, 2013: p. 129.
57. Sotala, K. and R.V. Yampolskiy, Responses to catastrophic AGI risk: A survey. Physica Scripta. 90(1). 2015.
58. Yampolskiy, R.V., What to Do with the Singularity Paradox?, in Philosophy and Theory of Artificial Intelligence 2013, Springer Berlin Heidelberg. p. 397—413.
59. Yampolskiy, R. and M. Gavrilova, Artimetrics: Biometrics for Artificial Entities. IEEE Robotics and Automation Magazine (RAM), 2012. 19(4): p. 48—58.
60. Yampolskiy, R., et al., Experiments in Artimetrics: Avatar Face Recognition. Transactions on Computational Science XVI, 2012: p. 77—94.
61. Ali, N., D. Schaeffer, and R.V. Yampolskiy, Linguistic Profiling and Behavioral Drift in Chat Bots. Midwest Artificial Intelligence and Cognitive Science Conference, 2012: p. 27.
62. Gavrilova, M. and R. Yampolskiy, State-of-the-Art in Robot Authentication [From the Guest Editors]. Robotics & Automation Magazine, IEEE, 2010. 17(4): p. 23—24.
63. Bremermann, H.J. Quantum noise and information. in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability. 1967.
64. Bekenstein, J.D., Information in the holographic universe. Scientific American, 2003. 289(2): p. 58—65.
65. Lloyd, S., Ultimate Physical Limits to Computation. Nature, 2000. 406: p. 1047—1054.
66. Sandberg, A., The physics of information processing superobjects: daily life among the Jupiter brains. Journal of Evolution and Technology, 1999. 5(1): p. 1—34.
67. Aaronson, S., Guest column: NP-complete problems and physical reality. ACM Sigact News, 2005. 36(1): p. 30—52.
68. Shannon, C.E., A Mathematical Theory of Communication. Bell Systems Technical Journal, July 1948. 27(3): p. 379—423.
69. Krauss, L.M. and G.D. Starkman, Universal limits on computation. arXiv preprint astroph/0404510, 2004.
70. Fox, D., The limits of intelligence. Scientific American, 2011. 305(1): p. 36—43.
71. Einstein, A., Does the inertia of a body depend upon its energy-content? Annalen der Physik, 1905. 18: p. 639—641.
72. Wheeler, J.A., Information, Physics, Quantum: The Search for Links1990: Physics Dept., University of Texas.
73. Schaeffer, J., et al., Checkers is Solved. Science, September 2007. 317(5844): p. 1518—1522. 73. Mahoney, M., Is there a model for RSI?, in SL4June 20, 2008: Available at: http://www.sl4.org/archive/0806/19028.html.
74. Turing, A., On computable numbers, with an application to the Entscheidungsproblem. Proceedings of the London Mathematical Society, 1936. 2(42): p. 230—265.
75. Wiedermann, J., A Computability Argument Against Superintelligence. Cognitive Computation, 2012. 4(3): p. 236—245.
76. Wiedermann, J., Is There Something Beyond AI? Frequently Emerging, but Seldom Answered Questions about Artificial Super-Intelligence. Beyond AI: Artificial Dreams: 2012. p. 76.
77. Mahoney, M., A Model for Recursively Self Improving Programs, 2010: Available at: http://mattmahoney.net/rsi.pdf.
78. Rice, H.G., Classes of recursively enumerable sets and their decision problems. Transactions of the American Mathematical Society, 1953. 74(2): p. 358—366.
79. Wolpert, D.H. and W.G. Macready, No free lunch theorems for optimization. Evolutionary Computation, IEEE Transactions on, 1997. 1(1): p. 67—82.
80. Melkikh, A.V., The No Free Lunch Theorem and hypothesis of instinctive animal behavior. Artificial Intelligence Research, 2014. 3(4): p. p43.
81. de Garis, H., The 21st. Century Artilect: Moral Dilemmas Concerning the Ultra Intelligent Machine. Revue Internationale de Philosophie, 1990. 44(172): p. 131—138.
82. Yudkowsky, E. and M. Herreshoff. Tiling agents for self-modifying AI, and the Löbian obstacle. in MIRI Technical Report. 2013. Available at: http://intelligence.org/files/TilingAgentsDraft.pdf.
83. Fallenstein, B. and N. Soares, Problems of self-reference in self-improving space-time embedded intelligence, in MIRI Technical Report 2014, Available at: https://intelligence.org/wpcontent/uploads/2014/05/Fallenstein-Soares-Problems-of-selfreference-in-self-improving-spacetime-embedded-intelligence.pdf.
84. Yudkowsky, E., The Procrastination Paradox (Brief technical note), in MIRI Technical Report2014: Available at: https://intelligence.org/files/ProcrastinationParadox.pdf.
85. Bolander, T., Logical theories for agent introspection. Computer Science, 2003. 70(5): p. 2002.
86. Orseau, L., M. Ring, Self-modification and mortality in artificial agents, in 4th international conference on Artificial general intelligence 2011: Mountain View, CA. p. 1—10.
87. Yampolskiy, R.V., Utility Function Security in Artificially Intelligent Agents. Journal of Experimental and Theoretical Artificial Intelligence (JETAI), 2014: p. 1—17.
88. Yampolskiy, R.V., Artificial intelligence safety engineering: Why machine ethics is a wrong approach, in Philosophy and Theory of Artificial Intelligence. 2013, Springer Berlin. p. 389—396.
89. Wolfram, S., A New Kind of Science. May 14, 2002: Wolfram Media, Inc.
90. Mahoney, M., Is there a model for RSI?, in SL4 June 15, 2008: Available at: http://www.sl4.org/archive/0806/18997.html.
91. Yampolskiy, R.V., Computing Partial Solutions to Difficult AI Problems. Midwest Artificial Intelligence and Cognitive Science Conference, 2012: p. 90.
92. Böckenhauer, H.-J., et al., On the hardness of reoptimization, in SOFSEM 2008: Theory and Practice of Computer Science. 2008, Springer. p. 50—65.
93. Ausiello, G., et al., Reoptimization of minimum and maximum traveling salesman’s tours, in Algorithm Theory—SWAT 2006, Springer. p. 196—207.
94. Archetti, C., L. Bertazzi, and M.G. Speranza, Reoptimizing the traveling salesman problem. Networks, 2003. 42(3): p. 154—159.
95. Ausiello, G., V. Bonifaci, and B. Escoffier, Complexity and approximation in reoptimization. 2011: Imperial College Press/World Scientific.
96. Loosemore, R. and B. Goertzel, Why an intelligence explosion is probable, in Singularity Hypotheses 2012, Springer. p. 83—98.
97. Shahaf, D. and E. Amir, Towards a theory of AI completeness, in 8th International Symposium on Logical Formalizations of Commonsense Reasoning (Commonsense 2007) March 26—28, 2007: CA.
98. Yampolskiy, R., Turing Test as a Defining Feature of AI-Completeness, in Artificial Intelligence, Evolutionary Computing and Metaheuristics, X.-S. Yang, Editor 2013, Springer Berlin. p. 3—17.
99. Yampolskiy, R.V., AI-Complete, AI-Hard, or AI-Easy—Classification of Problems in AI. The 23rd Midwest Artificial Intelligence and Cognitive Science Conference, Cincinnati, OH, USA, 2012.
100. Yudkowsky, E.S., General Intelligence and Seed AI — Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001: Available at: http://singinst.org/ourresearch/publications/GISAI/.
101. Yampolskiy, R.V., AI-Complete CAPTCHAs as Zero Knowledge Proofs of Access to an Artificially Intelligent System. ISRN Artificial Intelligence, 2011. 271878.
102. Turing, A.M., On Computable Numbers, with an Application to the Entscheidungsproblem. Proceedings of the London Mathematical Society, 1936. 42: p. 230—265.
103. Bostrom, N., Superintelligence: Paths, dangers, strategies. 2014: Oxford University Press. 104.
104. Hutter, M., Universal algorithmic intelligence: A mathematical top→ down approach, in Artificial general intelligence. 2007, Springer. p. 227—290.
105. Kolmogorov, A.N., Three Approaches to the Quantitative Definition of Information. Problems Inform. Transmission, 1965. 1(1): p. 1—7.
106. Bostrom, N., What is a Singleton? Linguistic and Philosophical Investigations, 2006 5(2): p. 48—54.
107. Yudkowsky, E., Timeless decision theory. The Singularity Institute, San Francisco, 2010.
108. LessWrong, Acausal Trade: Available at: http://wiki.lesswrong.com/wiki/Acausal_trade, retrieved September 29, 2014.
109. Yudkowsky, E.S., Coherent Extrapolated Volition, May 2004 Singularity Institute for Artificial Intelligence: Available at: http://singinst.org/upload/CEV.html.
110. Hall, J.S., VARIAC: an Autogenous Cognitive Architecture. Frontiers in Artificial Intelligence and Applications, 2008. 171: p. 176.
111. Schaul, T. and J. Schmidhuber, Metalearning. Scholarpedia, 2010. 5(6):4650.
112. Conitzer, V. and T. Sandholm, Definition and complexity of some basic metareasoning problems, in Proceedings of the Eighteenth International Joint Conference on Artificial Intelligence (IJCAI) 2003: Acapulco, Mexico. p. 1099—1106.
113. Yudkowsky, E., Recursive Self-Improvement in Less Wrong December 1, 2008: Available at: http://lesswrong.com/lw/we/recursive_selfimprovement/, retrieved September 29, 2014.
114. Hutter, M., Can Intelligence Explode? Journal of Consciousness Studies, 2012. 19(1—2): p. 1—2.
115. Tipler, F.J., The physics of immortality: Modern cosmology, God, and the resurrection of the dead 1994: Random House LLC.
116. Smart, J.M., Evo Devo Universe? A Framework for Speculations on Cosmic Culture, in Cosmos and Culture: Cultural Evolution in a Cosmic Context, M.L.L. Steven J. Dick, Editor 2009, Govt Printing Office, NASA SP-2009-4802,: Wash., D.C. p. 201—295.
117. Stewart, J.E., The meaning of life in a developing universe. Foundations of Science, 2010. 15(4): p. 395—409.
118. Vidal, C., The Beginning and the End: The Meaning of Life in a Cosmological Perspective. arXiv preprint arXiv:1301.1648, 2013.

[/TBS_COLLAPSE_GROUP]
[/TBS_COLLAPSE]

¹ English original — http://arxiv.org/abs/1502.06512

² Бутстрапное заблуждение — неверие в самоулучшение, в саморазвитие, в переписываение самого́ (само́й) себя.

³ Синтез, создающий автоматы с пониженными возможностями, чем автомат исходный.

⁴ Парадоксальная ситуация… «Уловка-22»: всякий, кто заявляет о себе, что он сумасшедший, с целью освободиться от военной обязанности, тем самым доказывает, что он не сумасшедший, так как такое заявление явно говорит о здравомыслии.

⁵«O» большое

⁶ Definition of General Intelligence (G) — The G Factor, http://www.i3mindware.com/5-iq-factors/general-intelligence

⁷Обфускация

⁸Модуль (программирование)

⁹ Легкость получения значимых результатов в связи с наличием ресурсов на начальном этапе развития.

¹⁰ РСУ — Рекурсивное СамоУлучшение.

¹¹ … сенсорные модальности, как осязание, температура, проприоцепция, ноцицепция.

¹² Эндогенный — вызванный внутренними факторами, появившийся в силу внутренних причин

¹³ Понимание сущностных причин и взаимосвязей

¹⁴ Бутстрапное заблуждение — неверие в самоулучшение, в саморазвитие, в самопереписывание

¹⁵ Gagliolo, M., Universal search. Scholarpedia, 2007, Universal search, http://www.scholarpedia.org/article/Universal_search: Universal or Levin Search is an algorithm for solving inversion problems, devised by Leonid A. Levin (1973, 1984).
Универсальный поиск или «поиск по Левину» — алгоритм для решения обратной задачи…
Обратная задача — тип задач, часто возникающий во многих разделах науки, когда значения параметров модели должны быть получены из наблюдаемых данных. Обратные задачи являются некорректно поставленными задачами. Из трёх условий корректно поставленной задачи (существование решения, единственность решения и его устойчивость) в обратных задачах наиболее часто нарушается последнее.

¹⁶ Levin, L., Universal Search Problems. Problems of Information Transmission, 1973, http://www.mathnet.ru/links/90ae7831f196fa1059ecc63a25efc233/ppi914.pdf

¹⁷ В теории вычислимости теорема Райса гласит, что для любого нетривиального свойства частичных (вычислимых) функций нет общего и эффективного метода решения — вне зависимости от вычисления произвольным алгоритмом функции с таким свойством.

¹⁸ Согласно теореме No Free Lunch («бесплатных завтраков не бывает»), не существует универсального метода решения задач классификации, http://habrahabr.ru/company/itinvest/blog/262155/

¹⁹Теорема Лёба — теорема в математической логике о взаимосвязи между доказуемостью утверждения и самим утверждением: во всякой теории для любого высказывания доказуемость высказывания возможна только в случае доказуемости самого высказывания

²⁰Парадокс лжеца

²¹ Следствие закона необходимого разнообразия Эшби: разнообразие управляющей системы должно быть не меньше разнообразия управляемого объекта. На практике это означает, что чем сложнее объект управления, тем сложнее должен быть и орган, который им управляет.

²²http://arxiv.org/ftp/arxiv/papers/1410/1410.0369.pdf, Figure 1: The universe of possible minds

²³https://intelligence.org/files/LOGI.pdf

²⁴ Singleton (global governance), http://en.wikipedia.org/wiki/Singleton_(global_governance). Синглтон (глобальное управление). Искусственный общий интеллект (AGI), претерпев взрыв интеллекта, может сформировать Singleton, как бы мировое правительство, вооруженное контролем мышления и технологиями социального видеонаблюдения. Синглтону в своей области непосредственно не нужно управлять всем, вплоть до микроуровня; он мог бы позволить существовать разнообразным формам организации, но разрешив им гарантированно функционировать в строгих рамках (параметрах). Синглтону не нужно поддерживать цивилизацию, и в самом деле, придя к власти, он мог бы цивилизацию уничтожить.