Полвека назад пионеры теории хаоса обнаружили, что «эффект бабочки» делает невозможным долгосрочное предсказание. Малейшее возмущение сложной системы (например, погоды, экономики или чего-то подобного) способно спровоцировать цепную реакцию, в результате которой будущее окажется совсем не таким, какое ждали. Мы живём в тумане неопределённости, ибо не можем описывать сложные системы с точностью, позволяющей делать надёжные предсказания.
Но теперь у нас появились роботы-помощники.
В серии экспериментов, о результатах которых сообщали журналы Physical Review Letters (PRL) и Chaos, учёные использовали машинное обучение — тот же метод вычислений, что недавно привёл к успехам в сфере создания искусственного интеллекта, — для прогнозирования эволюции хаотических систем до потрясающе далёких горизонтов. Данный подход приветствуется внешними экспертами как новаторский и, похоже, получит широкое применение.
«Я нахожу поистине удивительной долгосрочность прогнозов» для эволюции хаотических систем, заявил Герберт Егер (Herbert Jaeger), профессор вычислительной науки Бременского университета Якобса (Jacobs University) в Германии.
Вышеупомянутые прогнозы получены в Мэрилендском университете в Колледж-Парке (University of Maryland, College Park) ветераном теоретического изучения хаоса Эдвардом Оттом (Edward Ott) и его четырьмя помощниками. Они использовали резервуарное вычисление — один из алгоритмов машинного обучения — для «изучения» динамики архетипической хаотической системы под названием «уравнение Курамото — Сивашинского». Эволюционирующее решение этого уравнения ведёт себя как фронт пламени, мерцающий при прохождении через горючую среду. Кроме того, данное уравнение описывает дрейфовые волны в плазме и другие физические явления, служит «испытательным стендом для изучения турбулентности и пространственно-временного хаоса», как выразился Джайдип Патхак (Jaideep Pathak), аспирант Отта и главный автор последних научных статей на тему прогнозирования поведения хаотических систем.
Потренировавшись на данных о прошлой эволюции уравнения Курамото — Сивашинского, исследовательский резервуарный компьютер смог точно предсказать, как пламевидная система будет эволюционировать в течение восьми «времён Ляпунова», то есть, выражаясь нестрого, удалось заглянуть в восемь раз дальше по сравнению с тем, что позволяли другие методы прогнозирования. Временем Ляпунова называют время, которое требуется для экспоненциальной дивергенции двух практически идентичных состояний хаотической системы. Как таковое, оно обычно определяет горизонт предсказуемости.
«Это действительно очень хороший результат, — заявил о восьми временах Ляпунова при прогнозировании эволюции хаотической системы Хольгер Канц (Holger Kantz), специалист по теории хаоса из Института физики сложных систем Общества Макса Планка (нем. Max-Planck-Institut für Physik komplexer Systeme) в Дрездене, Германия. — Можно сказать, что техника машинного обучения примерно такое же благо, как и знание истины».
Резервуарное вычисление пользуется лишь данными об эволюционирующем решении уравнения Курамото — Сивашинского, само уравнение ему неизвестно. Это делает машинный подход мощным средством прогнозирования, ибо во многих случаях специалисты по динамике, имея дело с хаотической системой, не знают её уравнения и в результате, пытаясь моделировать и прогнозировать, терпят провал. Согласно статье, опубликованной группой Отта, иметь на руках уравнение системы необязательно: достаточно данных о её эволюции. «Эта статья наводит на мысль, что в один прекрасный день мы сможем предсказать погоду не с помощью чрезвычайно сложных моделей атмосферы, а с помощью алгоритмов машинного обучения», — сказал Канц.
По мнению экспертов, техника машинного обучения помимо предсказания погоды может оказаться полезной для выявления признаков приближающихся сердечных приступов при мониторинге сердечных аритмий и для прогнозирования нейронных спайков (импульсов) при мониторинге возбуждения нейронов головного мозга. Кроме того, эта техника предположительно найдёт применение при предсказании аномальных волн, несущих угрозу для судоходства, и даже при предсказании землетрясений.
Особые надежды Отт возлагает на то, что новые инструменты окажутся полезными для своевременного оповещения о солнечных бурях, подобных той, которая случилась в 1859 году. Тогда поверхность Солнца вздыбилась на протяжении 35 000 миль. Мощный магнитный всплеск вызвал наблюдавшееся повсюду свечение земной атмосферы и повлиял на линии телеграфной связи: местами вывел их из строя, а местами сгенерировал напряжение, достаточное для работы при выключенном электропитании. Если похожий солнечный шторм неожиданно обрушится на планету в наши дни, это, как считают эксперты, нанесёт серьёзный ущерб электронной инфраструктуре Земли. «Зная о приближении такого шторма, можно просто-напросто отключить питание, а потом снова его включить», — отметил Отт.
Отт, Патхак и их коллеги Брайан Хант (Brian Hunt), Мишель Гирван (Michelle Girvan) и Чжисинь Лу (Zhixin Lu) (ныне работает в Пенсильванском университете) достигли опубликованных результатов, осуществив синтез существовавших инструментов. Шесть-семь лет назад, когда мощный алгоритм, известный как «глубокое обучение» (Deep learning), приступил к решению задач в сфере ИИ, таких как распознавание образов и речи, эти учёные взялись читать литературу, посвящённую машинному обучению, и стали думать, как по-умному приспособить его к исследованию хаоса. Они узнали о нескольких многообещающих разработках, предшествовавших революции глубокого обучения. Самой интересной оказалась разработка немецких специалистов по теории хаоса Егера и его товарища Харальда Хааса (Harald Haas): в начале 2000-х годов они использовали сеть случайно связанных искусственных нейронов, играющую роль «резервуара» при резервуарном вычислении, для изучения динамики трёх хаотически коэволюционирующих переменных. После обучения по трём рядам цифровых данных сеть сумела предсказать будущие значения всех переменных на впечатляюще далёком горизонте. Однако с ростом взаимодействующих переменных вычисления стали невероятно громоздкими. Отту и его коллегам требовалась более удобная схема: резервуарное вычисление должно было научиться эффективно работать с большими хаотическими системами, имеющими огромное количество взаимосвязанных переменных. Например, в каждой точке вдоль фронта пламени надо отслеживать скорость по трём декартовым составляющим.
Потребовались годы, чтобы придумать действенное решение. В занимающих большое пространство хаотических системах «мы применили деление взаимодействий на локальности», говорит Патхак. Локальность (locality) означает, что переменные в каком-то одном месте зависят от переменных в соседних местах, но не зависят от переменных, относящихся к местам, находящимся далеко. «Выделяя локальности, — объясняет учёный, — мы, в сущности, создаём себе возможность решать проблему по частям». Проведя таким образом параллелизацию проблемы, можно использовать для изучения какого-то фрагмента системы один резервуар нейронов, для изучения следующего фрагмента — другой резервуар и т. д. При этом для учёта взаимодействия соседних областей необходимо, чтобы они слегка перекрывали друг друга.
Параллелизация позволяет применять резервуарное вычисление для исследования хаотических систем практически любого размера, если имеются соразмерные компьютерные ресурсы.
Отт описывает резервуарное вычисление как трёхшаговый процесс. Пусть вам нужно применить его для предсказания того, как будет эволюционировать распространяющийся огонь. Первый шаг требует измерить высоту пламени в пяти разных точках вдоль фронта огня и продолжить делать это в данных точках при движении мерцающего огня вперёд в течение определённого периода времени. Вы подаёте потоки получаемых данных в случайно выбранные искусственные нейроны резервуара. Входные данные возбуждают нейроны, заставляя их «выстреливать», что, в свою очередь, заставляет «выстреливать» другие, связанные с первыми нейроны, и в результате по всей сети проносится каскад сигналов.
Второй шаг: нейронную сеть нужно заставить изучить динамику эволюционирующего фронта пламени по входным данным. Для этого, подавая данные, следует контролировать силу сигналов нескольких случайно выбранных нейронов резервуара. Взвешивание и объединение этих сигналов пятью различными способами даёт пять чисел на выходе. Цель состоит в том, чтобы настраивать веса различных сигналов, которые учитываются на выходе, до тех пор, пока эти выходные данные не станут последовательно соответствовать следующему набору входных данных — пяти новым высотам вдоль фронта пламени, измеренным чуть позже. «Вам нужно, чтобы выходные данные через малый промежуток времени стали входными», — объясняет Отт.
Чтобы узнать правильные веса, алгоритм просто сравнивает каждый набор выходных данных, или прогнозируемые высоты пламени в каждой из пяти точек, со следующим набором входных данных, или с фактическими высотами пламени, всякий раз увеличивая или уменьшая веса различных сигналов так, чтобы при любой их комбинации пять выходных данных получились правильными. Переходя от одного времени измерения высот к следующему, алгоритм путём настройки весов постепенно улучшает свои предсказания до тех пор, пока не обретает способность последовательно предсказывать состояние пламени на один шаг вперёд.
«На третьем этапе вы действительно делаете прогноз», — говорит Отт. Резервуар, изучив динамику системы, может показать, каким будет её развитие. По существу, сеть задаёт себе вопрос о том, что произойдёт. Теперь выходные данные используются в качестве новых входных, чьи выходные данные, в свою очередь, используются в качестве входных и т. д., в результате чего получается прогноз эволюции высот в пяти точках на фронте пламени. Другие, работающие параллельно, резервуары предсказывают эволюцию высот в других местах по ходу движения пламени.
В своей статье, опубликованной в январском номере PRL, исследователи показали, что предсказанное ими пламевидное решение уравнения Курамото — Сивашинского точно соответствует истинному решению этого уравнения в рамках восьми времён Ляпунова, вплоть до окончательной победы хаоса, при которой происходит резкое расхождение фактических и предсказанных состояний системы.
При обычном подходе к прогнозированию хаотической системы максимально точно измеряют её состояние в какой-то момент времени, калибруют с помощью полученных данных физическую модель, а затем приводят модель в движение. Для получения приблизительного прогноза на восемь времён Ляпунова вы должны измерить исходное состояние типичной системы в 100 000 000 раз точнее, чем при резервуарном вычислении.
Вот почему машинное обучение — «очень полезный и мощный подход», отмечает Ульрих Парлиц (Ulrich Parlitz) из Института динамики и самоорганизации Общества Макса Планка (нем. Max-Planck-Institut für Dynamik und Selbstorganisation) в Гёттингене (Германия), который в начале 2000-х годов, как и Егер, использовал машинное обучение для малоразмерных хаотических систем. «Я думаю, — добавляет он, — что это обучение годится не только для исследованного уравнения, а в некотором смысле является универсальным и может применяться ко многим процессам и системам». В статье, подготовленной для публикации в Chaos, Парлиц и его соавтор описали использование резервуарного вычисления для прогнозирования динамики «легковозбудимого посредника», такого как сердечная ткань. Парлиц предполагает, что глубокое обучение, будучи более сложным и ёмким, чем резервуарное вычисление, будет работать с хаотическими системами так же эффективно, как и другие алгоритмы машинного обучения. В последнее время исследователи из Массачусетского технологического института и Швейцарской высшей технической школы Цюриха (нем. Eidgenössische Technische Hochschule Zürich, ETHZ) добились результатов, схожих с результатами команды Мэриленда, используя нейронную сеть с «долгой краткосрочной памятью». Рекуррентные петли этой сети позволяют ей долго хранить временную информацию.
После экспериментов, результаты которых опубликованы в PRL, Отт, Патхак, Гирван, Лу и их помощники приблизились к практической реализации разработанной ими техники прогнозирования. В новых исследованиях, принятых для публикации в Chaos, они показали, что, объединив управляемое данными машинное обучение и традиционное модельное прогнозирование, можно улучшить предсказание эволюции хаотических систем, подобных уравнению Курамото — Сивашинского. По мнению Отта, именно этой дорогой, скорее всего, пойдёт развитие прогнозирования в метеорологии и других, схожих с ней, видах науки, поскольку далеко не всегда в нашем распоряжении имеются полные данные с высоким разрешением или совершенные физические модели. «Если в какой-то области у нас есть хорошее знание, его необходимо использовать, — говорит немецкий учёный, — а если в какой-то области мы страдаем от невежества, то, чтобы избавиться от него, нам следует использовать машинное обучение». Резервуарные предсказания существенно облегчают калибровку моделей, и в случае уравнения Курамото — Сивашинского долгосрочность точных прогнозов возрастает до 12 времён Ляпунова.
У разных систем разное время Ляпунова: от миллисекунд до миллионов лет. (Для погоды — несколько дней). Чем короче это время, тем более чувствительна или более склонна к эффекту бабочки система, тем стремительней её сходные состояния расходятся в периоды кризиса. В природе повсюду хаотические системы, быстро теряющие устойчивость, но, как ни странно, до сих пор неясно, что такое хаос. «Этот термин очень часто используют специалисты по динамическим системам, но, когда используют, кажется, что они зажимают носы», — говорит Эми Уилкинсон (Amie Wilkinson), профессор математики в Чикагском университете (University of Chicago). «Называя что-то хаотичным, — добавляет она, — чувствуешь себя не в своей тарелке». Дело в том, что слово «хаос» звучит громко, привлекает широкое внимание, но у понятия хаоса нет общепринятого математического определения и нет перечня необходимых и достаточных условий возникновения хаотического состояния. «Простой концепции нет», — соглашается Канц. В некоторых случаях настройка одного-единственного параметра системы может вызвать её переход от хаотического состояния к стабильному, или наоборот — от стабильного к хаотическому.
Уилкинсон и Канц определяют хаос через растяжение и складывание. Это напоминает многократное растягивание и складывание теста, когда его делают слоёным. Скалка раскатывает тесто в горизонтальной плоскости, и оно экспоненциально быстро растягивается по двум декартовым осям координат. Затем тесто складывают слоями и сплющивают, сжимая слои в вертикальном направлении. Канц говорит, что погода, лесные пожары, бури на поверхности солнца и все другие хаотические системы движутся именно так. «Для экспоненциальной дивергенции траекторий необходимо растяжение, а для того, чтобы не исчезнуть в бесконечности, необходимо складывание». Последнее происходит благодаря нелинейным отношениям между переменными данной системы.
Растяжение и сжатие в разных измерениях соотносятся с положительным и отрицательным «показателями Ляпунова» соответственно. В другой недавней статье, опубликованной в Chaos, команда Мэриленда сообщила, что её резервуарный компьютер, пользуясь данными об эволюции системы, сумел установить значения этих важных показателей. Именно потому, что резервуарное вычисление так лихо изучает динамику хаотических систем, всё ещё не очень понятно, как оно работает. Можно лишь утверждать, что в ответ на поступающие данные резервуарный компьютер стремится так настраивать свои формулы, чтобы они воспроизводили динамику изучаемой системы. Эта технология настолько эффективна, что Отт и некоторые другие мэрилендские исследователи задумали, используя теорию хаоса, заняться внутренними махинациями нейронных сетей, чтобы лучше их понять.