Ведущий. Здравствуйте. Мы рады всех приветствовать в нашем культурно-просветительском центре «Архэ». Мы продолжаем нашу серию лекций, посвящённую итогам 2017 года. И я с удовольствием представляю нашего сегодняшнего лектора, специалиста по методам машинного обучения, основателя сайта «XX2 век» — Сергея Маркова, и предоставляю ему слово.

Сергей Марков. Спасибо. Всем привет. Я, прежде чем рассказывать о, собственно говоря, итогах прошедшего года, позволю себе несколько слов для того, чтобы сказать вообще, в какую эпоху мы живём и, скажем так: что происходит вообще в ближайшие годы. Мы живём в эпоху, которую принято называть второй весной искусственного интеллекта и, в общем-то, второй, потому что такое явление в истории вычислительных систем уже было. Дело в том, что системы искусственного интеллекта появились ещё в 50-е годы, и это направление развивалось достаточно активно. И с ним, конечно, были связаны очень серьёзные ожидания, то есть, мы надеялись в 50-е, мы надеялись в 60-е годы на то, что буквально весь спектр интеллектуальных задач, с которыми сталкиваемся мы в нашем технологическом стеке, будет вот-вот решён. Но во многом получилось, что целый ряд задач так и не удалось решить во время вот этого технологического подъема 60-х, и на смену оптимизму в конце 70-х годов пришёл вначале сдержанный, а потом и безудержный пессимизм, наступила зима искусственного интеллекта. И на долгое время разработки в этой сфере были практически забыты, забыты и со стороны людей, скажем так, из мира технологий, так и со стороны бизнеса, со стороны тех людей, которые выделяют ресурсы на подобные изыскания. И, в общем-то, эта зима искусственного интеллекта продлилась достаточно долго, пока не начался новый подъём в начале 90-х годов и, в общем-то, если говорить уже о нулевых и 10-х годах, здесь произошёл целый ряд прорывных открытий: многие из задач, которые на протяжении десятилетий считались либо очень трудно решаемыми либо нерешаемыми вовсе, они оказались решены, причём для широкой публики это произошло достаточно неожиданно, именно поэтому произвело такой мощный медийный эффект, как, например, в случае победы компьютеров в игре Го над людьми, потому что игра Го была таким, наверное, самым известным примером, который употребляли для того, чтобы показать ограниченность возможности технологий. Говорили: «Ну, хорошо, в шахматы компьютеры выиграли у людей, они глупые всё равно, потому что они просто быстро считают, а вот Го — это действительно игра, которая требует некоторых уникальных свойств интеллекта, которыми, дескать, обладает только человек и, значит, действительно на протяжении десятилетий программы, которые играют в Го, не показывали какого-то серьёзного прогресса, играли на уровне любителей. Но а потом, все мы знаем, случился AlphaGo, который внезапно совершил очень большой скачок вперёд в силе игры по сравнению со своими предшественниками. На самом деле, конечно же, такого рода события они не происходят неожиданно, и те модели, которые были положены в основу вот этих прорывных открытий, они создавались ещё в конце 90-х, а где-то даже и в конце 80-х годов. Если мы говорим, например, о свёрточных нейронных сетях, о рекуррентных нейронных сетях, то те модели, которые на сегодняшний день лежат в основе вот этого прорывного стека технологий, они в основном появились на рубеже 90-х и нулевых годов. Вот у этой весны искусственного интеллекта у неё помимо очевидных предпосылок в виде появления новых методов, новых алгоритмов есть ещё две очень серьёзные предпосылки и первое — это накопление больших объёмов данных. Дело в том, что если бы, например, в 70-е годы вы хотели бы создать систему, которая способна понимать естественный язык, выполнять с ним какие-то достаточно сложные манипуляции, то у вас в распоряжении были сравнительно скромные корпуса текстов. То есть, конечно, вы могли взять студентов, аспирантов и как-то заставить их там или уговорить за зачёт или экзамен набирать «Войну и мир» и, наверное, за год небольшая группа студентов с этой задачей бы справилась. В это было бы вложено огромное количество ресурсов, времени, но на выходе мы бы получили набор текстов, в общем-то, очень скромный по сравнению со всем тем богатством языка. То есть, этого набора совершенно было бы недостаточно для того, чтобы определить семантические отношения между словами, ну и, в общем, выявить целый ряд языковых явлений, которые проявляются только в результате анализов очень-очень больших корпусов. И вот благодаря развитию интернета и благодаря тому, что люди, в общем-то, по собственной воле безо всяких зачётов и экзаменов набирают огромное количество текстов, мы на сегодняшний день обладаем огромным количеством текстовой информации, и вот на этих массивах мы действительно можем обучать в том числе и относительно классической модели, но получать более интересные результаты, чем мы могли бы получить, скажем, в 80-е годы. Вообще считается, что сейчас где-то раз в 2—4 года количество информации, которым обладает человечество, удваивается. Но это происходит не только за счёт интернета, это происходит ещё во многом за счёт промышленной автоматизации, потому что с конца 80-х годов мы достаточно активно внедряем компьютеры в самые различные сферы нашей деятельности: в бизнес, в государственное управление — и за счёт этого мы тоже накапливаем огромный массив данных. Вот если взять, например, опыт той компании, в которой я работаю, то с 2013 года мы совершаем в день примерно 200—250 тысяч разговоров с клиентами, и все записи этих разговоров они хранятся. То есть, вы можете себе представить, какой это большой массив и с точки зрения фонетики, и с точки зрения лексики, с точки зрения какого-то разумного диалогового взаимодействия между людьми. Ну, и третья, но не менее важная по своей значимости предпосылка — это увеличение производительной мощности тех машин, которые мы используем, причём, помимо очевидного роста производительности, которые происходят в отношении, например, центральных процессоров компьютеров, а также важно то, что мы научились применять специфические архитектуры, специально приспособленные для задач машинного обучения процессоры, ну, в общем-то, такими процессорами стали матричные, или как говорят, тензорные процессоры, в которые встроены видеокарты — это такая промежуточная платформа, которая на сегодняшний день является основой такого массового стека машинного обучения. Эти процессоры способны за один свой такт производить сложные матричные операции, что позволяет нам существенно быстрее тренировать нейронные сети, например, чем это делается на центральных процессорах компьютеров. Ну, и сейчас (я буду говорить об этом позже) идёт достаточно активная гонка за создание специализированного железа для обучения нейронных сетей, в неё фактически ввязались все крупные производители процессоров — ну, посмотрим, что из этого получится. А теперь начнём потихонечку говорить о том, что произошло в 2017 году. Ну и, наверное, самая громкая, самая нашумевшая сенсация, которая всерьёз прозвучала в медийном пространстве — это появление программы AlphaZero — это одна из наследниц программы AlphaGo, и программа AlphaGo Zero, которая смогла фактически освоить сразу три игры: это игра Go, это игра Сёги (японские шахматы) и это классические шахматы. И во всех этих трёх играх продемонстрировать очень впечатляющие показатели. То есть, во-первых, обогнать существенно показатели AlphaGo Zero, во-вторых, победить предыдущего чемпиона среди шахматных программ — программу Stockfish, и победить программу, которая являлась долгое время чемпионом по Сёге — программа Elmo. Конечно, очень интересно читать, что говорят популярные медиа на эту тему. Очень много всяких разных забавных суждений, ну, во-первых, немедленно такой всплеск алармизма произошёл серьёзный, потому что если машина освоила сразу не одну игру, а три, то наверное уже скоро-скоро SkyNet всех захватит. Конечно, много было сказано всякой чуши, глупостей, более интересно, наверное, даже послушать, что говорят шахматисты, потому что они являются специалистами в предметной области. И действительно вышло несколько довольно подробных разборов партий, опубликованных командой AlphaZero, и, конечно, шахматисты немедленно нашли там совершенно неповторимую красоту, феерические каскады комбинаций, жертв и совершенно необъяснимых манёвров на доске, необъяснимых с точки зрения человеческой логики, той машинной логики, к которой мы привыкли, обитая в мире Stockfish, Houdini и Komodo и так далее. Конечно, если говорить о шахматах, то я бы сказал, что победа была не очень убедительной, и она породила целый ряд таких достаточно серьёзных обсуждений. Вот что важно понимать про этот проект? Гугл является помимо того, что одним из лидеров в сфере разработки систем машинного обучения, является также и разработчиком специализированного железа для нейронных сетей, и в данном случае основной платформой этого проекта был процессор, который называется Tensor Processing Unit, но точнее не процессор, а вычислительное устройство, собранное из нескольких процессоров, предназначен для тренировки нейронных сетей. Производительность второй версии этого устройства оценивается примерно в 280 терафлопов — это чудовищная вычислительная мощь, поэтому когда авторы статьи пишут, что программа всего за 4 часа научилась обыгрывать Stockfish, то нужно учитывать, что при этом вычислительная мощь, которая стояла за этой системой, это 5 тысяч процессоров систем Tensor Processing Unit, то есть, 5000 умножить на 280 терафлопов, в общем-то, это огромные, скажем так, вычислительные потенциалы, в данном случае эти 4 часа никого не должны обманывать. Если вы это пересчитаете, скажем, в мощные серверные 20 ядерные ксеноновские процессоры, производительность которых равна примерно 3 терафлопам, то можете примерно посчитать, сколько это одновременно работающих компьютеров. Во-вторых, когда этот матч игрался, а, в общем-то говоря, он игрался не публично, мы знаем о нём только из публикаций авторов, AlphaZero играла, используя четыре Tensor Processing Unit, а Stockfish играл на одном хотя и мощном центральном процессоре опять же производительностью там порядка 3 терафлопов, поэтому вроде бы как получается, что мощность железки, такая вот грубо посчитанная мощность железки, на которой играл AlphaZero, она существенно выше, чем мощность той железки, которую использовал Stockfish. Правда, тут очень большой вопрос заключается в том, как именно считать, потому что авторы предлагают выполнять расчёт в количестве просматриваемых позиций, и в этом смысле AlphaZero уступал Stockfish, то есть, скорость просмотра позиций, скорость просмотра узлов в поисковом дереве у Stockfish была существенно больше, чем у AlphaZero. Это не всегда корректно таким образом сравнивать, потому что разные программы по-разному, вообще говоря, учитывают деревья, ну, учитывают узлы в дереве перебора и, скажем так, не совсем понятно, что означает просмотренный узел дерева, то есть, для каждого узла дерева нам нужно сгенерировать ход, вызвать для него проверку там на шахе, различные там расширения и так далее, запустить оценочную функцию, она может быть выполнена частично, то есть, это такой подход, который называется lazy evaluation, когда оценочная функция выполняется для какого-то узла дерева не полностью, а лишь частично. В общем, тут появляется целый ряд нюансов, что как говорил товарищ Сталин: важно, не как проголосовать, а как посчитать. Можно посчитать в энергоэффективности, это такой вот вроде бы тоже показатель более или менее объективный, то есть, посчитать, сколько вот эти две системы потребляли электроэнергии в ваттах. Ну, получается, что в таком случае AlphaZero потреблял примерно в 10 раз больше энергии, то есть, не во столько раз разница получается, как если мерить в операциях с плавающей точкой разница, но тем не менее получается, что всё-таки производительность AlphaZero была больше. Но есть ещё целый ряд вопросов, то есть, это распределение времени. Вроде бы играли с контролем 1 минута на ход, дело в том, что у Stockfish есть свои интеллектуальные алгоритмы по распределению времени в матче, и Stockfish сам умеет решать, сколько ему над каждым ходом думать, поэтому можно сказать, что здесь тоже некоторый такой, возможно, кивок в сторону AlphaZero был предоставлен, но и, в общем-то, не очень понятно, почему было использовано 4 TPU, а не 1, скажем. Но, видимо, если брать 1 TPU для AlphaZero, то победа не становится столь сокрушительной, как была нам продемонстрирована. В общем, вопросы к этому матчу, конечно, остаются, тем более, что, в общем-то, публике пощупать эту систему не удастся, потому что это проприетарная разработка Гугл, но, тем не менее, в общем-то, по этим партиям видно, что действительно, по всей видимости, это мощнейший шахматный компьютер в мире, то есть, это может быть не мощнейшая шахматная программа, но по итогам это мощнейший шахматный компьютер на сегодняшний день. Ну, и маленькая такая ещё тоже шпилька, вот если посмотреть на графики обучения, то мы видим, что вот это вот обучение AlphaZero здесь вот это на Go, то есть, вот красная линия — это уровень игры, который AlphaGo демонстрировал, когда играл с Ли Седолем. Зелёная — это, соответственно, AlphaGo Zero, и AlphaZero — вот эта синенькая кривая, которая в какой-то момент обгоняет, вот это уровень AlphaGo Zero. Ну, вот в Сёги мы тоже видим, что после того, как уровень Elmo достигается, после этого, в общем, кривая продолжает расти, но вот в случае со Stockfish мы видим, что, в общем-то, угол между вот этими кривыми обучения, ну, кривое обучение и, скажем так, уровнем Stockfish он не так выражен, поэтому вполне возможно, что мы приблизились к пределам эффективности решения такой задачи как шахматы, ну и, в общем-то, ничего здесь нет удивительного. Что ещё интересного и полезного можно сказать про AlphaZero, — что как и его предшественники AlphaZero и AlphaGo, который играл с Ли Седолем, — это системы, которые обучаются при помощи метода, который называется обучение с подкреплением. И в случае AlphaZero здесь одним из важных моментов является то, что впервые программа начинала учиться с нуля, не имея на входе партии людей, партий других программ, то есть, фактически это было обучение с полного нуля. Если же мы вспомним историю AlphaGo, то первой версии AlphaGo учились вначале на базе с 10 тысяч партий мастеров Go, и лишь потом уже доучивались на собственных партиях, сыгранных самостоятельно с самим собой. Одно из таких наверно самых важных направлений в развитии нейронных сетей и, вообще говоря, такой своеобразный философский камень глубокого обучения — это выбор оптимальных архитектур нейронных сетей для решения разных задач. Ну, вообще говоря, в то время как первые нейросетевые модели появились, а это произошло, напомню, на границе 40-х и 50-х годов, и началось с разработки первой модели искусственного нейрона Маккалоком и Питтсом, совершенно ясно стало, что в отношении нейронных сетей есть два основных технологических вопроса. Первый вопрос о том, как учить нейронную сеть, то есть, мы понимаем, что, в общем-то, любая зависимость произвольная может быть представлена в виде соответствующей нейронной сети конечного размера. Но это, в общем, строго говоря, следует из математических основ теории, положенной в основу нейронных сетей. Но каким образом подобрать веса в нейронной сети? Какие образом определить коэффициенты, соответствующие каждому из синапсов этой сети? Ну, и в ответ на этот вызов, мы знаем, появились градиентные методы обучения, самый основной классический метод — это метод обратного распространения ошибки, так называемый backpropagation. Ну и на самом деле у этого метода есть множество наследников и, собственно, современные алгоритмы обучения нейронных сетей — это все наследники backpropagation. Второй немаловажный вопрос — это вопрос об архитектуре сети, то есть, конечно, можно построить полносвязную сеть, в которой каждый нейрон будет связан синапсом с каждым нейроном. Но проблема такого рода сетей заключается в том, что они, конечно, очень в большой степени избыточны и количество вычислений, которые требуются при обучении таких сетей, оно слишком велико. Если мы посмотрим на естественные нейронные сети, которые мы наблюдаем в мозге живых существ, то мы можем заметить, что, в общем-то, эти сети хотя и сильно связаны, но вот можно примерно прикинуть: в человеческом мозге около 86 миллиардов нейронов в среднем по представлениям современных нейрофизиологов, и у десятилетнего ребенка может быть до квадриллиона синапсов. Вот мы видим, что квадриллион — это очень сильно меньше, чем 86 миллиардов в квадрате, то есть, совсем не каждый нейрон связан с каждым. И встаёт вопрос: а каким образом выбрать, какие именно нейроны должны быть связаны с какими? Было очень много разных интересных подходов к этому вопросу, ещё в 70-е годы рассказывали такой забавный коан про Минского — известного специалиста по перцептронам, который зашёл однажды в комнату и увидел своего ученика, который занимался тем, что при помощи генератора случайных чисел генерировал топологию нейронной сети для игры в крестики-нолики. Минский тогда, посмотрев на это, спросил у ученика: «А почему ты хочешь именно случайным образом сгенерировать топологию нейронной сети?» Ученик на это ответил: «Потому что я не хочу, чтоб мои экспертные предубеждения каким-то образом влияли на то, каким именно образом программа будет играть в крестики-нолики». Тогда Минский сказал своему ученику: «Закрой глаза», — ну, дальше он засмеялся и ударил его палицей по голове. Ну, на самом деле, конечно, нет, потому что он ему сказал: «Ну, и как ты думаешь, мир исчез после того, как ты закрыл глаза?» Ну, и действительно, то есть, конечно, вроде бы экспертные предупреждения ученика куда-то делись, но методы генерации псевдослучайных чисел у какого-то линейного конгруэнтного и так далее тоже есть свой биос, он сгенерирует тоже определённую топологию, хотя она и будет казаться нам случайной, но она будет точно также вносить свою лепту в систематическую ошибку этой системы. И что важного произошло как раз в 90-е годы и в начале нулевых годов — это то, что мы придумали, что нейронные сети можно собирать из таких небольших кирпичиков, строительных блоков. В некотором роде современное нейросетевое проектирование оно подобно сборке конструктора Lego. У вас есть некоторое количество параметризованных слоёв с заданными свойствами, с заданными функциями преобразования и, собственно говоря, из набора этих слоёв вы собираете топологию конечной сети. И этот подход оказался очень продуктивным, он во многом был инспирирован данными нейрофизиологов, потому что, скажем, изучение сетчатки показало, что в сетчатке существуют регулярные паттерны, то есть, последовательные слои сетчатки. Нейроны из них связаны с нейронами из других слоёв, следствие с некоторым регулярным квазирегулярным законом, то есть, грубо говоря, нейрон из первого слоя связан ровно с четырьмя нейронами из второго слоя, определённым образом топологически расположенных в пространстве, ну, и так далее и так далее. И, собственно говоря, конечно возник большой соблазн сделать ещё один шаг вперёд. Ведь действительно задача выбора оптимального набора вот этих строительных кирпичиков и их последовательности это тоже, в общем-то, задача машинного обучения, тоже задача оптимизационная, и поэтому специалисты по машинному обучению во всём мире стремятся создать искусственный интеллект для автоматического построения топологии нейронных сетей. И вот в этом году вышло несколько очень важных работ, которые существенно сдвинули вперёд здесь дело с мёртвой точки. Эти работы все написаны специалистами из Google, вообще говоря, это одно из важных направлений, которым занимается Google. Ну, у Google, вообще говоря, есть несколько подразделений, то есть, в данном случае вот эта работа специалистов из Google Brain Баррета Зофа и Квока Ле. Вот первая из работ использует метод обучения с подкреплением. Собственно говоря, это есть тот же самый подход, который использует AlphaGo, AlphaGo Zero. Что такое обучение с подкреплением — поясню. Вообще говоря, все виды машинного обучения делятся на две большие категории: это обучение с учителем и обучение без учителя. Обучение с учителем — это когда у вас есть какой-то набор данных, заранее размеченный, для каждого отдельного случая у вас уже есть оптимальное решение. Ну, там данные, например, экспертами какими-то, людьми чаще всего. А обучение без учителя — это система машинного обучения, которая использует неразмеченные массивы, в которых для их разметки не привлекаются люди и в которых нет, собственно, заранее заданного правильного решения. И вот у обучения с учителем есть такая разновидность, которая называется обучение с подкреплением. А смысл заключается в том, что как такового набора заранее заданных правильных решений нет, но есть некоторая модельная среда, которая позволяет в ответ на действие агента получать определённую обратную связь. То есть, самый просто пример — это игра, в которой, например, летают самолётики, стреляют друг в друга, каждый из этих самолетиков управляется нейронной сетью. Ну и, соответственно, в случае, если в ваш самолётик попадает пуля, вы должны каким-то образом текущую модель оштрафовать, наказать её за это, дать ей отрицательную обратную связь. Ну, а если, соответственно, ваш самолётик попал в противника, то он должен получить от среды какую-то положительную обратную связь, то есть, некоторое удовольствие. И, соответственно, под влиянием вот этих сигналов, которые среда возвращает нашей системе, подстраиваются, собственно, её внутренние параметры. Соответственно, такой подход можно употребить и для того, чтобы выбирать правильно архитектуру нейронной сети. Архитектура нейронной сети может быть описана в виде некоторой последовательности символов, закодирована. И, соответственно, может быть использована рекуррентная нейронная сеть, которая и будет генерировать эту последовательность. Вам остаётся только кормить этой нейронной сети конкретные примеры из обучающего датасета и получать обратную связь в виде либо положительного либо отрицательного сигнала. Положительный сигнал — если ваша сеть в результате произведённых изменений стала лучше решать ту задачу, которая перед ней стоит. И, соответственно, если стала решать хуже, то отрицательную обратную связь. Вот какие результаты были получены. Но, вообще, один из знаменитых наборов данных, которые используются в такого рода задачах — это набор данных CIFAR-10 — это набор из огромного количества, из миллионов картинок, на каждой из картинок есть один из десяти объектов, вот можно посмотреть, что это самолёты, автомобили, птицы, кошки, олени, собаки, лягушки, лошади, корабли и грузовики. Соответственно, вот 10 видов объектов, это какое-то случайное подмножество картинок, выбранных из вот этого массива CIFAR-10. А вот, что получилось. Получилось, что лучшее из архитектур, которые удалось при помощи такого подхода создать, даёт ошибку 3,65%, при этом вручную созданные сети, например, ResNet — знаменитая сеть, которая на протяжении многих лет показывала одни из самых лучших результатов в большинстве соревнований по распознаванию образов, она имеет здесь ошибку в районе там от 4 до 5%. То есть, в общем-то, результаты нейронных сетей, создаваемых людьми вручную, в данном случае превзойдены. Это второй подход. Оказывается, помимо Reinforcement learning, помимо обучения с подкреплением, можно использовать и эволюционные алгоритмы и, в общем-то, тоже примерно с такими же результатами. Здесь правда видно, что эволюционная система у неё всё-таки ошибка получилась на CIFAR-10 немножко побольше, то есть, там что-то точность 95,6%, но это всё равно немножко лучше, чем резнет. Но зато вот был ещё использован датасет CIFAR-100, на котором, соответственно, существует 100 разных объектов, в которых сети необходимо определять 10 категорий по 10 разных объектов, и вот на этом сете она показала тоже рекордные показатели. Если до сих пор порядка 73% точность была, то она была до 77% увеличена. Это вот как раз график как бы эволюции искусственной этой сети. Ну, что такое эволюционные алгоритмы, в чём они заключаются — здесь подход заключается в том, чтобы украсть у эволюции её инструмент и использовать его в машинном обучении. Каждая архитектура — это некий условный организм, который описывается при помощи такого суррогатного генотипа. Ну, и дальше мы, собственно, моделируем процесс жизни и конкуренции этих организмов, производим скрещивание между наиболее успешными организмами. Чем более успешен организм, тем с большей вероятностью он участвует в половом размножении. Два этих организма обмениваются своим генетическим материалом, вносятся случайные мутации, ну, и, соответственно, результирующий условный организм добавляется в обучающую среду и так далее и так далее. Соответственно, наиболее худшие, наименее приспособленные организмы отбраковываются, вот серенькими здесь показаны все уже умершие организмы, вымершие. А, соответственно, вот тут вот синенькая группа — это ныне живые организмы там после 256 часов обучения. Ну, и вот третий подход. Оказывается, что эту же задачу можно решать и при помощи просто нейронной сети, то есть, оказывается, что можно сделать нейронную сеть, которая будет генерировать архитектуру нейронной сети. Ну, и вот другая группа, тоже из Google Brain, с другими участниками. Она вот предложила свой альтернативный подход, здесь на немножко более широком наборе задач это было опробовано. В принципе, эта система не только решает задачи классификации, но и задачи, связанные с переводом последовательности и последовательности, sequence to sequence, то есть, в данном случае это перевод фраз с одного языка на другой, или например вот преобразование картинки в её описание на английском языке, или определение категории, опять же, распознавание образов, синтаксический разбор фразы, в общем-то, это такие типовые задачи категории sequence to sequence. К сожалению, я не нашёл сопоставимых здесь метрик, но это пионерская работа, в принципе, с какими-то сопоставимыми результатами с теми моделями, которые создавались вручную. Ну, вообще говоря, не как бы нейронными сетями едиными живо машинное обучение. И надо сказать, что есть огромная категория задач, которые решаются в машинном обучении не при помощи нейронных сетей, а при помощи других алгоритмов. И главным образом на сегодняшний день, можно сказать, что основное, наверное, такое пространство задач, которые решаются при помощи альтернативных подходов — это задача либо очень скромной размерности, то есть, те случаи, когда количество факторов сравнительно невелико. То есть, скажем, если вы классифицируете картинку размером, например, 100 на 100 точек, то у вас будет 10 000 точек, это значит 10 000 факторов. Но для таких задач, конечно, лучше всего работают нейронные сети, им практически нет альтернативы, правда, есть некоторые специфические алгоритмы типа метода опорных векторов и так далее, но, скажем так, всё-таки в этом сегменте на сегодняшний день нейронные сети достаточно уверенно доминируют. Но есть задачи сравнительно маленькой размерности, то есть, если например взять задачу, скажем, выдачи кредита в банке или принятия решения по поводу того брать или не брать какого-то кандидата на работу и так далее, другие практические задачи, которые на сегодняшний день хорошо уже внедрены в производственный стек, оказывается, что вот для таких задач лучше работают другие методы, то есть, нейронные сети показывают на них сравнительно скромные результаты. А доминируют там такие подходы как градиентный бустинг и леса случайных деревьев. Ну, и в этом году компания Яндекс опубликовала исходные коды своего решения для градиентного бустинга, называется CatBoost — это такое готовое решение из коробки, которое в принципе может использовать каждый специалист в машинном обучении для решения своих задач в индустрии. И это решение на самом деле весьма успешное, оно по показателям точности для огромного количества задач существенно превосходит те опенсорсные альтернативы, которые существуют, типа XGBoost, H2O и так далее. Активно сейчас используются для решения целого ряда задач, например, в области физики в Церне (CERN) используют CatBoost. Мы вот тоже в своей работе попробовали этот инструмент, у нас правда есть свой проприетарный аналог, который, в общем-то, как оказалось, не особенно уступает CatBoost, иногда его и превосходит. Но в данном случае как бы само проявление щедрости того, что специалисты решили поделиться с комьюнити своим таким достаточно передовым инструментом, это можно только приветствовать и, в общем-то, это безусловно большое серьёзное событие в мире машинного обучения в 2017 году. Отдельно остановлюсь на том, что происходит в такой милой мне области как синтез речи. Дело в том, что маленькая революция в этой сфере началась ещё в 2016 году. В конце сентября 2016 года компания Google опубликовала свою работу, которая была посвящена созданной ими архитектуре под названием WaveNet, которая позволяла реалистично генерировать речь и, в общем-то, развитием этой архитектуры сразу же занялось несколько научных групп. Ну, во-первых, это группа опять же внутри самого Google, и компания Baidu активно включилась здесь в гонку. И на сегодняшний день в 2017 году вышли архитектуры DEEP SPEECH 3 от компании Baidu и нейросетевая архитектура TACOTRON-2. Вот это система, которая предназначена для синтеза речи. Сейчас мы послушаем семплы, надеюсь, что будет достаточно громко.

Такого рода системы обычно оцениваются при помощи очень простого подхода: берут большую группу людей, раздают им случайным образом набор семплов, часть из них сказана людьми, часть из них сказана машиной и, соответственно, просят по 5-ти бальной шкале оценить качество этого семпла. И, в общем-то, на сегодняшний день, если мы говорим о TACOTRON, то это модель, которая в такого рода экспериментах показала уровень практически неразличимый с тем уровнем, который демонстрируют люди. В общем-то, если говорить о WaveNet, в своё время его появление преодолело примерно половину разрыва, который на тот момент оставался между речью, которую синтезировали актуальные на тот момент системы синтеза речи, конкатенативные и параметрические. Ну, в общем-то, как мы раньше синтезировали речь, мы либо склеивали фонемы, это называлось конкатенативным подходом, либо описывали просто звуковые волны при помощи набора параметров — это назывались параметрические модели. Параметрические модели хорошо работали на некоторых азиатских языках и показывали наилучшие результаты, конкатенативные больше на романно-германской группе. В общем-то, всё равно это речь была, которую достаточно легко было отличить от речи человека и, скажем там, голосовой робот, который общался с вами, используя синтезатор, основанный на старых моделях, конечно, вы сразу же выкупали и понимали, что это как бы совсем не человек. Но если говорить о TACOTRON, то я думаю, что различить чрезвычайно сложно и понять здесь, что с вами общается не человек.

Вообще говоря, история свёрточных нейронных сетей она очень интересная и драматическая, как я уже говорил. Сами они появились под влиянием данных из нейрофизиологии и под влиянием изучения структуры сетчатки. И ключевая работа, наверное, которая дала первый импульс тому прогрессу, который мы наблюдаем в последние полтора десятилетия, это была работа Яна Лекуна, написанная в 1999 году, где он показал, как при помощи простой свёрточной нейронной сети можно эффективно распознавать рукописные цифры — это знаменитый такой массив, который называется MNIST, на котором долгое время соревновались производители различных систем распознавания. Но после вот этой работы Лекуна, которая вышла в 1999 году, ещё очень долгое время эти модели они оставались исключительно уделом специалистов. И такой серьёзный гром, наверно, прогремел уже в 2011 году, когда Хинтон, используя вот эту архитектуру, предложенную Лекуном, показал рекордные результаты на крупном соревновании по распознаванию изображения, которая называется ImageNet и, в общем-то, с того момента и начался такой очень быстрый прогресс свёрточных нейронных сетей, который привёл к тому, что в 2015 году был впервые достигнут паритет с людьми при распознавании образов. И на сегодняшний день считается, что свёрточные нейронные сети, ну, сложные специальные архитектуры свёрточных нейронных сетей они способны распознавать изображение лучше, чем люди. Но при этом мы понимаем, что сами по себе эти сети они чрезвычайно примитивны по сравнению с мозгом человека. Количество нейронов, количество синапсов в этих сетях существенно уступает количеству нейронов и синапсов в человеческой сетчатке. И в то же время мы знаем, что и человеку тоже свойственно ошибаться, и люди ошибаются, принимая одни объекты за другие. Есть целое большое направление, которое изучает различные оптические иллюзии, которые возникают у людей. Мы знаем, что у нас есть там специфический баг, связанный с наличием слепого пятна, и наш мозг как бы достраивает картинку. Опять же, если говорить, допустим, об объёмном зрении — здесь тоже не всё так просто, потому что с одной стороны у человека бинокулярное зрение, мы смотрим двумя глазами, за счёт этого параллакса мы можем выстроить объёмную картинку. Но дело в том, что если вы закроете один глаз, то картинка не станет от этого необъёмной, потому что мозг это, конечно, очень хитрое адаптивное устройство, глаз совершает некоторые микродвижения, за счёт которых дополнительно может получать информацию об объёме. И, в общем-то, эту информацию об объёме он достраивает ещё определённым образом. Ну, мы знаем, что есть целый ряд иллюзий, где людям одни и те же объекты начинают казаться то выпуклыми, то вогнутыми, балерина начинает крутиться то по часовой стрелке, то против часовой стрелки и так далее и так далее. И вот самый интересный вопрос, наверное, который появился в тот момент, когда свёрточные нейронные сети стали таким уже стандартом индустрии: а испытывают ли нейронные сети такого рода оптические иллюзии, могут ли они ошибаться, и насколько этот пример может быть воспроизведён. Про простые иллюзии было известно давно, то есть, если посмотреть на картинку слева, то одна из знаменитых сетей Google Net она считает, что на этой картинке изображено гуакамоле, то есть, не верьте своим глазам — это гуакамоле. Но это как бы реальная картинка из реального датасета, то есть, вот она была найдена случайно, и огромный-огромный набор картинок среди миллионов картинок — нашлась картинка, на которой стабильно сеть ошибается. Но дело в том, что если эту картинку взять и, например, её немножко повернуть, просто взять и повернуть, и тут внезапно оказывается, что — ооо, да это же кошка, а не гуакамоле! То есть, здесь, в общем-то, этот глюк он такой очень нестабильный, то есть, стоит добавиться каким-то шумам, чуть-чуть измениться углу просмотра объекта — оказывается, что вот эта иллюзия она мгновенно исчезает. И, в общем-то, к этой проблеме относились достаточно легко, потому что, в принципе, не страшно, если вы оснастите автомобиль такого рода системой искусственного зрения, которая будет распознавать объекты на дороге. Ну, да, там на какое-то мгновение ей покажется, что пешеход — это табуретка, но это произойдет ровно на мгновение и как бы не приведёт к каким-то серьёзным последствиям. Но оказалось, что, в общем-то, всё не так радужно, по крайней мере вот для каких-то отдельных сетей, и в данном случае мы говорим о Google Net. Удаётся подобрать более-менее стабильные примеры, и вот инженеры из Массачусетского технологического изготовили такой вот прекрасный объект — это вот черепаха, на самом деле она ненастоящая, она напечатана на 3D принтере, нанесено специальное изображение на её панцирь, и вот красным здесь обведены случаи, когда эта черепаха классифицируется как винтовка. То есть, вот гугловская сеть считает, что это винтовка. То есть, мы видим, что мы по-разному вращаем эту черепаху, и всё равно как бы нейронная сеть упорствует и говорит, что нет, это не черепаха, это винтовка. И в некоторых случаях там ещё что-то другое говорит про эту картинку. Они изготовили ещё один такой объект, вот это очень интересный объект такой: в зависимости от поворота в зелёном случае — это бейсбол, бейсбольный мяч. Вот там, где это обведено красной рамкой — это эспрессо. И, соответственно, чёрный — это что-то другое. Но на самом деле, если вот приглядеться, то есть, там на поверхности такие вот какие-то есть коричневые как бы пятнышки и так далее и, в принципе, человек тоже может такую ошибку допустить в определённом случае. Но что конечно в этой ситуации немножко пугает, то, что мы уже изготовили изрядное количество систем, основанных на такого рода нейросетевых инструментах. И, оказывается, есть алгоритм, в соответствии с которым можно изготавливать объекты, которые будут такого рода системы вводить в заблуждение, что, естественно, вызывает целый ряд вопросов и наверняка вызовет ещё множество обсуждений.

Чат-боты — здесь несколько диалогов с Алисой приведено. Ну, на самом деле, конечно, Алиса — это не какое-то там чудесное прорывное явление, в общем-то, модель, на которой она основана, была разработана еще в 2015 году, но, вообще говоря, история понимания естественного языка машинами — это очень давняя история с очень большими традициями. В принципе, Алан Тьюринг в своё время, как мы знаем, предложил свой знаменитый тест Тьюринга в качестве такого хорошего инструмента для проверки того, создали ли мы универсальный искусственный интеллект или не создали. Напомню, в чём заключается его суть: вы садитесь к терминалу, общаетесь с кем-то, вы не знаете, кто ваш собеседник — это машина или человек. Соответственно, задача машины — выдать себя за человека и убедить вас в том, что она человек. Соответственно, задача человека — просто общаться с вами. В этом тесте очень видна некоторая такая неприязнь инженеров к философским спорам, потому что вот как определить понятие искусственного интеллекта, ведь с этой проблемой в своё время столкнулись и первое, конечно, что напрашивается — это попробовать его определить через интеллект. То есть, у нас есть понятие, состоящее из двух слов: интеллект и искусственно. Что такое искусственный вроде бы понятно, то есть, созданный руками человека. А вот что такое интеллект? В этом споре на самом деле можно очень на долгое время погрязнуть и так и не прийти ни к какому общему знаменателю. Поэтому в основу понятия искусственного интеллекта было положено понятие интеллектуальной задачи, которое гораздо более просто определить. То есть, если есть какая-то задача, которую вы традиционно решаете при помощи своего интеллекта, то это интеллектуальная задача. И вот если вы создаёте систему, которая автоматизирует решение этой задачи, то это будет система искусственного интеллекта. В общем-то, подход здесь чистого рода инструментальный. Если нечто выглядит как кошка и мяукает как кошка и всячески в любых экспериментах проявляет себя как кошка, то мы должны признать это кошкой. И если в ходе взаимодействия, в ходе интеракции с каким-то агентом мы при всех взаимодействиях не можем отличить его от настоящего интеллекта, от человеческого интеллекта, то мы тем самым должны признать наличие у этой системы интеллекта. Конечно, вокруг этого подхода Тьюринга в своё время было достаточно много сломано копий, были придуманы разные контрпримеры. Например, китайская комната Сёрла, когда предлагался такой мысленный эксперимент: представим себе комнату, в которой сидит человек, который не знает китайского языка, но у него есть такой большой-большой справочник, в котором написаны правила, что вот если тебе напишут такие иероглифы — ты должен в ответ написать такие, если напишут такие иероглифы — должен написать такие. И, соответственно, человек, которому передают в эту комнату бумажку с написанными в ней китайскими иероглифами, руководствуясь вот этим сводом правил, готовит ответ, передаёт его на выход. И у любого внешнего наблюдателя складывается впечатление, что эта система она обладает пониманием китайского языка. Но на самом деле по определению как бы человек, который сидит в комнате и не понимает китайского языка, и вроде бы получается, что здесь есть некоторая разница. Но на это, конечно, тоже есть в свою очередь весьма хитроумное возражение, например, аргумент систем, когда говорят, что ну, хорошо, человек-то не знает китайского языка, но вот если мы рассмотрим всю систему «человек плюс набор вот этих правил», то вот за этой системой мы должны уже признать наличие понимания китайского языка. Ну, словом на эту тему очень любят поспорить, но важно здесь то, что в основу изначально вот этого развлечения универсального искусственного интеллекта была положена способность коммуницировать при помощи естественного языка. А задача эта парадоксальным образом весьма сложна и, надо сказать, что хотя мы существенно продвинулись в этом направлении, нам ещё очень далеко пока что до того, что здесь демонстрируют люди. Интересно, что первые опять же игрушки, которые создавались в 60-е, 70-е годы, уже тогда были весьма забавные решения для этой области, например, первая программа, первый чат-бот ELIZA более-менее успешно могла в некотором ограниченном контексте общаться с людьми. ELIZA при этом разыгрывала из себя врача психиатра. И, соответственно, в общем-то, была некоторой такой пародией на работу психиатров, потому что употребляла кучу всяких жаргонизмов, кучу всяких фразочек, которые очень любят психиатры. Почему ELIZA, кстати говоря, это название было дано в честь Элизы Дулитл, той самой героини пьесы шоу Пигмалион. Многие из вас, наверное, видели оперетту «Моя прекрасная леди», которой сюжет таков, что профессор из высшего общества решил из девушки низшего сословия сделать настоящую леди, обучив её грамотно и красиво выражаться на литературном английском. Ну, ответом была в своё время программа PARRY, которая разыгрывала наоборот параноика из себя, пациента. И надо сказать, что эти системы имели даже некоторый ограниченный успех. Например, был такой эксперимент, который назывался AOLiza, когда программа ELIZA через чат-сети America Online подключалась к разным пользователям и, в общем-то, пыталась сбить их с толку. Многие из них не понимали, что они общаются с машиной, соответственно, PARRY смог обмануть изрядную долю профессиональных психиатров, они не могли отличить его от настоящего пациента. Конечно, это всё были немножко игрушечные задачи, ограниченные домены, понятно, что человек с психическими расстройствами может в некотором роде напоминать машину в проявлениях своего общения. Была такая программа SHRDLU, созданная Терри Виноградом, которая позволяла обсуждать на естественном языке проблемы, связанные с очень таким маленьким модельным мирком. Это был такой стакан, в котором лежали разные объекты: пирамидки, кубики, шарики, коробка. И у SHRDLU был такой манипулятор, при помощи которого он мог переносить эти предметы, и с SHRDLU можно было общаться при помощи естественного языка, задавать ему вопросы, выдавать какие-то суждения, сообщать ему свои мнения по поводу тех объектов, которые находятся в коробке. И SHRDLU довольно ловко отвечал практически на любой вопрос, осуществлял манипуляции, сбить его с толку было чрезвычайно трудно. И в то время, конечно, такого рода система она произвела просто оглушительный фурор, что на самом деле можно скачать сейчас исходники SHRDLU, эта программа написана на Lisp. И, конечно, любого программиста, который заглянет в её исходники, ждёт большое разочарование, потому что SHRDLU — это просто огромный набор правил, хитроумных правил, которые заранее запрограммированы, то есть, хитроумный Терри Виноград, по всей видимости, очень долго сам экспериментировал с этой программой и привлекал своих коллег, пытался по-разному сбить её с толку, и для каждого такого трюка затем программировал отдельное правило, способное справиться с конкретной коммуникативной задачей. Почему это всё работало? Это работало, потому что этот модельный мирок из SHRDLU был очень и очень маленький. То есть, по сути дела в нём существовало всего 60 понятий, и вот вокруг 60 понятий на самом деле можно так, изрядно попотев, всё-таки всё описать правилами и получить систему, которая действительно будет демонстрировать интеллектуальное поведение. Но стоит нам, конечно, выйти за границы такого маленького домена — всё становится уже не очень хорошо. Тьюринг сам считал, что к началу 2000-х годов машины смогут обманывать людей примерно в 30% случаев. Более-менее его прогнозы оправдались. Раз в несколько лет университет Рединга проводит соревнования, похожие на тест Тьюринга, я бы так сказал. Тут тоже из-за этого происходит непонимание, потому что когда в своё время программа Евгений Густман, которая притворялась маленьким мальчиком из Одессы, она смогла, в общем-то, обмануть там 47, по-моему, процентов экспертов. И из чего был сделан немедленно вывод о том, что тест Тьюринга пройден и всё такое, пофиг пляшем. На самом деле, конечно, нет, потому что в испытаниях университета Рейдинга каждому эксперту даётся всего 5 минут на общение с чат-ботом и, в общем-то, этот трюк он прошёл один раз — притворяться мальчиком из Одессы глупым, но завтра там уже нас на мякине не проведёшь. В общем, на самом деле это всё, конечно, очень далеко от настоящего общения и, я думаю, что никаких существенных проблем пока что вот у таких серьёзных экспертов нету в том, чтобы выявить бота, потому что в испытаниях университета Рединга там не эксперты опять же выступают в качестве участников этого общения, а обычные люди — это тоже такой очень важный момент, потому что даже примитивный чат-бот он на самом деле изрядное количество людей может обмануть. Я обратил внимание, что там лет 5 назад в Фейсбуке очень легко было отличить бота от настоящего человека. На сегодняшний день если там приходит запрос в друзья, уже ты понимаешь, что как бы время, которое тебе нужно на то, чтобы отличить: бот это или не бот, оно уже как бы совершенно неадекватным становится. То есть, тебе приходится там чего-то этому человеку писать, смотреть, что он там отвечает, задавать ему какой-нибудь такой каверзный вопрос, чтобы его с толку сбить. И при этом как бы там такие Open Source боты они уже общаются довольно неплохо. Что лежит в основе технологий чат-ботов, и что мы придумали вообще в 2000-е годы в этом направлении? Придумали следующее: в 2003 году была написана работа Джошуа Беньо, который сделал такое интересное и очень важное предположение. Он предположил, что семантика слов в естественном языке очень сильно зависит от контекста, в котором эти слова встречаются, ну, а точнее от статистики контекстов. То есть, грубо говоря, если вы возьмёте какое-то слово, например, кошка и возьмёте огромный-огромный набор текста на русском языке и вот просто посмотрите в каждом конкретном случае, какие слова предшествуют слову кошка, какие слова идут после слова кошка, на какую-то глубину, например, в три слова в каждую из сторон. И дальше построите такую таблицу, просто в ней напишете, что в одном проценте случаев вокруг слова кошка стояли вот такие-то слова, там ещё в полпроценте случаев вокруг слова кошки стояли такие-то слова и так далее, и построите такую большую таблицу. Если вы возьмёте потом какое-то другое слово и две эти таблицы для этих слов сравните между собой, и вот чем более эти таблицы будут похожи, тем более семантически близки будут эти слова. И на самом деле в 2011 году в работе Миколова был предложен уже конкретный инструмент, при помощи которого можно было взять большой-большой набор текстов и построить так называемый вектор эмбединга — это вектор размерностью обычно 500 или 100, который отражает собой семантическое пространство слов в языке. Вот этот вектор обладает очень интересными особенностями, например, если вы возьмёте вектор, соответствующий слову кошка, и вычтите из него вектор, соответствующий слову кошки, то вы получите результат, который будет очень похож на тот, который будет получен путём вычитания из вектора собака и вектора собаки. То есть, отношения множественного числа превращаются тоже в определенное векторное соотношение в этом пространстве. И множество других семантических отношений на самом деле находит выражение вот в этом построенном векторном пространстве, алгоритм называется Word2Vec, но у него есть альтернатива, есть ещё GloVe, такой алгоритм. И, в общем-то, при помощи таких алгоритмов на сегодняшний день мы можем превратить весь набор слов языка в набор таких векторов, и тем самым в этом наборе векторов будет представлена уже некоторая семантическая информация. И дальше мы можем взять рекуррентную нейронную сеть и кормить её последовательностью таких векторов, например, решая задачи классификации. То есть, вот реальная практическая задача, которую решал я в своё время: у вас есть робот-оператор call-центра, которая общается с клиентами, вы задаёте человеку вопрос, и человек даёт какой-то ответ. У робота есть скрипт, в соответствии с которым он работает. Он должен выслушать ответ человека и понять, куда дальше по скрипту ему следует идти, то есть, что ему ответить на то, что сказал человек. Соответственно, у вас это просто задача классификации, у вас есть большое количество фраз, сказанных в каком-то контексте, и вы должны определить, куда вы дальше проследуете, как понять эту фразу. Вот как раз это типичная задача, которая решается при помощи такого рода модели «рекуррентная нейронная сеть плюс вот эти Word2Vec, эмбединг». Чат-бот это, в принципе, тоже очень похожая задача, то есть, вы получаете последовательность фраз, сказанных человеком, и те фразы, которые ваш бот уже человеку отвечал, и вы должны эту последовательность превратить в другую последовательность, а именно последовательность слов в фразе-ответе. Соответственно, это основа на сегодняшний день таких инструментов как чат-боты, если взять Алису конкретно, то я как бы никогда не читал её исходников, они проприетарны, но там, в общем-то, видно по её работе, что на этот подход накладывается ещё некоторый набор таких ручных заплаток, которые не позволяют на какие-то острые фразы ответить что-нибудь опасное для имиджа компании Яндекс. То есть, если вы начнёте что-нибудь экстремистское у неё спрашивать, у неё заранее обычно заготовлен какой-нибудь ответ о том, что я в этом не разбираюсь, и вообще не надо, тут Роскомнадзор читает. Чат-боты становятся, конечно, на сегодняшний день всё больше и больше частью нашей жизни, ну, вот два конкретных успеха 2017 года в этой области, например, появился чат-бот, который клянчит деньги через PayPal, просто ходит через соцсети и просит людей отправить 5 долларов на PayPal. И вот за 24 часа такой бот смог насобирать 15 000 долларов в ходе одного из экспериментов. А второй бот, тоже появившийся в этом году, он выпрашивал у девушек их интимные фотографии, процент успеха 4% был получен, то есть, 4% женщин бот смог уговорить отправить ему свои фоточки. Ну, как говорится по методу поручика Ржевского — да, вроде бы процент небольшой, но если взять достаточно большое количество выборок, то всё в ваших руках.

Отдельно не могу обойти стороной то, что происходит вообще в сфере экономики и инвестиций. Дело в том, что последние несколько лет произошёл бум в сфере такой области машинного обучения как генеративные модели — это системы, которые предназначены для создания новой информации. Отдельное развлекательное направление называется Artistic style transfer, наверняка вы видели эти смешные картинки, когда морды собак проступают на любой картинке, которую вы там грузите в нейронку. Соответственно, там перенос артистического стиля художника на любую картинку и так далее. И, в общем-то говоря, следующим шагом от вот этого артистического переноса стали системы, предназначенные уже для создания информации с нуля, генерации картинок, например, есть такой смешной проект, который называется Yahoo Not SAFE Neural Network, который генерирует порнографические картинки. Соответственно, просто была взята нейронная сеть для распознавания порно и превращена в генеративную состязательную модель для генерации картинок, я вам их не буду сейчас показывать. Соответственно, определённый успех был достигнут и в генерации текстов, и в генерации звуков, и в генерации музыки. Конечно, одно из напрашивающихся направлений — это генерация структур молекул для фарм-корпораций. Почему? Потому что, конечно, биотех развивается семимильными шагами, это направление, в которое инвестируются серьёзные средства, и с которым связаны какие-то очень серьёзные технологические ожидания. Неудивительно, что это стало полем для возникновения таких брачных отношений между компаниями специалистами в области машинного обучения и фармкомпаниями. И о своих амбициях в области синтеза нахождения новых молекул заявила в том числе и DeepMind — подразделение Google, вот цитата Демиса Хассабиса, который возглавляет DeepMind, он сказал, что разработка лекарств, белков квантовой химии, новые материалы — только подумайте, возможно, не за горами появление сверхпроводника, работающего при комнатной температуре. В связи с этим, конечно, фармкомпании стали активно инвестировать средства в эту сферу, появились компании, отдельно специализирующиеся на синтезе молекул: это Recursion Pharmaceuticals, Exscientia, Evotec — посмотрим, что получится из этой истории. Несколько крупных сделок здесь произошло и, я думаю, что эти вот экономические изменения, которые произошли в 2016 и 2017 году, мы скоро увидим их плоды.
Нельзя обойти важную сферу, связанную с созданием специализированного аппаратного обеспечения для систем машинного обучения. Как я уже говорил в начале лекции, практически все крупные производители компьютерного железа ввязались в гонку за создание специализированных процессоров для обучения нейронных сетей, причём компания Intel решила перестраховаться, и у неё есть параллельно сразу целых три подобных проекта. Ну, Intel, вообще говоря, немножко опоздал на мобильный рынок и много потерял из-за этого, поэтому в данном случае они не хотят оказаться в хвосте технического прогресса, компания Intel расформировала свою знаменитую исследовательскую группу Core Team, которая создавала в своё время архитектуру Core 2 Duo, знаменитую архитектуру, которая легла потом в основу многих более поздних интеловских процессоров. И вот всё это было сделано с целью открытия проектов по созданию специализированного железа для машинного обучения. Отдельно у нас есть направление, связанное с разработкой процессоров под классические нейронные сети, у Intel это Nervana — проект самый основной, который посвящён этому направлению, и вот купленная ими компания делает такой процессор, который называется Myriad X. Соответственно, у них два таких проекта. Аналогичный проект Гугла — это Tensor Processing Unit, о котором мы уже говорили сегодня. Но, собственно говоря, в одном Tensor Processing Unit в нём на самом деле 4 чипа, в принципе, что важно для такого рода систем — видеокарты всем в принципе неплохи, но у них сравнительно маленький объём оперативной памяти. Для системы, которая учит нейронную сеть, важно иметь большое количество быстрой памяти, к которой, причём, будет быстро осуществляться параллельный доступ. Поэтому основная особенность TPU именно такая. NVIDIA выпустила линейку Volta, которая фактически заточена официально под обучение нейронных сетей. Отдельное направление — это создание так называемых нейроморфных процессоров. Дело в том, что с нейронными сетями произошла весьма классическая для науки технологии история. Дело в том, что когда у технологии нет готового решения для какой-то задачи, но при этом решение есть в живой природе, то технология очень часто пробует украсть это решение у природы и воспроизвести его, что называется, в металле. Если мы вспомним историю создания проектирования первых летательных аппаратов — Леонардо да Винчи огромное время тратил на то, чтобы зарисовать фазы движения крыла птицы — мы знаем его эти эскизы. И, в общем-то, очень много где в технологии пока не были разработаны какие-то стабильные технологические схемы, осуществлялись попытки подсмотреть что-то у природы. И вот если говорить о нейронных сетях, то, конечно, история здесь была очень похожей, и первые нейронные сети они появлялись именно как некая попытка воспроизвести в виде моделей то, что происходит в настоящей нервной ткани. Но как очень часто в технологии происходит, вот эти первые шаги бионические, если они приводят к результатам быстро, то путь технологии и путь живой природы очень быстро расходятся. Наши самолёты современные не машут своими крыльями и используют несколько иные способы полёта, чем птицы. Точно также искусственные нейронные сети, которые мы на сегодняшний день применяем, и которые успешно решают огромный спектр прикладных задач — это сети, которые не очень похожи на человеческий мозг. Но параллельно с развитием вот этой основной линейки технологической, связанной с вычислительными нейронными сетями, есть направление, связанное с развитием так называемых импульсных нейронных сетей, или как по-английски это называется spiking neural networks. То есть, это нейронные сети, которые более биологически достоверны, и такие модели более приближены к тому, что происходит в настоящей нервной ткани. В общем-то, за последние годы лидером в этом направлении была компания IBM, её основной процессор, с которым они работают, называется TrueNorth. На сегодняшний день уже вторая версия TrueNorth выпущена, первая версия TrueNorth содержала в себе один миллион эмулируемых нейронов и 256 миллионов эмулируемых синапсов, соответственно, эти показатели в 4 раза увеличены в последней версии TrueNorth. В общем-то, IBM создала целый институт для работы над этой технологией. Intel тоже заявила в прошедшем году свои амбиции в этом направлении созданием процессора, который называется Loihi, и который тоже будет воспроизводить себе такие более биологически достоверные спайковые сети. Так же мы знаем в результате некоторых утечек то, что Фейсбук ведёт совместную программу с компанией Qualcomm и крупным производителем мобильных процессоров по созданию специализированных для нейронных сетей железок. Подробности мы не знаем, но в прошлом году вышла статья на CNBC, в общем-то, достаточно надёжный источник, официальных комментариев пока нету от Фейсбука и Qualcomm, но то, что мы знаем, опять же то, что в Фейсбуке работает известный нам Ян Лекун, создатель свёрточных нейронных сетей, который в своё время выступил в роли активного критика проекта TrueNorth, в общем-то, он сказал, что вот вы там делаете железку для нейронных сетей, вы всё делаете неправильно, делать надо по-другому. И, в общем-то, из этих его комментариев уже тогда возникли первые подозрения о том, что он занимается подобной работой, и у него есть свой проект в этой области. А также есть, опять же по некоторым данным, такой союз: компания AMD и Tesla по созданию специализированных процессоров. Здесь перечислены не все такие хардверные инициативы, на самом деле многие компании, которые занимаются производством специализированного оборудования для майнинга и криптовалют, также заявили об открытии подобных проектов в прошедшем году. В общем-то, я думаю, что скоро мы результат увидим, тем более, что вот, например, такие процессоры, как Tensor Processing Unit, они уже есть, и они работают, и мы видим результаты их работы. Появление такого рода устройств, конечно, может существенно изменить технологический ландшафт, потому что в настоящий момент нейронные сети главным образом тренируются на специализированном оборудовании, имеются в виду высокопроизводительные видеокарты. Для того, чтобы большую модель тренировать, вам нужно достаточно много такого недешёвого железа, скажем, основой нашего технологического стека являются машины, в каждой из которых установлено по 11 видеокарт 1080 . Вся эта конструкция достаточно дорогая, там сильно дороже полутора миллионов рублей в пользовательском сегменте. В принципе, в пользовательском сегменте всегда можно взять просто одну видеокарту и уже на ней можно обучать много разных интересных и полезных моделей. Но если появляются специализированные процессоры для пользовательского сегмента, это значит, что в скором времени нейронные сети смогут тренироваться прямо на ваших собственных устройствах, возможно на десктопах, ноутбуках, мобильных телефонах. И это будет означать, что целый ряд задач, которые до этого было чрезвычайно трудно решить, теперь будет решать просто. Это задачи, в основном связанные с подстройкой систем под вас, скажем, под ваши привычки, под вашу речь, под ваши какие-то другие особенности. Я думаю, что здесь мы в ближайшие несколько лет увидим много интересных проектов, связанных как раз с прогрессом в этой области.
На самом деле на этом заканчивается то, что я хотел рассказать. Здесь вот есть такая картиночка QR-код — это ссылка на мой сайт, где есть дополнительные материалы, записи многих моих лекций, слайды и туда же я сегодня выложу слайды с сегодняшней лекции. Что ещё хотел сказать? Я хотел сказать, что скоро в «Архэ» стартует курс из 10 лекций, который я буду вести, и который будет посвящён собственно машинному обучению, искусственному интеллекту. Небольшая часть в нём будет историческая, где я буду рассказывать об истории этих технологий, и довольно изрядная часть будет посвящена практическому применению. Примером практического применения технологий будем показывать, какие задачи возникают сейчас в индустрии, при помощи каких конкретных инструментов они решаются. В принципе, никакой специальной подготовки не будет нужно для участников этого курса, то есть, достаточно просто головы на плечах и соображалки. Постараемся всё объяснять достаточно подробно. Ну, и сейчас я жду от вас каверзных вопросов с двойным, тройным, четверным дном.

Слушатель 1. Вы много говорили о достижениях компании Google. В 2012 году Курцвейл выпустил книгу «Как создать человеческий мозг», и в октябре — в ноябре он стал техническим директором Google. Как-то вот достижения Google связаны с тем, что Курцвейл занял эту должность, и есть ли какой-то его вклад, и может к чему всё это приведёт?

С. М. По моему мнению, в общем-то, большой заслуги лично Курцвейла тут нет, потому что Курцвейл, конечно, больше такой визионер-евангелист, который, прежде всего, фигура публичная. И для Google, наверное, это было такое в некотором роде скорее имиджевое приобретение. Если же говорить о конкретных инженерах, которые стоят вот за этими успехами Google, то наверно самая серьёзная такая основа — это приобретение компании DeepMind и, собственно, создание на её основе большой исследовательской лаборатории. Изначально это было ядро очень заинтересованых своей работой, очень мотивированных молодых людей с огромным количеством идей, которым компания Google предоставила по сути дела, во-первых, свои ресурсы для выполнения этих проектов и, во-вторых, предоставила им в распоряжение свою мощную кадровую систему, которая позволила им лучших людей по всему миру собирать в свою команду. Если, например, мы посмотрим на AlphaGo и AlphaZero, то одним из таких моторчиков во всей этой истории стал Мэтью Лай — это был, в общем-то, такой простой парень, студент, который активно в своё время писал посты на Computer Chess Club, мы тоже немножко с ним общались в 2014 году, в 2015 году. И после того, как он сделал свой хобби-проект программу Жираф (Giraffe) — одна из первых таких серьёзных нейросетевых шахматных программ — его после этого пригласили просто тут же на работу в Google и предоставили ему ресурсы, благодаря которым мы на сегодняшний день видим такой проект, как AlphaZero. То есть, я думаю, что здесь, конечно, немножко другие более молодые энергичные люди делают эту революцию, но про Google здесь тоже нужно понимать такой момент, что вот то, что мы увидели в моей сегодняшней лекции — это всё такая надводная часть айсберга, потому что мы видим то, что публикуется. И компания Google с её политикой открытости она огромное количество своих исследований публикует в своём блоге, причём с достаточной степенью подробности описаны некоторые архитектуры. Поэтому мы хорошо знаем о тех открытиях, которые они совершают. Огромное количество учёных, которые в этой области работают, инженеров — это люди, которые работают, что называется, в таких проприетарных ящиках и об их достижениях, об их открытиях мы просто ничего не знаем в силу того, что политика компаний, в которых они работают, не столь открыта, как в случае Google. Поэтому я думаю, что нужно обязательно делать скидку на такую вот ошибку выжившего, которые у нас есть.

Слушатель 2. Вы упомянули о том, что сейчас искусственный интеллект используют для генерации, для создания новых веществ, молекул в фарме. А есть какие-то другие области технологические, где подобная история применяется для дизайна материалов, для дизайна покрытий?

С. М. Вообще достаточно активно используются в химии для предсказания кристаллических структур материалов. Есть такой знаменитый специалист Артём Оганов, который, собственно, специализируется вот на этой сфере. Я не знаю, наверняка многие из вас о нём слышали. Вот они используют некоторые специализированные генетические алгоритмы для прогнозирования структуры и свойств веществ, но, в общем-то, это всё наследники такого метода, который называется метод роя частиц. Соответственно, насколько я знаю, его группой было синтезировано большое количество новых материалов. Например, был побит рекорд по высокотемпературным сверхпроводникам, который держался там с начала 90-х годов. Но и, в общем-то, ещё было несколько очень интересных соединений получено. Но это вот из того, что я знаю. Что ещё? Ну, в принципе, вот смотрите: активно эту всю историю сейчас пробуют применять в задачах, связанных с геномикой. Дело в том, что в прошлом году, что произошло важного — это был опубликован большой массив секвенированных последовательностей ДНК UK Biobank. До этого вот те массивы, с которыми в биоинформатике работали — это был самый, наверно, большой массив, это был исландский массив, в котором было несколько там больше сотни тысяч секвенированных экзомов. И это значит, что вот в этой сфере, в сфере синтеза белков каких-то тоже наверняка будут в ближайшее время получены новые результаты, потому что эти массивы они вот буквально совсем недавно попали в руки специалистов. Там успешно применяются те же методы, которые применяются при анализе естественного языка. То есть, я вот говорил сегодня про Word2Vec, метод эмбединга для слов естественного языка. Вот для нуклеотидов ДНК тоже есть очень похожий подход, он так и называется dna2vec. И при помощи него, соответственно, тоже активно будут в ближайшее время появляться новые белки. В своё время активно использовались в анализе конструктивных особенностей материалов, например, та команда, которая занималась созданием Deep Blue, вот те методы переборные, которые были придуманы во время работы над этой машиной в конце 90-х годов, они использовались для анализа процессов распространения трещин в конструкционных материалах. И, соответственно, на основе этих данных пробовали создавать новые структуры материалов. Но вот как бы то, что было в медийном пространстве — это были вот такие короткие сообщения. Мы не знаем всех подробностей этих работ, ну, то, что я знаю, я рассказал, а так наверняка ещё очень много, где.

Слушатель 3. У меня, скажем так, два вопроса будет. Второй довольно банальный, первый — трудная проблема сознания, поможет ли она, то есть, решение если даже гипотетически можно решить этот вопрос, пусть он из области метафизики, то есть, будет ли скачок или какое-то движение в сторону, то есть, появлению искусственного интеллекта — это первое. Или здесь можно, может быть, какое-то совершенно другое событие приблизит, наступление, скажем так, эры искусственной. И второе: вы говорили, что криптовалюты и многие компании, которые производят так или иначе оборудование, видеокарты, и очень сильно плотно связаны с майнингом криптовалют и криптовалютами и всеми этими технологиями. И эти технологии они, скажем так, интуитивно родственны, то есть, многие характеристики как-то совпадают, так сказать. И простой вопрос банальный: что в будущем ждёт? Не схлопнется это всё в одно единое, нейросеть будет, и уйдём мы в одну из виртуальных таких реальностей, в экономическом, например, смысле? Спасибо.

С. М. Спасибо за вопросы. Ну, смотрите, по поводу сознания, в общем-то, одна из распространённых теорий появления сознания основана на том, что сознание появилось как некий инструмент приспособления в ходе эволюции к эусоциальному существованию организмов. То есть, когда появилось коллективное существование организмов, возникла необходимость от интеллекта каждого из членов этих групп, сообществ уметь прогнозировать поведение остальных. То есть, если мы, например, люди и мы живём в обществе, нам важно понимать, как другие люди отреагируют на те или иные наши действия и так далее. И от того, насколько хорошо мы эту задачу решаем, зависит вообще наша социальная адаптация. И вот сознание оно изначально, по всей видимости, возникло как такого рода модель другого, которая оказалась в некоторый момент замкнута на себя, то есть, возникло отношение к себе как к другому. И эволюция, во всей видимости, именно в ходе вот такого процесса изобрела этот механизм. Если это верно, если это действительно так, то искусственный интеллект, который должен будет эффективно решать задачу взаимодействия с другими агентами, с большим количеством агентов, опять же со сложным поведением он, собственно, в ходе своего развития это сознание получит именно в силу того, что, по всей видимости, это вот и есть инструмент приспособления к этой эусоциальности. Хотя понятно, что здесь могут быть какие-то варианты, вдруг есть какие-то альтернативы, но это сознание может быть, например, сильно не похоже на человеческое сознание в результате, если его так определять, но, тем не менее, я думаю, что это так. Сам по себе эффект сознания — это такой эффект зеркального лабиринта, когда вы ставите два зеркала друг напротив друга и получаете такую бесконечную галерею зеркал. Точно так же наша психика отражает себя саму, и это является результатом возникновения такого очень странного и многогранного феномена, как человеческое сознание. Думаю, что в принципе ничто не препятствует тому, чтобы достаточно сложные системы рано или поздно заполучили сознание. Другое дело, что нужно понимать, что те системы, которые мы создаём сегодня, а сегодня мы создаём всё-таки только прикладные системы искусственного интеллекта, и пока что мы не знаем и не умеем создавать сильный искусственный интеллект, универсальный искусственный интеллект. И эти системы гораздо проще, чем человеческий мозг, гораздо проще, чем человеческое сознание. Конечно, у нас в прессе очень любят приписывать такого рода системам чуть ли не наличие собственных интенцией, каких-то желаний, хотений, стремлений, сознания и так далее. Но на самом деле, конечно, мы пока что очень-очень далеки от этого. И наша система искусственного интеллекта по своему интеллекту не очень далеко ушла от дождевых червей и каких-то там совсем примитивных организмов. Но рано или поздно, я думаю, что мы увидим систему, обладающую собственным сознанием. Что же касается криптовалют и машинного обучения, я в своё время как-то пошутил у себя в Фейсбуке о том, что один мальчик создал стартап, в котором сочетались блокчейн с искусственным интеллектом, и в результате в получившуюся финансовую дыру затянуло все-все средства инвесторов — конец. На самом деле о создании такого рода проектов, конечно же, говорят ровно с момента начала хайпа и по поводу блокчейна и по поводу искусственного интеллекта. И всяких разных попыток натянуть сову на глобус и каким-то образом скрестить эти технологии между собой — их достаточно много, но все они пока что, на мой взгляд, весьма неубедительны. Неубедительны почему? Потому что блокчейн — это система просто распределённых транзакций, а система машинного обучения всё-таки это гораздо более широкая технология, но в то же время она предназначена для поддержки принятия решений. Конечно, можете использовать блокчейн для хранения каких-то данных для искусственного интеллекта, вы можете создавать распределённые системы искусственного интеллекта. И распределённые системы искусственного интеллекта — есть целое большое направление, которое называется роевой интеллект (Swarm intelligence). Фантастами в своё время очень много на эту тему было чего написано. У Лема есть прекрасная книжка «Непобедимый», у Брэдбери, по-моему, есть «Страж-птица» его знаменитый. То есть, в общем-то, давно мы мыслим о том, что действительно по примеру там каких-нибудь насекомых можно придумать такую систему, в которой каждый отдельный элемент вроде бы не будет обладать особым интеллектом, но все они, соединённые вместе, будут составлять собой такую мощную интеллектуальную машину. Мысли и идеи здесь, конечно, есть, но, в принципе, работа, которая строится по принципу — давайте придумаем, как скрестить эти технологии, и куда это можно было бы применить — она не очень продуктивна, потому что всё-таки более продуктивные проекты обычно следуют от потребностей. То есть, если есть какая-то потребность существующая, и мы подыскиваем эффективные инструменты для её решения. Ну, я не исключаю, что внезапно кто-то придумает нечто действительно гениальное, все деньги инвесторов туда затянет, и мы будем, в общем, только стоять и переживать, что это не мы с вами придумали.

Слушатель 4. Меня Алексей зовут, мы занимаемся CRM-системами, я руководитель компании, и в том числе разрабатываем различные интересные решения для CRM-систем. Хотел спросить: а есть ли какой-то успешный опыт применения искусственного интеллекта в CRM-системах? Если нет, то где копать, где интереснее всего было бы посмотреть в этой области?

С. М. Ну, смотрите, CRM-системы — это системы, которые охватывают автоматизацию всех отношений с пользователями. И в этом смысле, конечно, можно сказать, что моя сфера специализации она тоже здесь очень близка, то есть, я занимаюсь вопросами, связанными с созданием технологической инфраструктуры для управления проблемными активами. И, конечно, основой этой автоматизации является CRM-система. У нас есть своя CRM-система, которую мы создали и с 2013 года развиваем и поддерживаем. И в то же время мы используем целый ряд систем искусственного интеллекта, которые тоже являются частью вот этого технологического ландшафта. Наверное, самый большой наш проект такой, некоторое медийное освещение даже получивший, — это наш проект по автоматизации оператора call-центра. Соответственно, это система, которая при некоторых звонках клиенту заменяет человека-оператора. В сфере проблемных активов это звонки людям, просрочившим свои кредиты в банке. Насчёт успешности — эта система внедрена в настоящий момент времени, 10% должников нашего банка проходят через работу этой системы. Показатели такие, что она взыскивает немножко больше, чем среднестатистический оператор call-центра, и при этом стоит в 4 раза меньше, чем человек в эксплуатации. В принципе, эта скриптовая машина, для неё может быть любой скрипт создан для взаимодействия с клиентами, то есть, хотите для телемаркетинга, хотите для службы поддержки по справке, хотите для, например, обучения ваших же собственных специалистов в ходе каких-то обучающих диалогов, но, в общем, много на самом деле такого рода применений существует. Вот, в принципе, пример того, как в такой CRM-стек может встраиваться система, связанная с искусственным интеллектом машинного обучения. Но на самом деле таких точек интеграции их очень-очень много, то есть, например, если у вас есть какой-то большой бизнес-процесс, в ходе которого есть сложные взаимодействия с клиентом, и есть точки принятия решений по поводу того, что вы делаете, что вам делать: звонить клиенту, посылать ему письмо или отправлять человека к нему на выезд, или там отправить текст вот такого-то содержания, такого-то и так далее — вам нужно принимать кучу таких решений. Соответственно, эти решения желательно принимать оптимальные для того, чтобы финансовый результат компании максимизировать. И вот каждое из таких решений принимает отдельная модель машинного обучения, которая изучает историю взаимодействия с этим клиентом, данные распознавания речи опять же, то есть, все ваши взаимодействия, которые ведутся в голосовом виде, должны превращаться в текст, этот текст должен анализироваться, в нём должны там выявляться опять же какие-то значимые факторы, ну, и так далее и так далее. То есть, в принципе, конечно, здесь есть очень много примеров того, как системы искусственного интеллекта могут встраиваться в CRM-систему.

Слушатель 5. Говорилось про сеть, которая в зависимости от задачи проектирует топологию сети для решения этой задачи. Можно чуть-чуть поподробнее, каким образом она обучалась, и корректирует ли она свою топологию в процессе? Спасибо.

С. М. Да, давайте мы полистаем. Там, смотрите, три проекта, какой именно вас интересует: эта работа, эта работа, или эта? А общие принципы разные в этих системах. Но здесь, смотрите, в случае, когда мы топологию сети генерируем при помощи эволюционных методов — тут всё просто: у нас есть определённая последовательность кодовая, некий суррогатный генотип, который описывает топологию сети, то есть, по сути это последовательность блоков, описываемых точек соединения между ними и так далее. И вот в ходе эволюционного процесса у вас могут вноситься случайные изменения, случайные мутации: там один блок меняется на другой, точка соединения меняется случайным образом, точка соединения разрывается, добавляется новая точка соединения, меняется тип слоя, меняется параметр слоя, например, ядро свёртки, ну, и так далее. То есть, всё, что является параметрами отдельной этой сети, всё это может быть подвержено мутациям. Соответственно, как бы в ходе вот этого эволюционного процесса вы по сути дела случайным образом меняете те параметры сети, топологию сети и дальше подвергаете это дело выбраковывающему отбору. Соответственно, те сети, которые оказываются более успешными, они остаются и дают ещё больше своих потомков, там и так далее и так далее. Те, которые неуспешные, отбраковываются. И постепенно в ходе такого симуляционного процесса у вас всё более и более приспособленные виды сетей возникают. То есть, так это делается в случае эволюционного подхода. В случае с reinforcement learning здесь вот видно, как у них описывается сеть. Вот у них есть послойное описание, вот у них Layer N-1, Layer N, Layer N+1 и вот каждый этот слой он описывается набором параметров: количество фильтров, якорная точка, высота фильтра, ширина фильтра, высота страйда, ширина страйда — вот это набор параметров, которые отдельный слой описывает. Соответственно, у них сеть — это последовательность таких слоёв. Слои могут быть необязательно связаны каждый с последующим, у них вот эта вот якорная точка определяет, с каким именно слоем связан этот слой, из какого слоя сигнал приходит на вход этого слоя. Но это просто skip connection так называемая, то, что в сети ResNet было придумано. Соответственно, вот у вас есть sequence из таких векторов, который описывает архитектуру этой сети. У вас есть контроллер — это рекуррентная нейронная сеть, которая просто генерирует sequence. Она берёт текущую сеть, получает на вход значение функции вознаграждения и на выход генерирует скорректированную сеть. То есть, у вас есть градиент вознаграждения, который генерируется в зависимости от того, как произошедшее в сети изменение улучшило или ухудшило результаты распознавания, результаты решения этой задачи. Соответственно, это просто градиентный метод, который именно градиентным путём доучивает вот этот вот рекуррентный контроллер, как выбирать наиболее эффективную последовательность слоёв. Здесь вот есть ссылка на саму работу, в ней это всё очень-очень подробно описано. Я думаю, что проще всего, то есть, я могу, конечно, попытаться более подробно про это рассказать, но, во-первых, я каких-то нюансов там и сам, наверно, не расскажу вам, а, во-вторых, тут есть конкретные примеры и даже там какие-то фрагменты кода есть. Ну, и третье — это, где именно сетка генерирует сетки, вот у них здесь видно, что у сетки есть три компонента, это рекуррентная сеть, у неё есть: encoder (то есть, это часть сети, которая сокращает размерность данных), decoder (который увеличивает размерность данных) и какой-то миксер (промежуточная часть сети, которая тоже там какую-то последовательность слоёв содержит). Encoder, decoder, миксер — всё это дело тоже описывается просто набором параметров. Набор параметров представляется в виде sequence и тоже последовательности символов, описывающих вот эту топологию. И у них опять же просто есть сетка, которая решает задачу sequence to sequence, она на самом деле похожа вот на этот подход с reinforcement, единственное, что у них просто по-другому функция вознаграждения построена. То есть, опять же, все детали в этой работе можно посмотреть.

Слушатель 6. Здравствуйте. Один из таких вопросов более гуманитарных: вот есть инициативы, которые там Илон Маск лоббирует и прочие, скажем так, инвесторы, предприниматели по неким некоммерческим организациям, контролирующим развитие технологии, большинство спикеров, как вы, часто говорили, что нет никакой опасности там на сегодня, ну, объективно. Между тем, такие организации появляются. Вот с вашей экспертной точки зрения, какой смысл таких организаций, зачем они нужны и, если там останется ещё время, просто интересно лично мне профессионально, кто в России коммерческие или может быть просто научные организации наиболее компетентны в тематике Image Recognition, Computer Vision, вот в аспекте ИИ-нейросеток. Спасибо.

С. М. По поводу безопасности здесь вся ситуация довольно сложная, то есть, во-первых, мы видим, что звучат со стороны таких знаменитых говорящих голов очень разные заявления на эту тему, при этом некоторая часть людей таких, медийно раскрученных, как раз очень активно подчеркивает опасность, связанную с внедрением системы искусственного интеллекта, развитием систем искусственного интеллекта. В стане алармистов оказался, например, и Илон Маск, и Билл Гейтс, и даже Стивен Хокинг, оказывается, он тоже специалист по сантехнике. С другой стороны, есть и некоторое количество инженеров, которые разрабатывают такого рода системы и, конечно, с их стороны больше звучит скорее таких антиалармистских сентенций. То есть, Эндрю Ын, например — человек, который в своё время создал в Стэнфорде фактически самый знаменитый курс по машинному обучению искусственному интеллекту, — он сказал, что думать сейчас о вопросах безопасности искусственного интеллекта примерно то же самое, что думать о проблеме перенаселения Марса. То есть, как бы да, наверно, мы рано или поздно полетим на Марс. Может быть даже его заселим, создадим там колонию, и наверно там будет увеличиваться численность населения как бы в ней, и в какой-то момент может возникнуть проблема перенаселения, но не очень понятно, почему мы уже сейчас должны решать эту проблему. Тот же Ян Лекун высказался примерно в том же тоне. Здесь нужно, наверное, для того, чтобы в этом ориентироваться, отметить: во-первых, есть определённые институциональные цели, которые те или иные спикеры преследуют. То есть, например, Илон Маск, если послушать его нарратив, он за то, чтобы создавать государственную программу по регулированию и для того, чтобы создавать вот эту общую платформу для безопасного искусственного интеллекта OpenAI, ну, как бы в этих его предложениях виден, в общем-то, его интерес, то есть, он хочет быть, конечно, консультантом и хочет быть ведущим экспертом в этой сфере, и он хочет, чтобы OpenAI стал как бы таким стандартом де-факто в части проектирования крупных стратегических систем искусственного интеллекта. Допустим, Цукерберг, конечно, тут же как бы услышав это, обиделся, потому что его могут обойти на повороте и, в общем, стал активно спорить с Маском, говорить, что ты дружище не понимаешь вообще о чём говоришь. Поэтому здесь за этими заявлениями могут стоять такие какие-то другие причины, не связанные с технологиями. Но я бы сказал, что ситуация тут обстоит таким образом, что скорее в массовом сознании несколько смещается центр фокуса с реальных проблем на надуманные. То есть, нельзя сказать, что развитие и внедрение систем искусственного интеллекта в машинном обучении не связано с определёнными рисками и опасностями. Безусловно связано, но, на мой взгляд, это не те риски и опасности, о которых принято обычно говорить, и которые любит публика. То есть, реальная угроза это не SkyNet, который завтра начнёт нас всех бомбить ракетами. Реальная угроза — это, например, система, которая установлена в какой-нибудь кадровой службе крупной компании, которая принимает решение по поводу того, брать или не брать кандидата, которая при этом принимает в расчёт информацию о кандидате, он сам не знает, какую — это проприетарная модель, доступа к которой никто не имеет, она является коммерческой тайной, она может в себе содержать целый ряд каких-то биасов (от англ. «bias» — «предубеждение», — прим. XX2 ВЕК). То есть, например, её обучали на решениях экспертов, а у экспертов были какие-то предрассудки по поводу там цвета кожи или пола кандидатов, или чего-то ещё. Добросовестная модель машинного обучения, обученная на решениях таких экспертов, будет добросовестно воспроизводить эти биасы. Ну, и так далее и так далее. В принципе, как бы потенциально мы на сегодняшний день уже доверили принятие очень многих решений прикладным системам искусственного интеллекта, при этом каких-то единых стандартов для аудита такого рода систем, даже для верификации их, для контроля, недопустимости применения некоторых там видов информации о человеке, незаконного сбора информации о людях, контроля корректности этих данных. Но вот что у нас происходит, когда в базы данных крупной компании вкрадывается ошибка по поводу там какого-то человека, исследуется ли вопрос о том, способен ли он себя реабилитировать потом? То есть, вот эта проблема называется проблема цифрового тайного суда. То есть, когда на самом деле мы создаём мощный тайный суд, который вправе принимать серьёзные решения, затрагивающие как бы жизнь людей, и работа, которая совершенно не прозрачна. Это реальные проблемы, но о них не так весело разговаривать, как о том, сколько там людей собьёт Google Car на дороге, и кого он должен убивать: водителя или пешехода. Но про второе это, конечно, такая жареная тема, как бы все написали — сразу миллион просмотров, 100 тысяч лайков как бы и рекламы продали нормально. Поэтому вот я бы сказал, что здесь нужен разумный подход так же, как в своё время возникала там индустрия на основе пара. Там сколько людей погибло из-за техники безопасности неразвитой, там было обварено этим паром, побито осколками разорвавшихся котлов и так далее и так далее. Об этих проблемах сейчас как бы никто не думает, потому что как бы это не очень популярно. Я, честно говоря, думаю, что системы универсального искусственного интеллекта никогда не станут частью технологического стека. Они останутся лабораторными проектами, а реальное будущее будет над синтетическими системами, соединяющими машины и человеческий мозг в единую систему. И этому есть ряд причин. Вообще вот в страхе перед сверхинтеллектом они основаны на одном таком очень сомнительном предположении о том, что сверхинтеллект будет создан. А здесь, возможно, мы имеем дело с когнитивной ошибкой, потому что вот, во-первых, у нас есть фундаментальные физические ограничения на скорость вычислений в нашем пространстве времени, в котором мы живём. Потому что скорость передачи сигнала — это скорость света максимум, и на планковских размерах у нас определённость теряется, неопределенность Гейзенберга возникает. У нас суммарная производительность системы с ограниченной массой физической она имеет свой лимит, называется предел Бремерманна. Но на самом деле всё вообще ещё гораздо хуже. Есть ещё термодинамические пределы, есть такой принцип Ландауэра, в соответствии с которым определяется минимальное количество теплоты, которое выделяется в физической системе при сбросе 1 бита информации внутри неё. И, соответственно, его можно использовать тоже, посчитав лимит, вот если вы не хотите, чтобы процессор расплавился, чтобы его температура превысила определённый предел, то его скорость вычисления там тоже будет очень сильно лимитирована, и мы вообще очень близко подобрались к этому пределу. В 2012 году нам до лимита Ландауэра всего 1000 раз оставалось, мы сейчас ещё там изрядную долю преодолели этого разрыва, там есть правда маленький трюк, который называется обратимое вычисление, но он позволяет там может быть один порядок выиграть по большому счёту. То есть, мы скоро очень упрёмся в физические лимиты вычислимости в системах. Но почему это важно? Да, казалось бы… В общем-то, понятно, что человеческий мозг-то наверно всё-таки от этих лимитов тоже далёк. Но проблема в том, что многие интеллектуальные задачи они относятся к так называемому классу сложности EXPTIME. Это значит, что количество вычислений, которое нужно для решения этих задач, растёт как экспонента от их размерности, то есть, грубо говоря, ускорив машину в несколько раз, у вас эффективность решения задачи поднимется не во столько же раз, а она поднимется лишь на очень небольшую там какую-то константу. Очень многие интеллектуальные задачи это EXPTIME-задачи, то есть, смотрите, нам нужно принять решение, как мы будем действовать. Для этого нам надо прикинуть, как будут действовать другие люди, с которыми мы взаимодействуем, и как мы в ответ на их действия будем действовать, и как они будут действовать в ответ на эти действия. Видите, как экспоненциальным образом число вариантов в этой задаче растёт. И как бы мы ни ускоряли систему, эффективность её работы, возможно, будет не очень сильно больше, чем у исходной системы. Поэтому я обычно привожу такой пример: представьте себе, что вы стали думать в 1000 раз больше, но в 1000 раз быстрее. Значит ли это, что вы сможете любого человека на улице уговорить отдать вам свой кошелек? Ну, вот как бы скорее всего нет. То есть, наверно вы как бы чуть больше преуспеете: вы там успеете погуглить, что-нибудь почитать про методы убеждения, продумать свои фразы, но он просто вам скажет: нет. И как бы всё. Поэтому здесь мы имеем дело, возможно, с несколько надуманными страхами, то есть, сверхинтеллекта не будет, и в основном прогресс в области искусственного интеллекта будет происходить не за счёт того, что мы создадим такой вот универсальный интеллект, как человеческий мозг, но который будет умнее человека там во много раз, а за счёт того, что мы будем создавать специализированные системы для решения отдельных задач. И мы уже сейчас способны создавать такие системы, которые работают лучше чем человеческий мозг на решении вот этого узкого набора задач просто за счёт своей специализации. Поэтому я подозреваю, что технологический стек будущего в искусственном интеллекте — это всё-таки синтез высокопроизводительных эффективных прикладных систем искусственного интеллекта со, скорее всего, несколько заапгрейженным человеком. Поэтому я думаю, что это скорее фантомная угроза. А вот реальных угроз там нормально мы уже понаделали.

Центры computer vision. Смотрите, в принципе, я не особо много видел публикаций от российских авторов на тему image recognition. Другое дело, что во многих работах вот если здесь вы полистаете даже, ну, здесь вот допустим нету, а здесь вот смотрите: Алексей Куракин один из авторов этой работы. То есть, наука она достаточно международна, и наши специалисты они работают в куче всяких интернациональных проектов. Computer vision — есть в России много всяких небольших стартапов, которые специализируются на этой теме. Вот, например, я читал лекцию в Белгороде, ко мне подошли ребята, они работают в небольшой компании и занимаются конкретно системой технического зрения. Судя по тому, что они говорили, они действительно здорово в этом разбираются, то есть, они сразу стали задавать вопросы: скажите, есть ли работы, посвящённые тому, чтобы применять FPGA для свёрточных нейронных сетей и так далее. Но я там, к счастью, чего-то знал, что им нужно ответить. И инициатив очень много таких, потому что в принципе на сегодняшний день, чтобы вот систему распознавания образов сделать — ничего особо не нужно. Вот эти вот все архитектуры типа ResNet и так далее они все опенсорсные. То есть, вы идёте на GitHub, качаете себе как бы исходники этой сетки, которая где-то там в топ-10 ImageNet была, и вот она у вас. Вы её просто учите на своём массиве и, вуаля, как бы у вас получилась система распознавания образов на уровне лучших мировых образцов. Поэтому большинство инженеров, конечно, ничего здесь особо нового не придумывают, то есть, можно считать, что они там являются центрами computer vision, но скорее нет. То есть, это просто инженеры, которые используют уже готовые научные наработки. А вот компании, которые занимаются именно созданием чего-то нового в этой сфере групп, их довольно мало и большая часть — это либо университетские проекты, либо проекты каких-то крупных корпораций. И вот про Россию: очень может быть, что где-то есть что-то крутое, но я про это не слышал.

Слушатель 7. Скажите, пожалуйста, насколько тесно сейчас ведётся совместная работа, скажем, с нейробиологами. И есть ли в последние годы какие-то влияния, что открытия, скажем, в области математического аппарата повлияли на открытия в нейробиологии и, наоборот, открытия в нейробиологии породили какие-то подвижки в математическом аппарате.

С. М. Да, работы такие ведутся. И это сотрудничество своеобразными волнами происходит. То есть, вот первый раунд сотрудничества между нейрофизиологами и специалистами по вычислительной математике он случился в 50-е — начале 60-х годов, когда с одной стороны создавались первые архитектуры в свёрточных нейронах, с другой стороны Ходжкин и Хаксли резали кальмаров, брали их нейроны, мерили при помощи вольтметра скорость прохождения сигнала, характеристику и так далее. Вот на работах, которые были проделаны ещё тогда в 60-е годы, на них по сути дела вот эти модели, которые были тогда созданы, модель Ходжкина — Хаксли, у неё есть там некоторое количество наследников, всякие модели ФитцХью — Нагумо и так далее, модель Ижикевича для дендритной части нейрона. И вот на их основе выстроены вот эти модели нейроморфных чипов. То есть, спайки neural networks вот в основе этого лежит математика, созданная на основе анализа биологических систем. С другой стороны есть работы, посвящённые анализу синоптической структуры мозга и, наверно, самый такой нашумевший проект за последнее десятилетие — это проект EyeWire. И отдельно, конечно, можно поспорить, потому что ещё есть Blue Brain. Ну, как бы EyeWire — это такой сравнительно небольшой, не мегапроект, который в MIT в своё время был осуществлён. Был такой мышонок Гарольд, который был хорошим мышонком и поэтому, когда он умер, его не забыли, а взяли его мозг, нарезали тонкими микронными слоями, пропустили через сканирующий электронный микроскоп и получили огромное количество срезов его мозга. И их нужно было соответственно расшифровать, построить полностью трёхмерную структуру синаптических связей в мозге. На это потребовалось бы очень много времени людей, их там в исследовательской группе было что-то около 30 сотрудников всего, поэтому у них был дьявольский план, как с этой проблемой справиться. Они создали онлайн-игру, которая так и называется EyeWire, играя в которую, вы можете посоревноваться с другими людьми в вашей способности раскрашивать срезы мозга мыши. Это очень-очень увлекательно. И если вы правильно раскрашиваете вот этот срез, то вам много очков начисляется, если неправильно — то мало. Потом кто больше всего очков набирает, его вверху турнирной таблицы показывают. Но поскольку игра, конечно, несколько крипи — не очень много людей в неё играло, но достаточно для того, чтобы накопить данных достаточное количество для того, чтобы научить искусственную нейронную сеть свёрточную дальше самостоятельно делать эту раскраску. И вот подобные проекты, подобные EyeWire, их данные потом публикуются, и людьми, которые конструируют свёрточные сетки, они используются. Но я думаю, что последние там наверное 4—5 лет всерьёз к этому наследию, но я по крайней мере не слышал, чтобы кто-то обращался. Отдельно есть Blue Brain. И Blue Brain в этом плане — это проект как раз вот про то, что надо, его целью является создание к 2023 году электронной копии человеческого мозга работающей. И они начали ещё в самом начале нулевых годов свою работу, и они смогли воссоздать вначале одну колонку неокортекса полностью рабочую, потом сделать мезозамыкания колонок неокортекса. Соответственно, 100 колонок по 10 тысяч клеток, в общем-то, планировали, что они к 2015 году сделают мозг крысы работающий, но пока вот результатов не опубликовано на эту тему. Зато вместо этого появилась нашумевшая статья, посвящённая тому, что в мозге был найден вторичный путь обмена сигналами через астроциты глиальной ткани. Выяснилось, что как бы не только через аксоны и дендриты сигнал проходит, и не всё там так просто. Сейчас, соответственно, параметры вот этой связи оцениваются, но пока конкретных отражений вот этого открытия в искусственных нейронных сетях я не видел, но куда нужно смотреть, и кто больше всего с нейробиологами сотрудничает — это как раз специалисты по спайковым сетям, как это по-русски называется импульсные нейронные сети, то есть, вот TrueNorth, Loihi — это проекты, которые активно взаимодействуют с нейробиологами, и в их командах есть нейробиологии.

Слушатель 8. Эти проекты к какому-то конкретному институту относятся?

С. М. Я вот сейчас просто не назову наизусть, нужно посмотреть. Там конечно это во взаимодействии с институтами происходит. Если брать Blue Brain, то это же по сути система грантов для разных институтов, и у них большая часть их нейробиологов это испанцы, которая Рамона-и-Кахаля. Cajal Blue Brain — так эта и называется инициатива. Вот собственно они и ещё в Швейцарии в Лозанне там тоже есть группа, вот они как раз публиковали про астроцитарную сеть, публикация их была. По-моему, в Nature Neuroscience они публиковались или в Neuron, я вот не помню. В Neuron, по-моему.

Слушатель 9. Сейчас очень многие профессии прогнозируют то, что они будут заменены нейронными сетями. А какая профессия или какой навык, по-вашему, может быть не заменён, и какие вы видите перспективы безусловного дохода?

С. М. Ну, многие, конечно, профессии на сегодняшний день находятся под угрозой если не замены, то существенной перестройки работы в этих областях. И в первую очередь под угрозой находятся те профессии, где существует множество каких-то повторяющихся действий, и где уже собраны какие-то массивы данных, на которых можно обучать соответствующей системой. То есть, например, работа оператора call-центра — это прям одна из первых на вылет профессий. Что произошло важного, почему эти профессии не были заменены раньше? Ну, потому что не решались базовые когнитивные задачи, то есть, задачи распознавания и синтеза речи, но и интонационные задачи в понимании смысла сказанного. Вот как бы для человека это всё просто: услышать, понять речь и самому сказать, а для машины это долгое время была задача неразрешимой. А на сегодняшний день это уже стало задачей решённой и перешло в инженерную категорию, то есть, это не значит, что вам легко это сделать, но задачи в принципе решаемы и как бы если инженера попросить, то они такую систему сделают, готовую к продакшну.

Какие профессии в меньшей мере находятся под угрозой? Ну, во-первых, профессии, в которых мало повторяющихся частей, которые связаны с постоянным изменением деятельности, где от людей, например, требуется постоянно учиться чему-то новому и менять своё поведение в ходе своей работы. Например, та же работа программиста — некоторые разновидности этой работы под угрозой, некоторые нет. То есть, работа, связанная со стратегическим планированием, с анализом какого-то открытого пространства альтернатив — они находятся, конечно, под меньшей угрозой, чем, например, работа какого-нибудь верстальщика, который просто выполняет механическую работу, посмотрев там на шаблон, верстает страничку. И уже сейчас есть прототипы систем, которые могут сами посмотреть на картинку и сверстать вам страничку web-сайта. Ну, и вторая, наверно, часть профессии, которые тоже будут точно сохраняться, и долгое время представители которых не будут заменены машинными — это профессии, в которых разные традиции и предубеждения людей будут препятствовать замене людей. То есть, например, какой-нибудь мастер чайной церемонии. То есть, он в принципе не осуществляет каких-то очень сложных манипуляций, но ясно, что люди для того нанимают человека, чтобы это был такой изящный человек, который делает красивой эту церемонию. Ну, конечно, робот производитель чайных церемоний — это прикольно, но все не захотят быстро на это переходить. То есть, вот какие-то направления, не знаю, там уход за детьми — люди всё равно будут бояться доверять машинам людей, и поэтому уход за детьми всё равно будут ещё долгое время осуществлять люди. То есть, разные предубеждения людские и разные их эстетические предпочтения они будут определённые сферы деятельности сохранять. Это по поводу того, кого будут менять, кого не будут менять. А по поводу безусловно общего дохода, ну, на самом деле здесь как бы проблема глобальная по поводу того, каким образом нивелировать те социальные последствия, которые порождает массовая потеря рабочих мест. А потеря рабочих мест происходит, происходит быстро и самое интересное, что в ближайшие там 10—15 лет до как бы ещё наступления начала вот этой революции машинного обучения были созданы все необходимые инфраструктурные элементы для того, чтобы этих людей увольнять. То есть, во-первых, развивались системы аутсорсинга и аутстаффинга. То есть, на сегодняшний день, например, мы заменяем там операторов в call-центре, мы не увольняем людей физически, но какие-то из компаний, которые являются подрядчиками, они получают меньше подрядов. Эти компании получают меньше подрядов, они разоряются, люди оказываются на улице, но с точки зрения этих людей, их как бы выгнали на улицу, не потому что машина их заменила, а просто их компания обанкротилась, у них было такое вот глупое руководство, которое там не выдержало конкуренции и так далее. Или, например, вот в США картина, которая наблюдается, это во время кризиса 2008 года там с 2008 года шло активное сокращение количества работающих нефтяных вышек. Но если посмотреть на 2 графика: количество рабочих нефтяных вышек и количество людей, занятых в этой сфере — две как бы нисходящих кривых. Потом, когда происходит выход из кризиса, количество работающих вышек начинает расти, а вот количество людей, занятых в этой отрасли, не растёт, то есть, примерно остаётся на том же уровне. Почему? Потому что с точки зрения законодательства, в тех же Штатах, если вы человека увольняете, вам нужно платить выходное пособие достаточно большое — это всё не так просто сделать. Власти Штатов борются за своих избирателей и препятствуют, вообще говоря, увольнению людей. Компания Amazon, например, придумала давно, у них есть уже восьмое сейчас поколение автоматизированных складов, они купили такую компанию, которая Kiva Systems называется, такие тележки, которые развозят грузы по складу, там единый такой логистический и всем этим управляет очень-очень зрелая система. И вот они придумали: давайте мы будем эти грузы ещё дронами доставлять по месту их надобности, ну, и обратились к руководству Штата, чтобы получить лицензию на организацию полётов этих дронов. А им сказали, что мы вам дадим только при условии, что вы не уволите ни одного человека. Поэтому как бы просто так вроде бы как бы власть препятствует этим массовым увольнениям, но а если у вас как бы нефтяная вышка разорилась, но вы же людей-то уволили по локауту, то есть, вы закрыли предприятие, вы людей уволили, всё — вы банкрот. А завтра вы открыли новую вышку, но туда просто людей не набрали, вы набрали меньше. Очень часто люди вытесняются не путём замены человека, а просто увеличением производительности труда в каком-то направлении. Например, я не знаю, там появились роботы Da Vinci, теперь хирургу нужно не 8 ассистентов, а один. Но как бы медиков всё равно не хватает, поэтому как бы мы там не видим этой проблемы. А где-то в других областях, где за счёт применения машин производительность труда сильно выросла, пожалуйста, продажи например. В продажах раньше там в 90-е годы между производителем и покупателем товара было там 4,5,6,7 посредников. Сегодня мы там ну всё покупаем в интернете, грубо говоря, вот эти все посреднические цепочки они сильно сократились, а это значит, что как бы всё, этих рабочих мест больше нет. И вот в связи со всеми этими вещами последствия-то потенциально для общества могут быть очень тяжёлыми. В своё время в Великобритании, когда состоялась промышленная революция, и когда овцы съели людей — что получилось? Получилось, что Англия потеряла до 30% своего населения, а тогда, в общем-то, о социальном государстве особенно никто кроме чудаков-просветителей не думал. Это маркиз Кондорсе тогда придумал, что можно безусловный общий доход сделать, и вот как эта идея была в 1600-х придумана, так мы её до сих пор как бы в случае чего достаём из пыльного чулана. Ну, а реальный как бы настрой публики был совсем не такой травоядный, потому что: ага, бродяги расплодились на дорогах — давайте примем законы против бродяжничества, давайте будем этих бродяг определять в работные дома, бить дубинками и так далее. И Джонатан Свифт в своё время написал даже такой памфлет, он назывался «скромное предложение», где предлагал употреблять детей бедняков в пищу, потому что это очень полезное мясо, и вообще всё это эссе было наполнено таким вот объяснением, как вот это полезно, и сколько пользы могут эти люди приносить на самом деле. И тут, конечно, наши нравы смягчились с тех времён, но на самом деле как бы все-то вроде добренькие, но никто платить не хочет. Поэтому вопрос про безусловно общий доход — это вопрос, в принципе, про перераспределение доходов крупных корпораций, которые в данном случае крупные технологические корпорации являются основными бенефициарами этой промышленной революции новой. Каким образом изъять этот доход? Проблема заключается в том, что если вы в каком-то национальном государстве начнёте вводить безусловно общий доход и под него изымать изрядную долю средств путём повышения налогов, например, бизнес побежит от вас в другие государства, побежит в оффшоры, побежит в те страны, в которых либеральное законодательство налоговое. Каким образом решать эту проблему? Ну, мы видим, что те же самые Штаты они активно борются с оффшоризацией. То есть, там хлопнули один оффшор, хлопнули другой оффшор и так далее. Попытка всё-таки выстроить какую-то инфраструктуру, которая этому сценарию помешает реализоваться. Деньги находят свои лазейки, появляется крипта, всё это дело нелегальное утекает в крипту, у нас поэтому Bitcoin там растёт огромными темпами ровно пропорционально успехам в борьбе с оффшорами. Поэтому здесь задача очень непростая, то есть, вроде бы понятно, что это делать нужно, и если это не сделать, то последствия будут очень тяжёлыми. Но каким образом это воплотить, и хватит ли у нынешних элит единства и мотивации для того, чтобы это сделать — это очень большой вопрос, поэтому большую тревогу вызывает.

Слушатель 10. Добрый день. Сергей, вы сказали, что крипта растёт в России — это значит, получается, в оффшорах она низкая, да? В тех странах в Англии, в США и так далее, да?

С. М. Ну, смотрите. Вы можете при помощи крипты осуществлять переводы средств, фактически неконтролируемой никак. То есть, у вас есть криминальные деньги. Вы на них купили как бы крипту, не отслеживаемые транзакции, всё, вы её перевели там в в другое место и где-то обналичили, если она как бы принимается в качестве платёжного инструмента.

Слушатель 10. Просто дело в том, что, понимаете, виртуально криптовалюта она в России вроде как разрешена, но власти запрещают, чтобы в России её как бы обналичивали. А получается в тех же оффшорах она свободна что ли выходит или как?

С. М. Ну, в разных странах разные национальные законодательства на эту тему.

Слушатель 10. Например, в Британии и в США как это происходит?

С. М. Но вот в основном борьба с криптой, с её вот этой функцией, она происходит через борьбу с конкретными точками обналички, то есть, с биржами, то есть, там, где вы можете либо чего-нибудь незаконно приобретать и так далее, либо обналичивать крупные суммы этой крипты. На мелкие транзакции там особо никто не смотрит, всем там наплевать, что вы там купили…

Слушатель 10. Простите, мелкие — это в количественном выражении сколько конкретно?

С. М. А вот с точки зрения разных национальных государств разное, то есть, в зависимости от того, на сколько они считают, что это опасно. В России на самом деле у нас таких вот громких дел то, чтобы кого-то хлопнули за обналичку крипты, в прессе одно—два всего всплывало за последнее время.

Слушатель 10. Простите, это на уровне компаний или на уровне конкретной личности отдельной, как физлицо?

С. М. Там была история про, по-моему, даже физлиц, то есть, так чтобы у нас какую-то криптобиржу именно российскую бы хлопнули и инструмент по обналичке — я что-то не слышал даже такое.

Слушатель 10. Именно конкретно физические лица, конкретные какие-то, да?

С. М. Я думаю, что это примерно как с блокировкой ВКонтакте на Украине, то есть, как бы заблокировали, но всё равно это самый посещаемый ресурс. И у нас в России как бы строгость законов компенсируется необязательностью их выполнения. Но в других каких-то регионах там более жёстко с этим. Тут как бы все поэтому и смотрят, во многом определяться будет ровным счётом успехом национальных государств в контроле.

Слушатель 10. Спасибо большое.

С. М. Не за что.

Ведущий. Если вопросов больше нет, тогда мы подводим наше мероприятие к концу, остальные вопросы можно решить…

С. М. На самом деле, если у вас вопросы возникнут, то здесь есть контакты для связи со мной. Предпочтительный способ связи — Facebook, но как бы можно и все остальные другие тоже использовать. Присылайте мне свои вопросы, я на них постараюсь ответить, обычно я это делаю быстро. Ну и приходите на курс, если у кого-то есть на это время и желание.