Робот-музыкант играет на маримбе. У робота четыре «руки» и восемь «пальцев». Программное обеспечение робота, построенное на технологиях искусственного интеллекта и глубокого обучения, позволяет ему создавать и исполнять собственные композиции. Проект развивается в лаборатории Технологического института Джорджии (Georgia Institute of Technology).
Материалом для обучения робота послужили 5000 цельных музыкальных композиций — от Бетховена и Битлз до Леди Гаги с Майлсом Дэвисом, и более 2 миллионов музыкальных фрагментов — мотивов, риффов и «запилов». Человек даёт толчок — играет четыре такта, от которых робот отталкивается и начинает собственную импровизацию.
Робот получил имя — Шимон (Shimon).
Аспирант Мейсон Бретан (Mason Bretan) — человек, который учил машину сочинять музыку. Он работал с Шимоном на протяжении семи лет, давал ему «слушать» музыку, которую играют люди, и учил импровизировать на основе предварительно составленных аккордов. Теперь Шимон наконец-то стал полноценным композитором — он самостоятельно создаёт мелодию и гармоническую структуру.
«После того, как Шимон получает от нас четыре такта, он создаёт свои собственные последовательности и сочиняет свой кусок, — говорит Бретан. — Сочинения Шимона показывают, как может выглядеть и звучать музыка, когда робот использует глубокие нейронные сети, чтобы узнать всё о музыке из миллионов созданных человеком сегментов».
Бретан утверждает, что впервые робот после глубокого обучения создаёт музыку. И в отличие от первых попыток импровизации, когда он играл однотонно, Шимон научился играть, используя гармонии и аккорды. Теперь его действия похожи на работу музыканта-человека, который сосредотачивается не на каждой идущей друг за другом ноте, а на общей структуре композиции.
«Когда мы играем или слушаем музыку, мы не думаем о следующей ноте и только о ней, — говорит Бретан. — Артист хорошо представляет, чего он или она хочет добиться в течение ближайших нескольких тактов и дальше. Шимон сейчас освоил музыкальную семантику более высокого уровня».
Таким образом, Шимон создаёт цельную композицию, а не просто последовательности нот.
Техническая часть проекта — работа Гила Вайнберга (Gil Weinberg), директора Центра музыкальных технологий Технологического института Джорджии.
«Это скачок в музыкальном мастерстве Шимона, потому что он использует глубокое обучение для создания более структурированной и последовательной композиции, — говорит Вейнберг. — Мы хотим понять, смогут ли роботы освоить музыкальное творчество и создавать новую музыку, чтобы мы, люди, могли бы получить что-то прекрасное, вдохновляющее и странное».
Бретан замечает, что он не может определить отдельные композиции, которые послужили основой для импровизации Шимона. В музыке, создаваемой роботом, можно найти классические аккорды и обнаружить влияние известных композиторов, например, Моцарта.
«Они звучат как смесь джаза и классики, — говорит Бретан, который сам играет на клавишных и гитаре. — Я определённо слышу большое влияние классики, особенно в гармонии. Но потом слышу то, что вы наверняка встречали в джазе».
