Говорят, чтобы научится играть в Доту 2 на достойном уровне, человеку нужно около 10 000 часов тренировок. Игровому искусственному интеллекту потребовалось гораздо больше. Но после тысяч лет игрового времени ИИ оказался способен одолевать живых игроков.
Дота 2 — многопользовательская онлайновая боевая арена (multiplayer online battle arena, MOBA). Две команды по пять человек сражаются друг с другом на большой карте, защищая собственные базы и атакуя противников. Регулярно проходят турниры с максимально возможными для киберспорта призовыми фондами. Игра привлекает профессиональных игроков очень высокого уровня.
Исследовательская лаборатория OpenAI (некоммерческая исследовательская компания, занимающаяся искусственным интеллектом с целью развить открытый, дружественный ИИ. Одним из основателей является предприниматель Илон Маск) использовала метод обучения с подкреплением. ИИ методом проб и ошибок совершенствуется, играя сам с собой. Программисты следят за процессом и устанавливают критерии, необходимые для оптимизации стратегии игры. Это непростая задача — ведь программа должна научиться иногда жертвовать сиюминутной выгодой ради достижения превосходства над соперником.
Система, созданная для игры в Доту, состоит из 256 графических процессоров и 128 000 процессорных ядер.
Но к совершенству путь неблизкий. Для достижения нынешнего уровня ИИ отрабатывал по 180 игровых лет ежедневно в течение многих дней. Первым успехом стали победы над человеком «один на один», затем система научилась играть и «пять на пять». Сейчас ИИ способен выигрывать у любителей, входящих в 1% лучших игроков. Правда, в игре с сокращённым списком доступных героев.
По словам Грега Брокмана (Greg Brockman), одного из основателей OpenAI, вхождение в список лучших игроков в Доту — большой успех для ИИ.
Но расти есть куда — и в августе текущего года бот OpenAI сыграет против лучших профессиональных игроков в Доту 2 на самом крупном ежегодном турнире — The International.
Искусственный интеллект освоил шахматы и го (об успехах в этой области смотрите видео с Сергеем Марковым: «ИИ и машинное обучение — итоги 2017 года»). Но Брокман отмечает, что несмотря на то, что обе игры сложны, в них нет ничего подобного задачам, с которыми мы сталкиваемся в реальности.
Чтобы ИИ мог действовать в реальном мире, он должен работать в режиме реального времени, а не пошагово, как в большинстве настольных игр. Также он должен уметь принимать решения на основе неполной информации. Оба аспекта в Доте 2 отражены лучше, чем в шахматах или го.
В принципе это значит, что ИИ, способный выигрывать в Доту 2, должен лучше решать задачи и в реальном мире.
«Мы показали, что ИИ способен осваивать интеллектуальные навыки и хотим найти ему другие области применения», — говорит Брокман.
