AlphaStar — программа , играющая в StarCraft II , разработанная компанией DeepMind при сотрудничестве с Blizzard Entertainment , ставшая первым ИИ, достигнувшим уровня лучших игроков в киберспортивной дисциплине при отсутствии специальных ограничений. Проект был анонсирован в 2016 году. В конце 2018 года был проведён ряд тестовых матчей против профессиональных игроков, закончившийся чистой победой ИИ, а в 2019 году AlphaStar принял участие в рейтинговом режиме StarCraft II , в результате чего достиг высшего внутриигрового ранга лиги — грандмастера.

Принцип работы

AlphaStar является искусственной нейронной сетью , при создании которой использовались методы глубокого обучения — с подкреплением и с учителем (в качестве тренировочного набора данных использовались записи игр живых людей, предоставленные Blizzard Entertainment) . Также в процессе игры используются статистические данные о том, как в текущей ситуации поступали живые люди . Нейросеть получает на вход набор мини-карт с различными фильтрами, генерируемый API, и составляет на основе них цепочку последующих действий .

История

На фестивале BlizzCon 2016 был анонсирован совместный проект Blizzard Entertainment и DeepMind по созданию искусственного интеллекта для игры в StarCraft II . В рамках сотрудничества компания Blizzard начала разработку набора программных инструментов, позволяющего стороннему искусственному интеллекту полноценно взаимодействовать с игрой, а также поставляла DeepMind записи всех сетевых матчей, сыгранных живыми людьми, в качестве данных для обучения . В августе 2017 года была завершена работа над открытым API для StarCraft II в виде приложения для операционных систем Linux , предоставляющего доступ к игровой информации, в том числе к игровому счёту, доступному игроку только по окончании игры. Вместо отрисовки графики игры приложение генерирует набор мини-карт с различными фильтрами, которые должны покадрово подаваться на вход искусственному интеллекту, вычисляющему на основании них последовательность дальнейших действий. Также была реализована возможность вести сражения между несколькими ботами в оффлайн-режиме и создан ряд тренировочных сценариев, таких как сбор ресурсов, движение юнитов, постройка зданий и других. Компания DeepMind выпустила библиотеку для Python, связывающую StarCraft II и реализации систем машинного обучения . Следом был опубликован препринт в блоге DeepMind, рассказывающий о первых результатах. Существовавшая на тот момент времени версия искусственного интеллекта проигрывала встроенному лёгкому ИИ в подавляющем большинстве случаев, а редкие случаи ничьих были вызваны заранее установленным искусственным ограничением длины партии в 30 минут. ИИ DeepMind научился использовать способность строений терранов взлетать и перемещаться по карте для уклонения от армии соперника и доведения игры до ничьей .

После обучения с использованием записей игр живых людей, нейросеть научилась обыгрывать самый сложный из доступных встроенных ИИ в 95% случаев. Полученная версия искусственного интеллекта играла сама с собой в течение 14 дней реального времени, что эквивалентно 200 годам игры в StarCraft II. Изначально искусственный интеллект DeepMind активно использовал раш , пытаясь достичь быстрой победы строительством большого числа сравнительно дешёвых юнитов, однако со временем научилась отбиваться от таких атак и уделять внимание и другим аспектам игры, в том числе экономическому развитию . Помимо основной версии искусственного интеллекта, в процессе обучения были разработаны «игроки-помощники», задачей которых было придумывать креативные и необычные стратегии атаки. Их процент побед был невелик, однако они помогли лучше обучить искусственный интеллект .

19 декабря 2018 года был проведён ряд тестовых матчей между разработанной версией искусственного интеллекта, получившего название AlphaStar, и киберспортсменами и , в матчапе PvP (протосс против протосса) . Каждого из киберспортсменов AlphaStar обыграла со счётом 5:0. У искусственного интеллекта было преимущество: в то время как человек видел только то, что происходит на экране, AlphaStar видел всю карту. Внезачётный матч против MaNa, в котором AlphaStar играла с обычным ограничением видимой области, нейросеть проиграла, однако разработчики отмечают, что в таком режиме нейросеть тренировалась всего неделю . Кроме того, поскольку искусственный интеллект на тот момент умел только играть в матчапе PvP, TLO пришлось играть за протосса, а не за свою основную расу — зерга .

В июле 2019 года AlphaStar начал анонимно играть рейтинговые матчи против живых игроков, разрешивших игру против ИИ в интерфейсе игры. Метод подбора соперников для искусственного интеллекта и алгоритм вычисления его рейтинга был аналогичен таковым для живых игроков. На AlphaStar были наложены бо́льшие ограничения, чем в декабре: искусственный интеллект мог видеть происходящее только в рамках небольшой перемещаемой области, аналогичной камере игроков, а также были наложены большие ограничения на число действий в минуту (APM). Данная версия искусственного интеллекта могла играть за все три расы во всех девяти матчапах . В результате AlphaStar достиг высшего игрового ранга — грандмастера, который имеют 200 лучших игроков региона (примерно 0,2%) — за все три расы . Дэвид Силвер, исследователь из DeepMind, отмечает, что AlphaStar стал первым ИИ, достигнувшим уровня лучших игроков в киберспортивной дисциплине при отсутствии специальных ограничений .

На фестивале BlizzCon 2019 был выставлен компьютер, за которым любой желающий мог сыграть против AlphaStar. Среди сыгравших был действующий чемпион мира Йоона «Serral» Сотала , чья игра против искусственного интеллекта закончилась поражением со счётом 1:3. Данный результат нельзя считать серьёзным, так как, во-первых, Serral использовал непривычные периферийные устройства, во-вторых, матч не был организован специально и прошёл по личной инициативе Йооны .

Критика

Несмотря на то, что разработчики ограничили число действий в минуту достижимым для человека значением, AlphaStar остаётся необычайно быстрым для человека, поскольку человек при игре использует повторяющиеся приказы и может совершать импульсивные необдуманные действия, не имеющие значения, в то время как все действия ИИ остаются точными. Так, в бою с большим количеством юнитов AlphaStar успевает отдавать индивидуальные команды каждой боевой единице со скоростью и точностью, недоступной живому человеку . Комментатор также отмечает, что искусственный интеллект не понимает смысла некоторых приёмов живых игроков и не всегда корректно копирует их .

См. также

• AlphaGo

Примечания