Interested Article - AlphaStar (искусственный интеллект)

AlphaStar программа , играющая в StarCraft II , разработанная компанией DeepMind при сотрудничестве с Blizzard Entertainment , ставшая первым ИИ, достигнувшим уровня лучших игроков в киберспортивной дисциплине при отсутствии специальных ограничений. Проект был анонсирован в 2016 году. В конце 2018 года был проведён ряд тестовых матчей против профессиональных игроков, закончившийся чистой победой ИИ, а в 2019 году AlphaStar принял участие в рейтинговом режиме StarCraft II , в результате чего достиг высшего внутриигрового ранга лиги — грандмастера.

Принцип работы

AlphaStar является искусственной нейронной сетью , при создании которой использовались методы глубокого обучения с подкреплением и с учителем (в качестве тренировочного набора данных использовались записи игр живых людей, предоставленные Blizzard Entertainment) . Также в процессе игры используются статистические данные о том, как в текущей ситуации поступали живые люди . Нейросеть получает на вход набор мини-карт с различными фильтрами, генерируемый API, и составляет на основе них цепочку последующих действий .

История

На фестивале BlizzCon 2016 был анонсирован совместный проект Blizzard Entertainment и DeepMind по созданию искусственного интеллекта для игры в StarCraft II . В рамках сотрудничества компания Blizzard начала разработку набора программных инструментов, позволяющего стороннему искусственному интеллекту полноценно взаимодействовать с игрой, а также поставляла DeepMind записи всех сетевых матчей, сыгранных живыми людьми, в качестве данных для обучения . В августе 2017 года была завершена работа над открытым API для StarCraft II в виде приложения для операционных систем Linux , предоставляющего доступ к игровой информации, в том числе к игровому счёту, доступному игроку только по окончании игры. Вместо отрисовки графики игры приложение генерирует набор мини-карт с различными фильтрами, которые должны покадрово подаваться на вход искусственному интеллекту, вычисляющему на основании них последовательность дальнейших действий. Также была реализована возможность вести сражения между несколькими ботами в оффлайн-режиме и создан ряд тренировочных сценариев, таких как сбор ресурсов, движение юнитов, постройка зданий и других. Компания DeepMind выпустила библиотеку для Python, связывающую StarCraft II и реализации систем машинного обучения . Следом был опубликован препринт в блоге DeepMind, рассказывающий о первых результатах. Существовавшая на тот момент времени версия искусственного интеллекта проигрывала встроенному лёгкому ИИ в подавляющем большинстве случаев, а редкие случаи ничьих были вызваны заранее установленным искусственным ограничением длины партии в 30 минут. ИИ DeepMind научился использовать способность строений терранов взлетать и перемещаться по карте для уклонения от армии соперника и доведения игры до ничьей .

После обучения с использованием записей игр живых людей, нейросеть научилась обыгрывать самый сложный из доступных встроенных ИИ в 95% случаев. Полученная версия искусственного интеллекта играла сама с собой в течение 14 дней реального времени, что эквивалентно 200 годам игры в StarCraft II. Изначально искусственный интеллект DeepMind активно использовал раш , пытаясь достичь быстрой победы строительством большого числа сравнительно дешёвых юнитов, однако со временем научилась отбиваться от таких атак и уделять внимание и другим аспектам игры, в том числе экономическому развитию . Помимо основной версии искусственного интеллекта, в процессе обучения были разработаны «игроки-помощники», задачей которых было придумывать креативные и необычные стратегии атаки. Их процент побед был невелик, однако они помогли лучше обучить искусственный интеллект .

19 декабря 2018 года был проведён ряд тестовых матчей между разработанной версией искусственного интеллекта, получившего название AlphaStar, и киберспортсменами и , в матчапе PvP (протосс против протосса) . Каждого из киберспортсменов AlphaStar обыграла со счётом 5:0. У искусственного интеллекта было преимущество: в то время как человек видел только то, что происходит на экране, AlphaStar видел всю карту. Внезачётный матч против MaNa, в котором AlphaStar играла с обычным ограничением видимой области, нейросеть проиграла, однако разработчики отмечают, что в таком режиме нейросеть тренировалась всего неделю . Кроме того, поскольку искусственный интеллект на тот момент умел только играть в матчапе PvP, TLO пришлось играть за протосса, а не за свою основную расу — зерга .

В июле 2019 года AlphaStar начал анонимно играть рейтинговые матчи против живых игроков, разрешивших игру против ИИ в интерфейсе игры. Метод подбора соперников для искусственного интеллекта и алгоритм вычисления его рейтинга был аналогичен таковым для живых игроков. На AlphaStar были наложены бо́льшие ограничения, чем в декабре: искусственный интеллект мог видеть происходящее только в рамках небольшой перемещаемой области, аналогичной камере игроков, а также были наложены большие ограничения на число действий в минуту (APM). Данная версия искусственного интеллекта могла играть за все три расы во всех девяти матчапах . В результате AlphaStar достиг высшего игрового ранга — грандмастера, который имеют 200 лучших игроков региона (примерно 0,2%) — за все три расы . Дэвид Силвер, исследователь из DeepMind, отмечает, что AlphaStar стал первым ИИ, достигнувшим уровня лучших игроков в киберспортивной дисциплине при отсутствии специальных ограничений .

На фестивале BlizzCon 2019 был выставлен компьютер, за которым любой желающий мог сыграть против AlphaStar. Среди сыгравших был действующий чемпион мира Йоона «Serral» Сотала , чья игра против искусственного интеллекта закончилась поражением со счётом 1:3. Данный результат нельзя считать серьёзным, так как, во-первых, Serral использовал непривычные периферийные устройства, во-вторых, матч не был организован специально и прошёл по личной инициативе Йооны .

Критика

Несмотря на то, что разработчики ограничили число действий в минуту достижимым для человека значением, AlphaStar остаётся необычайно быстрым для человека, поскольку человек при игре использует повторяющиеся приказы и может совершать импульсивные необдуманные действия, не имеющие значения, в то время как все действия ИИ остаются точными. Так, в бою с большим количеством юнитов AlphaStar успевает отдавать индивидуальные команды каждой боевой единице со скоростью и точностью, недоступной живому человеку . Комментатор также отмечает, что искусственный интеллект не понимает смысла некоторых приёмов живых игроков и не всегда корректно копирует их .

См. также

Примечания

  1. Николай Воронцов. . N+1 (25 января 2019). Дата обращения: 4 января 2020. 11 декабря 2019 года.
  2. Александр Ершов. . Meduza (31 октября 2019). Дата обращения: 4 января 2020. 1 ноября 2019 года.
  3. Тарас Молотилин. . N+1 (10 августа 2017). Дата обращения: 4 января 2020. 15 ноября 2019 года.
  4. Christina Kelly. (англ.) . ESPN (24 ноября 2016). Дата обращения: 4 января 2020. 25 апреля 2019 года.
  5. Тарас Молотилин. . N+1 (11 августа 2017). Дата обращения: 4 января 2020. 15 ноября 2019 года.
  6. The AlphaStar team. (англ.) . DeepMind (24 января 2019). Дата обращения: 24 января 2019. 24 января 2019 года.
  7. SLAVCRAFT. . Gmbox.ru (25 января 2019). Дата обращения: 4 января 2020. (недоступная ссылка)
  8. Ron Amadeo (2019-07-11). . Ars Technica . из оригинала 3 декабря 2019 . Дата обращения: 4 января 2020 .
  9. Коняшин Андрей. . Gmbox.ru (1 ноября 2019). Дата обращения: 4 января 2020. Архивировано из 1 ноября 2019 года.
  10. Ian Sample. (англ.) . Guardian (30 октября 2019). Дата обращения: 8 февраля 2019. 29 декабря 2020 года.
  11. Izzard. . GoodGame.ru (5 ноября 2019). Дата обращения: 4 января 2020. 15 января 2020 года.
  12. Timothhy B. Lee. (англ.) . Ars Technica (30 января 2019). Дата обращения: 4 января 2020. 5 декабря 2019 года.
  13. Ben Dickson. (англ.) . pcmag.com (8 марта 2019). Дата обращения: 4 января 2020. 2 апреля 2019 года.
  14. Артем Ращупкин. (англ.) . Канобу (3 ноября 2019). Дата обращения: 4 января 2020. 4 августа 2020 года.
Источник —

Same as AlphaStar (искусственный интеллект)