«Искусственный интеллект уже умеет писать собственные песни, создавать трейлеры для фильмов и даже управлять автомобилями. Он уже способен обыгрывать человека в таких непредсказуемых и нелинейных играх, как Go и покер. Недавно Microsoft Research и Maluuba, стартап в сфере глубокого обучения, приобретенный корпорацией в начале 2017 года, научили искусственный разум играть в одну из самых популярных компьютерных игр всех времён Ms. Pac-Man. И не просто научили, а сделали из него чемпиона, побившего мировой рекорд, установленный человеком.

Играя в версию знаменитой аркады Ms. Pac-Man, выпущенной для одной из первых домашних консолей Atari 2600, искусственный интеллект смог набрать максимальное количество возможных очков – достижение, которое прежде было немыслимо. Результат умной машины составил 999 990 баллов, тогда как лучший результат, поставленный человеком равен 266 360 баллам[1].

При обучении искусственного интеллекта использовался метод под названием «гибридная архитектура наград». Он заключается в том, что 150 специальным программам-агентам назначается конкретная задача: избегать призраков, правильно передвигаться, собирать гранулы и так далее. С помощью программ-агентов искусственный интеллект самостоятельно распределял приоритеты для достижения максимального результата.

Версия игры Ms. Pac-Man для Atari 2600 использовалась неспроста. Код игры в ней менее предсказуем, чем в оригинальной версии. Стратегией разработки стало использование перспективного подхода обучения с подкреплением (reinforcement learning), который предполагает, что алгоритму даются для обработки примеры желаемого поведения, и он методом проб и ошибок совершенствуется.

По словам ученых, работавших над проектом, такое достижение внесет вклад в обработку естественного языка, а также потенциально сможет лечь в основу систем детального предсказания покупательского поведения, обусловленного множеством факторов.

Узнать о том, как создавался алгоритм-победитель, можно в видео https://www.youtube.com/watch?v=zQyWMHFjewU

[1] http://www.highscore.com/scores/Atari2600Emulated/MsPacMan/22440