Видеоигры, мотивация и AI
BeardyCast.com
Что мотивирует нас играть в видеоигры часами напролет? Это слишком размытый и слишком общий вопрос. Но если попытаться уместить ответ в одно слово, то им станет «любознательность». Это доказали исследователи из лаборатории Open AI: добавили ИИ-агенту параметр «любознательности», после чего он обыграл прежнюю версию ИИ в «Месть Монтесумы» (Montezuma’s Revenge).
Прохождение «Мести Монтесумы» — важный шаг в развитии самообучаемых алгоритмов искусственного интеллекта. Когда в 2015 году агент DeepMind от Google самостоятельно прошел ряд старых игр, он не справился только с Montezuma’s Revenge. Так произошло из-за расхождения между игровым процессом «Монтесумы» и типовым процессом обучения ИИ. Сейчас все ИИ-агенты работают по методу обучения с подкреплением: люди закидывают агентов в виртуальный мир, после чего награждают их за повышение очков и наказывают за потерю жизни. Алгоритм начинает проходить игру абсолютно случайным образом и, методом проб и ошибок, вырабатывает необходимую стратегию.
Обучение с подкреплением считается главным методом для разработки более умных роботов. Проблема в том, что «Месть Монтесумы» не предоставляет игроку (искусственному интеллекту) очевидных наград. Это пазл с элементами платформера, цель которого — изучение подземной пирамиды. В ней надо уворачиваться от ловушек и врагов, собирать ключи, которые открывают двери и сундуки.
Можно награждать искусственный интеллект за выживание и сбор ключей — но как научить его сохранять ключи для определенных сундуков/дверей, а потом использовать их для прохождения уровня?
Ответ: любознательность.
Исследователи OpenAI вознаграждали своего ИИ-агента не только за перепрыгивание ям с шипами, но и за изучение новых комнат в пирамиде. Это привело к лучшим результатам, чем в среднем достигали люди при прохождении игры — ИИ набрал 10000 очков за девять прохождений первого уровня, в то время как люди в среднем набирают всего 4000 очков. По заявлению разработчиков, время от времени их агент даже проходит уровень целиком.
Проблема «шумного ТВ»
OpenAI — далеко не первая лаборатория, которая использовала такой метод обучения. Общая теория существует уже давно, однако выработка конкретных решений все еще проблематична; исследователи ИИ со всего мира уже десятилетиями пытаются проработать идею «любознательности», однако до OpenAI успеха никто не добился.
Любознательность ИИ, основанная на предсказании, работает хорошо только в некоторых видах игр. Например, в «Марио» большие уровни, много врагов и боссов — однако в более простых играх, таких как Pong, искусственный интеллект затягивает партии. Вероятно, он считает, что можно выиграть у соперника более предсказуемыми способами, чем отслеживать траекторию полета мяча.
Другой трудностью является так называемая проблема «шумного ТВ». Алгоритмы, обученные поиску чего-то нового и «интересного», фиксируются на любых случайных узорах — например, на экране ТВ со статическим шумом.
Так происходит, потому что для агентов понятия «нового» и «интересного» основаны на возможности предсказать их будущее. Перед каким-либо действием алгоритм оценивает, как будет выглядеть игра после этого него. Если предсказание сбылось, значит, ИИ уже был в этой части уровня/игры. Такой метод называется «ошибкой предсказания». Однако статический шум на экране ТВ совершенно непредсказуем в своем рисунке: агент ИИ «залипает» и отказывается двигаться дальше. Исследователи в шутку сравнивают такое поведение с азартом игроков в однорукого бандита, когда они не могут отойти от автомата.
Исследования OpenAI рассматривают новый подход к предсказыванию искусственным интеллектом будущего. Точная методология сложна, но создатели алгоритма сравнивают его с тем, что они прячут «секрет» для ИИ на каждом игровом экране. Он случайный, не имеет никакого смысла — но он поддерживает у искусственного интеллекта интерес более высокого уровня, чем ловушка с ТВ. Более того, этот мотиватор не требует сложных вычислений, что очень важно в подобных сферах. Обучение с подкреплением требует огромной вычислительной мощности — поэтому, чем быстрее система будет высчитывать каждый шаг агента, тем лучше.
Любопытство
Любознательность помогает компьютерам самообучаться. Большинство существующих подходов к машинному обучению можно разбить на два типа:
- Компьютеры изучают массивы данных и вырабатывают модели, которые затем применяют при последующем анализе;
- Агент попадает в некое пространство, которое вознаграждает или наказывает его за достижение разных целей с помощью обучения с усилением.
Оба подхода эффективны в определенных задачах, но они требуют активного участия людей — либо для тегирования данных, либо для разработки системы наград для виртуальных пространств.
С получением новых схем обучения, агенты ИИ будут в состоянии работать с данными более самостоятельно. В реальной жизни, как и в «Мести Монтесумы», награда не всегда приходит быстро — нам приходится работать, исследовать окружающий мир и учиться, чтобы получить достойное вознаграждение.