ИИ. Кто и зачем распознаёт эмоции в России и за рубежом

Искусственный интеллект активно развивается в России и мире — в том числе эмоциональный. Им интересуются крупные компании и амбициозные стартапы, которые внедряют новые разработки в ритейл, маркетинг, образование, банковскую сферу, рекрутинг.

Что такое эмоциональный ИИ

Эмоциональный искусственный интеллект (Emotion AI) — это ИИ, который позволяет компьютеру распознавать и интерпретировать человеческие эмоции и реагировать на них. Камера, микрофон или нательный датчик считывают состояние человека, а нейросеть обрабатывает данные, чтобы определить эмоцию.

Чтобы обучить нейросеть, дата сайентисты собирают выборку данных и вручную размечают изменение эмоционального состояния человека. Программа изучает шаблоны и понимает, какие признаки к какой эмоции относятся.

Нейросеть может обучаться на разных данных. Одни компании и лаборатории используют видеозаписи, другие изучают голос, а некоторые извлекают пользу сразу из нескольких источников. Но чем разнообразнее данные, тем точнее результат.

• Фото и стоп-кадры из видео.

Сначала изображения обрабатываются, чтобы ИИ было удобнее с ними работать. Черты лица — брови, глаза, губы и так далее — размечаются точками. Нейросеть определяет положение точек, сопоставляет их с признаками эмоций из шаблона и делает вывод о том, какая эмоция отражена — злость, страх, удивление, грусть, радость или спокойствие.

Есть и другой подход. На лице сразу отмечают маркеры эмоций — например, улыбку или нахмуренные брови. Тогда нейросеть ищет маркеры на изображении, анализирует их комбинации и определяет состояние человека.

• Голос и речь.

Нейросеть выделяет из акустического сигнала множество параметров голоса — например, тон и ритмичность. Она изучает их изменение во времени и определяет состояние говорящего.

Иногда для обучения используют спектрограмму — изображение, которое показывает мощность и частоту сигнала во времени. Кроме того, для более точного результата ИИ анализирует лексику.

Где используется технология

Продажи и реклама

Самая очевидная сфера применения технологий распознавания эмоций — маркетинг. С их помощью можно определить, как рекламный ролик действует на человека. Для этого можно, например, установить конструкцию с камерой, которая будет менять рекламу в зависимости от настроения, пола и возраста проходящих мимо людей.

Анализ видеопотока позволяет узнать количество уникальных посетителей на торговую точку, их социодемографический профиль, подсчитать индекс удовлетворенности каждого клиента и общую статистику, а также сравнить ее с другими магазинами, филиалами и целыми сетями продаж. Это своеобразная гугл-аналитика, только для офлайна. Такие же системы устанавливают и в сетевых отелях.

Банки

Технологии распознавания эмоций помогают банкам получать обратную связь от клиентов без опросов и улучшать обслуживание. В отделениях устанавливают видеокамеры, и алгоритмы по записи определяют удовлетворенность посетителей. Нейросети также могут проанализировать голос и речь клиента и оператора во время звонка в контакт-центр.

В России эмоциональный ИИ пробуют внедрить уже давно: его тестировали в Сбербанке ещё в 2015 году, а через три года «Альфа-Банк» запустил свой пилот анализа эмоций по видео. Кроме записей с камер наблюдения используют и записи звонков. ВТБ начал пилотный проект по внедрению эмоционального ИИ в 2019 году. А «Росбанк» вместе с Neurodata Lab уже протестировали определение эмоций клиентов по голосу и речи. Клиент звонил в банк, а нейросеть анализировала его состояние и смысл разговора. Кроме того, ИИ замечал паузы в речи оператора, громкость голоса и время общения. Это позволяло не только проверять удовлетворенность сервисом, но и контролировать работу операторов контакт-центра.

Сейчас «Росбанк» внедрил собственное решение для распознавания эмоций. Вместо акустического сигнала система анализирует текст, при этом точность остается высокой.

Распознаванием эмоций в речи занимается и «Центр речевых технологий» (контрольный пакет акций принадлежит Сбербанку). Сервис Smart Logger анализирует голос и лексику клиентов и операторов, время разговора и паузы, чтобы выяснить удовлетворенность обслуживанием.

Сфера развлечений

Системы распознавания эмоций можно использовать для того, чтобы узнать реакцию аудитории на фильм. Компания Disney в 2017 году в сотрудничестве с учеными провела эксперимент: установила камеры в кинотеатре и подключила алгоритмы глубокого обучения для оценки эмоций зрителей. Система могла предсказать реакцию людей, наблюдая за ними всего несколько минут. За время эксперимента собрали внушительный датасет: 68 маркеров с каждого из 3 179 зрителей. Всего получилось 16 миллионов изображений лиц.

Для такой же цели видеохостинг YouTube создал свой ИИ под названием YouFirst. Он позволяет видеоблогерам и компаниям тестировать контент до выпуска на платформе. Пользователи нажимают на специальную ссылку, дают согласие на съемку видео и смотрят ролик. В это время нейросеть определяет их реакции и отправляет данные владельцу канала.

Среди российских компаний реакцию на видеоролики может анализировать, например, Neurobotics. Компания разработала программу EmoDetect, которая распознает радость, грусть, удивление, страх, злость, отвращение и нейтральное состояние. Программа изучает до 20 локальных признаков лица на стоп-кадрах и серии изображений. Система анализирует двигательные единицы и использует технологию кодирования лицевых движений FACS. Есть возможность записать видео с веб-камеры. Программный интерфейс API EmoDetect позволяет интегрировать продукт с внешними приложениями.

Эмоциональный ИИ начинают применять и в игровой индустрии. Он помогает персонализировать игру и добавить больше взаимодействия с геймером.

Например, американская компания Affectiva, которая занимается эмоциональным ИИ, помогла создать игру в жанре психологического триллера Nevermind. Напряженность зависит от состояния игрока: сюжет становится мрачнее, когда он испытывает стресс, и наоборот.

Образование

Распознавание эмоций применимо и в образовании. С его помощью можно изучать настроение и внимание учеников во время занятий.

Российские разработчики применили эмоциональный ИИ в Перми. Толчком к развитию технологий стали нападения учеников на младшеклассников и учительницу. «Ростелеком» и стартап New Vision разработали программу «Умная и безопасная школа», чтобы отслеживать эмоциональное состояние детей. Это поможет выявлять асоциальных подростков раньше, чем случится трагедия.

В основу была положена система Пола Экмана. Нейросеть анализировала малейшие движения мышц с помощью 150 точек на лице. За урок собирался большой объем данных: по 5-6 тысяч кадров на каждого ученика. Программа изучала датасет и вычисляла эмоциональное состояние каждого ребенка. По словам создателей, точность составила 72%.

HR

Эмоциональный ИИ может быть полезен в работе с персоналом. Он помогает определить состояние сотрудника, вовремя заметить его усталость или недовольство и эффективнее перераспределить задачи.

Кроме того, технологии помогают в рекрутинге. С помощью эмоционального ИИ можно проверить кандидата на соответствие должности или уличить во лжи во время собеседования.

Выводы:

Такими тэмпами, скоро уже в туалет нельзя будет сходить спокойно, чтоб нейросеть не оценила мое эмоциональное состояние на горшке. И на основание этих данных сделала запись в цифровое досье.
@black_triangle_tg