Нейронные сети и Театр

Последние пару дней мы с моим товарищем продюсером обсуждаем одну очень интересную концепцию и ведём переговоры по её реализации с потенциальной площадкой и спонсорами. 

"Могут ли нейронные сети работать с образами, способны ли они к творчеству?"

То есть, может ли нейронная сеть взять на себя некоторые функции режиссера. Например, способна ли она на базе текста пьесы организовать и спланировать театральную постановку? 

В лучших традициях решения задач по Data Science предлагаю начать с доскональной параметризации задачи. В театре работа режиссера заключается в транслировании текста пьесы на язык образов. Дальше эти образы конструируются на сцене - с помощью доступных инструментов визуализации: декораций, освещения, музыки. 

Пьеса, в свою очередь, состоит из сцен. На базе пьесы режиссер последовательно конструирует постановку, сцена за сценой, производя на базе своего опыта отображение текста пьесы на язык доступных инструментов визуализации.

Каждая сцена состоит из взаимодействия героев друг с другом и с окружающей средой. Во время театральной постановки взаимодействия героев транслируются во взаимодействия актёров на сцене. Тут важны эмоции актёров, их умение прожить момент сцены внутри себя и максимально умело отобразить его во внешний мир. А правильно подобранные инструменты визуализации, в виде освещения, музыки, усиливают восприятие сцены зрителем, они своего рода специи, усилители вкуса. Говоря на языке образов, инструменты визуализации расширяют образ, затрагивая большее количество органов чувств зрителя. 

Таким образом, постановка состоит из взаимодействия актёров на сцене и использования инструментов визуализации. 

Честно говоря, не представляю, как с помощью нейронной сети можно работать со взаимодействием актёров друг с другом. Однако, задача выбора наиболее подходящих параметров инструментов визуализации - звучит вполне реализуемо.

Таким образом, нужно решить своего рода задачу машинного перевода, с языка пьесы, состоящего из простого алфавита, на язык инструментов визуализации - света и музыки. 

 Хватит с лирикой, перейдём к хардкору. Задачу машинного перевода можно разбить на три части

1) (Encoding) Кодирование текста сцены в некоторый вектор

2) (Transform) Преобразование данного вектора

3) (Decoding) Декодирование полученного вектора

В качестве энкодера можно взять BERT, который осуществляет глубокий смысловой анализ текста и на выходе дает некоторый вектор, содержащий фичи этого текста.

Стадии 2 и 3 требуют некоторого количества данных, соответствующих сопоставлению тексту пьесы определенных инструментов визуализации. Тут есть два возможных пути решения:

1) Анализировать вектор на выходе BERT на предмет его эмоциональной окраски, т.е. вытаскивать все фичи связанные с эмоциями и на их основе делать отображение на язык инструментов визуализации.

2) Обучить модель, которая делает отображение вектора на выходе BERT в вектор, соответствующий выбору определенных параметров интсрументов визуализации. Например, на входе тревожный текст - на выходе тёмно синее освещение и музыка Ханса Циммера. 

В первом подходе правила перехода от вектора с эмоциональными фичами к параметрам инструментов визуализации определяются человеком, то есть они строятся на базе его опыта.

Во втором подходе мы имеем модель, которая сама детерминирует такие правила перехода, на базе данных в обучающей выборке.