Что нейросети получают от живописи? Что-то похожее на бэд-трип.

Слева японское укиё-э, справа западный ренессанс. На самом деле внутри нейросети для художественной классификации не бессмысленная цветная каша, на втором крупном изображении можно даже разглядеть подсказку в виде зеленого дерева на фоне голубого неба и драпировки — чем не Ренессанс? Слои обучаются различать вещи от простого к сложному, от цветов и узоров до портретных очертаний и особенностей стиля.

Зачем нейросетям искусство? 

Недавнее исследование показало, что алгоритмы, созданные для работы с фото, вполне можно обучать на датасетах из предметов живописи. Их у человечества накопилось очень много, в одном только этом исследовании было использовано 19 тысяч картин в высоком разрешении за более чем 500 лет истории искусств.

Особенность в том, что одни и те же вещи человек изображает совершенно по-разному — в зависимости от жанра и своей техники письма. Если обучать алгоритмы на датасетах множества художников, это повысит надежность нейронных сетей и их способность к адаптации, полагают исследователи.

Что можно получить людям от нейросетей и живописи?

Применение систем распознавания к большим коллекциям изображений позволяет исследователям находить культурные тенденции и создавать определенные представления об изображенной эпохе. Картины — неотъемлемая часть культуры, в них есть все это и даже больше.

Согласно тому же исследованию, нейронные сети вроде DEXTR, FasterRCNN, обученные на фотографиях реального мира, неплохо справляются с распознаванием объектов на картинах и их сегментацией.

Значит, их можно использовать для поиска и навигации по коллекциям живописи. Для большого количества картин нет столь подробного описания, чтобы вы смогли обратиться к абстрактному поисковику и найти господ в сатиновых платьях или цветы. А алгоритмы распознавания могут, определяя материалы и объекты на картинах.