Facebook запустила новую систему для помощи в модерации на основе ИИ

Facebook запускает набор новых инструментов, чтобы помочь администраторам групп контролировать свои сообщества. Систему для помощи в модерации работает на основе ИИ. Она будет присылать модераторам сообществ оповещения о конфликтах в переписке. Система получила название Conflict Alerts, она пока работает в тестовом режиме.

Нейросеть будет помечать подозрительные комментарии отметкой «moderation alert» и отправлять их модераторам сообществ, для поиска будет использована машинная модель обучения.

После того, как администратор получит предупреждение, он может принять меры, удалив комментарии, ограничив, как часто люди могут комментировать или как часто комментарии могут быть сделаны к определенным сообщениям.

В Facebook пояснили, что компания будет использовать модели машинного обучения для анализа «нескольких сигналов, таких как время ответа и количество комментариев, чтобы определить, имеет ли взаимодействие между пользователями негативнй характер или может привести к негативным взаимодействиям.»

Ранее соцсеть уже тестировала подобную систему для помощи в модерации. Она служит для поиска контента, связанного с терроризмом, сексуальной эксплуатацией детей и попытках самоубийства. Однако алгоритм не смог распознать шутки и сарказм, в итоге такой контент и комментарии попадали к модераторам сообществ как потенциально неприемлемые.

Напомним, Глава Instagram дал несколько советов, как увеличить охват постов.