«Одноклассники» начала бороться с агрессивными комментариями с помощью ИИ

[Ippolitovich]

Социальная сеть «Одноклассники» запустила алгоритм на базе искусственного интеллекта, направленный на борьбу с агрессией и разжиганием ненависти в публичных комментариях на платформе. Нейросеть анализирует как текстовые комментарии, так и вложенные изображения.

 

Согласно пресс-релизу «Одноклассников», нововведение поможет создать в соцсети уважительную среду и обеспечит условия для комфортного общения всем участникам сообщества. Обнаружив в комментариях токсичный контент, алгоритм направляет уведомление модераторам, которые проводят проверку и принимают окончательное решение. Если информация подтверждается, агрессивный пользователь подвергается временной блокировке, и при последующей попытке оставить комментарий он получает сообщение с пояснением и ссылкой на страницу, где описана работа нового алгоритма. Нововведение уже запущено в десктопной версии «Одноклассников», и в обозримом будущем оно дебютирует в клиентских приложениях под iOS и Android.

 

При анализе текстовых комментариев алгоритм срабатывает на проявления ксенофобии и ненависти к отношении любых социальных групп, в том числе с использованием ненормативной лексики, а также на угрозы в адрес других участников сообщества. Система также анализирует вложенные изображения, реагируя на шокирующий контент и насилие — если сигнал нейросети подтверждается, пользователь подвергается временной блокировке. Санкций от «Одноклассников» теперь также можно добиться, получив множество жалоб от других пользователей, и если алгоритм характеризует проблемные комментарии как токсичные и агрессивные. Новая технология на основе искусственного интеллекта является очередным шагом в программе построения среды комфортного общения в «Одноклассниках» — в феврале платформа запустила Центр безопасности сообщений.