Искусственный интеллект почти вдвое сократил количество оскорбительных комментариев в соцсетях

Искусственный интеллект выявляет в "Одноклассниках" пользователей, которые пишут оскорбительные высказывания под публикациями, и блокирует их на 1-24 часа: временной промежуток зависит от того, как часто аккаунт оставляет негативные комментарии. Данную ML-модель обучили на 400 тыс. высказываний.

Директор по продукту соцсети "Одноклассники" Александр Москвичев рассказал, что треть всех жалоб на платформе касаются негативных комментариев, а 80% обращений в службу поддержки относительно них связано с "токсичностью", и внедрение ML-модели сократило время обработки таких жалоб в три раза.

Однако представитель пресс-службы "Одноклассников" объяснил корреспонденту ComNews, что если аккаунт был заблокирован ошибочно, то человек может обратиться в службу поддержки. "Если комментарий действительно оскорбительный, то пользователю объяснят, какие его действия привели к последствиям. Если же произошла ошибка, то ограничения будут сняты", - рассказал представитель пресс-службы соцсети.

Ведущий менеджер продукта Content AI Антон Фролов объяснил, что зачастую ИИ выполняет первичную обработку и автоматическую фильтрацию контента, а человек может привлекаться к модерации в спорных случаях. "ИИ не всегда способен учитывать культурные, языковые или контекстные особенности комментариев, что может приводить к ошибкам, поэтому роль живого специалиста все еще важна", - считает Антон Фролов.

Процент ошибок ИИ при фильтрации контента варьируется в зависимости от используемых алгоритмов, специфики платформы и сложности контента. Однако директор отдела 3D&GameDev и эксперт по сложным цифровым аватарам ГК "Наносемантика" Тимур Шовгуров считает, что процент ошибок ИИ может быть около 10-30. В некоторых случаях может быть выше, особенно если контент нестандартный или написан в сложной форме. Старший специалист по анализу данных компании "Синимекс" Артем Валов дает оценку в 0-10%.

"Наиболее распространенные ИИ-технологии в социальных сетях - обработка естественного языка (Natural Language Processing, NLP), а также машинное обучение на базе нейронных сетей", - объяснил Антон Фролов.

"Также большие языковые модели (LLM) могут выявлять негативные комментарии и рекомендовать контент, однако на практике их сложнее применять, так как они требуют гораздо больше ресурсов", - рассказал старший специалист по анализу данных компании "Синимекс" Артем Валов.

ML ("Machine Learning", машинное обучение) - совокупность методов ИИ для разработки алгоритмов и моделей, позволяющих компьютерам автоматически обучаться на основе данных и улучшать производительность без явного программирования. Основная цель ML - выявление закономерностей и создание предсказательных моделей, которые могут обрабатывать ранее не встречавшиеся данные.

NLP (Natural Language Processing, обработка естественного языка) - область ИИ, которая помогает компьютерам понимать и работать с человеческим языком: переводить, создавать тексты, распознавать речь. Основная цель NLP - сделать взаимодействие между людьми и машинами более естественным и понятным. Это происходит, например, за счет того, что распознаются не отдельные слова, а учитывается их значение в контексте.

"Искусственный интеллект - это маркетинговый термин, под которым, как правило, подразумевается любая технология на базе машинного обучения. Машинное обучение возможно даже без использования нейросетей. Например, для поиска токсичных комментариев можно использовать метод опорных векторов, который позволит после обучения выявлять негативные высказывания. Но метод опорных векторов - сильно устаревшая технология. Современные архитектуры нейросетей справляются с такой задачей намного лучше. Скорее всего, используется даже не "хайповые" генеративные сети, а что-то более простое и производительное", - считает директор департамента голосовых цифровых технологий ООО "БСС" BSS Александр Крушинский.

Другие соцсети также активно используют ML и нейросетевые технологии. Например, они есть в продуктах "ВКонтакте". В соцсеть также внедрена разработка, которая распознает оскорбительные комментарии и скрывает их в отдельном блоке. "Нейросеть работает на основе ML-модели, обученной на уникальном датасете, состоящем из десятков миллионов комментариев, и умеет определять контекст", - рассказал представитель пресс-службы "ВКонтакте".

Кроме того, нейросети в соцсетях используются для обработки звука (расшифровки сообщений, шумоподавления, автоматической генерации субтитров), перевода, поиска объектов на изображениях, рекомендации контента, рекомендации для добавления в друзья или кандидатов для рассмотрения на вакансию. Модерация контента с помощью ИИ также важна, чтобы у компаний не было проблем с законодательством и не было нарушений правил площадки, отметил Артем Валов.

Однако лента новостей может формироваться не только с помощью технологий на основе ИИ, объяснил Антон Фролов: "Лента может строиться по принципу тематической фильтрации. Это больше похоже на линейный процесс, который не относится к сфере искусственного интеллекта". Также и комментарии могут модерироваться только по заданным словам.

Наиболее эффективен ИИ в тех приложениях, где требуется обработка больших объемов данных для персонализации контента и улучшения взаимодействия с пользователями, считает Тимур Шовгуров. По его мнению, алгоритмы в Tiktok и YouTube достигли больших успехов в создании уникального контента для каждого пользователя, что значительно увеличило вовлеченность. Facebook* и Instagram* также используют подобные алгоритмы в лентах, и, кроме того, развивают технологии распознавания лиц и фильтрации контента на основе ИИ. Антон Фролов уточнил, что наиболее эффективно инструменты на базе ИИ работают в крупных международных и российских платформах, так как такие компании обладают обширной базой данных, необходимой для обучения, а также имеют ресурсы для внедрения ИИ-технологий.

*Принадлежит компании Meta, признанной экстремистской и запрещенной в РФ.