Создан алгоритм, автоматически меняющий местоимения в документах полиции
Сотрудники Центра искусственного интеллекта российского ИТ-вуза победили в хакатоне "Цифровой прорыв", разработав решение для кейса Департамента информационных технологий, связи и защиты информации МВД РФ. За 1 место в соревновании они получили 750 тысяч рублей.
От участников хакатона требовалось разработать алгоритм, который проводит лингвистический анализ документов, после чего преобразует повествование от первого лица в текст от третьего лица: например, из сочетания "Я увидел, что Иванов подошёл ко мне" в "Он увидел, что Иванов подошёл к нему". Команда Университета Иннополис обучила нейронную сеть (архитектура БЕРТ) на датасете новостных сводок объёмом 12 Гб, она размечает принадлежность сказуемого к нужному подлежащему, определяет форму слова и морфологические категории.
Результаты нейросети использовались для написания Python-алгоритма на основе эвристик и правил русского языка. Решение учитывает специфику ведомственных текстов, а также способно обрабатывать художественные тексты. Алгоритм обрабатывает местоимения, глаголы, предлоги, цитаты, прямую речь, определяет принадлежность местоимений к именам и выделяет героев, даты, суммы денег, локации.
Сотрудники российского ИТ-вуза предложили внедрить алгоритм в комплексный сервис с веб-интерфейсом, куда пользователь может вставить текст, загрузить текстовые файлы разных форматов, аудио-файлы для распознавания речи и изображения с текстом. Также разработан плагин для LibreOffice с выделением измененных частей текста.
"Разработанное решение протестировали эксперты из МВД РФ. Алгоритм показал отличные результаты на их примерах. Мы за 48 часов разработали кросс-платформенный автономный продукт, который готов к внедрению в ведомство и способен избавить сотрудников органов внутренних дел от рутинных задач", — рассказал лидер команды, сотрудник Центра искусственного интеллекта Университета Иннополис Семён Киселёв.
