"Герофарм" и Cleverbots разработали систему диагностики дефектов речи у детей с помощью ИИ

Инициатива компании "Герофарм" была реализована совместно врачами-логопедами и интегратором решений на базе искусственного интеллекта Cleverbots. Для проекта ПРО.МОЗГ был запущен продукт, с помощью которого можно выявить возможные нарушения развития мозга у детей от 2 до 7 лет на начальных этапах.

Для реализации проекта была использована модель на базе машинного обучения, которая анализирует записанную речь в виде аудиофайлов и выявляет дефекты в произношении у детей. Это позволило вывести первичную консультацию и диагностику пациентов на новый технологический уровень.

"Инициатива по созданию подобного решения возникла со стороны команды "Герофарм". Коллеги давно планировали реализовать подобный проект и изначально идея была в создании специального медицинского устройства для предварительной диагностики дефектов речи. Идея проекта возникла из общения с врачами-логопедами. Они в один голос выражали желание получить инструмент преддиагностики, которую можно выполнять по шаблонам. Поэтому основной фокус проекта мы, совместно с профессиональными логопедами, поставили на создание системы с использованием речевых технологий и пониманием того, как они могут использоваться для диагностики нарушений у детей" – рассказал директор по стратегии компании Cleverbots, Адам Тураев.

Компания Cleverbots разработала виджет с функционалом чат-бота на сайте ПРО.МОЗГ, ключевой аудиторией которого являются родители детей в возрасте от 2 до 7 лет. Виджет реализован с учетом особенностей разработки UX/UI (прим. пользовательского интерфейса) пользователей сайта, а также с учетом взаимодействия ребенка с интерфейсом во время прохождения тестирования, определяющего наличие дефекта.

Виджет "Спектрограмма" выглядит как тест в чат-боте с возможностью записи аудиофайлов, а само тестирование ребенка происходит в игровой форме – для детей это выглядит как игра с мамой, что позволяет проводить диагностирование без возникновения стрессовой ситуации. Задания для детей были разработаны профессиональными логопедами, а затем адаптированы под интерфейс чат-бота.

Родителю предлагается выполнить совместно с ребёнком несколько заданий – записать в виде аудио ответы ребёнка на вопросы теста. Для обучения нейронной сети также на первых этапах проекта привлекались врачи-логопеды, которые после записи пользователем ответов на все вопросы, получали аудиозаписи в панели администратора, где рассматривали результаты и определяли наличие или отсутствие дефектов речи. После проверки всех заданий система отправляет родителю на почту результат диагностики, а алгоритм получает обучающие данные для улучшения точности модели, адаптированной под особенности каждой категории детских возрастов.

На данный момент нейронная сеть в автоматическом режиме определяет с какой вероятностью на аудиозаписи присутствует дефект речи и выводит соответствующую информацию логопеду в панели администратора для ускорения процесса проверки аудиозаписей. Через виджет уже собрано несколько сотен анкет тестирования, а точность распознавания дефектов речи составляет более 80% для качественных аудио. В дальнейшем планируется полный переход от модели human-in-the-loop, когда необходимо участие человека в диагностике, к полной автоматизации процесса благодаря дообученной модели.

"Со стороны оценки пользователей виджет получил позитивный отклик и высокий интерес как в медицинском сообществе, так и среди родителей, что имеет для нас важное значение. Синергия экспертизы логопедов и технологий искусственного интеллекта расширяет функционал использования и применения решения, позволяя автоматизировать взаимодействие пациента с системой на новом уровне" – отметил Адам Тураев.

Пройти диагностику можно на сайте ПРО.МОЗГ.