"Матрица зрелости" сервисов ИИ в лучевой диагностике

В Москве разработали методологию оценки качества сервисов искусственного интеллекта в лучевой диагностике

Что такое "матрица зрелости" сервисов ИИ?

Сегодня мы имеем достаточный выбор сервисов ИИ в лучевой диагностике, и у нас есть возможность сравнивать продукты и выбирать для своей работы лучший. Раньше это можно было определить практическим путем, сегодня есть готовое решение – "матрица зрелости" сервисов ИИ. Материал уникален для российского рынка, он позволит разработчикам алгоритмов и пользователям – медучреждениям – оценивать качество, стабильность работы нейросетей, а также отслеживать динамику их развития.

На чем основано решение?

Методология оценки зрелости сервисов искусственного интеллекта была составлена по результатам мониторинга качества работы программных продуктов в московском эксперименте по использованию технологий компьютерного зрения в здравоохранении. Это крупнейший научный эксперимент, он проходит в столице с 2020 года, нейросети помогают рентгенологам находить на медицинских изображениях признаки различных заболеваний. Ученые Центра диагностики и телемедицины Департамента здравоохранения Москвы проанализировали работу сервисов, которые являются участниками эксперимента, и опубликовали "матрицу зрелости", учитывающую показатели технической стабильности — удельный вес технологических дефектов, и диагностическую составляющую — площадь под характеристической кривой. Это действительно полезный продукт для рынка, позволяющий медучреждениям выбирать для себя лучшие сервисы, а разработчикам оценивать свое развитие в динамике и конкурентоспособность.

На данный момент в эксперименте работают более 50 сервисов ИИ. Они все были опробованы врачами-рентгенологами на большом потоке медицинских изображений в течении 3 лет. Специалисты Центра диагностики и телемедицины провели серьезную работу, которая будет способствовать развитию рынка искусственного интеллекта в России.

Что показала методология оценки зрелости сервисов?

При внедрении программного обеспечения на основе технологий искусственного интеллекта в здравоохранение важно сделать выбор в пользу зрелых решений. Таким является технически стабильное программное обеспечение, имеющее высокие метрики диагностической точности. В результате нашей работы разработана матрица зрелости, учитывающая показатели технической стабильности — удельный вес технологических дефектов, и диагностическую составляющую — площадь под характеристической кривой. Мы зафиксировали, что 40 % рассмотренных программных продуктов достигли зрелости. При этом оценка динамики развития алгоритмов показала, что 33 % из них находятся в зоне высокого диагностического и технического потенциала, а 62 % – в зоне диагностической стагнации. Это говорит о том, что искусственный интеллект сегодня – хороший помощник врача, но не его замена.

Сегодня искусственный интеллект помогает находить признаки заболеваний по 21 направлению, а количество обработанных с помощью него лучевых исследований превысило 9 миллионов. Эксперименте участвуют порядка 150 медицинских организаций, 1500 врачей-рентгенологов, 50 ИИ-сервисов. Более 20 алгоритмов участников проекта получили государственную регистрацию в качестве медицинского изделия, это значит, что они могут работать и за рамками Эксперимента. Искусственный интеллект определяет признаки рака легкого, COVID-19, остеопороза позвоночника, аневризмы аорты, ишемической болезни сердца, инсульта, легочной гипертензии, гидроторакса, а также рака молочной железы, грыж позвоночника, плоскостопия и других заболеваний. Надо сказать, что более 80 % алгоритмов – отечественные разработки.