В ИТМО создали цифровой полигон для тестирования новых систем ИИ
Сотрудники университета ИТМО разработали цифровой полигон для тестирования и оценки эффективности систем искусственного интеллекта (ИИ). Разработка сокращает время на подготовку всестороннего испытания модели от нескольких дней до пары минут, сообщили в пресс-службе вуза.
"В ИТМО разработали "Полиокс" - цифровой полигон для систем ИИ со значительно более широким функционалом по сравнению с существующими решениями. ПО позволяет оценивать эффективность системы ИИ по нескольким критериям одновременно и сравнивать с аналогичными решениями. Еще одно преимущество - простота использования. Даже неподготовленный пользователь может самостоятельно запустить программу и проанализировать отчет с результатами тестирования", - говорится в сообщении.
Сегодня ИИ используют в своей работе большинство компаний. Чтобы соответствовать требованиям рынка, эти системы нужно постоянно совершенствовать и регулярно дообучать на новых данных. Однако понять, когда модель перестала демонстрировать желаемые показатели точности и нуждается в обновлении, не всегда просто. Упростить и ускорить процесс проверки ИИ помогает виртуальный полигон, который проводит виртуальные испытания, имитируя разные условия эксплуатации. В последнее время на рынке цифровых технологий были представлены более десятка полигонов, но проблема их сертификации и доступа к ним малого и среднего бизнеса остается открытой. Кроме того, большинство полигонов узкоспециализированы и ориентированы на работу с ИИ в конкретной отрасли, например, в медицине.
Как отметили в пресс-службе, разработка ученых ИТМО позволяет анализировать потенциал системы ИИ, прогнозировать ресурсную стоимость ее дообучения и объективно оценивать качество работы. Кроме того, цифровой полигон сравнивает ИИ-продукты с аналогичными решениями. В сравнении с классическими способами тестирования разработка ученых ИТМО сокращает время на подготовку всестороннего испытания модели от нескольких дней и недель до пары минут.
Сначала на платформе вручную или автоматически собирают сценарии испытаний модели ИИ с учетом конкретных прикладных задач, условий эксплуатации и ожидаемой точности. Затем встроенный в систему ИИ генерирует синтетические данные для проверки моделей, после чего в автоматическом режиме проводятся испытания по заданным схемам. Финальный этап - анализ данных тестирования с помощью ML-моделей и классических методов статистики, что позволяет получить объективные выводы об эффективности работы новой ИИ-технологии. Также в "Полиокс" внедрен ряд специализированных методов для оценки ИИ-моделей компьютерного зрения - это позволяет учитывать такие сложные факторы как тонкость настроек и неопределенность условий их практического применения.
