"Лаборатория Касперского" предложила создать центр безопасности ИИ
Об этом рассказал директор по исследованиям и разработке АО "Лаборатория Касперского" Антон Иванов на площадке форума "Кибертех" во время круглого стола "ИБ в промышленности". Он сообщил, что в России нет единого центра безопасности искусственного интеллекта, и это проблема, так как никто не представляет модель угроз искусственного интеллекта.
"У нас нет единой базы данных угроз ИИ и, самое главное, нет механизмов идентификации пользователей ИИ. Например, многие пользуются различными библиотеками для извлечения образов и текстов из фотографий. Мы находим много скомпрометированных библиотек, который лежит в Open Source, а большая часть дата-инженеров и дата-саентистов пользуются этим софтом при разработке ИИ. Как нам оповестить их, что это ПО опасно? Сейчас такого механизма нет. Поэтому нужно создать такой центр, который будет заниматься безопасностью ИИ, рассказывать про закладки в ПО, используемое при разработке ИИ, и про новые способы манипулировать моделями ИИ", - отметил Антон Иванов.
Позднее в разговоре с корреспондентом ComNews он сказал, что данные о киберрисках для ИИ могут собираться в центрах, работающих по принципу CERT (Computer emergency reaction team - компьютерная группа быстрого реагирования), и работа над этой идеей идет уже несколько месяцев.
"Мы считаем, что наиболее эффективно будет создать единый центр исследования безопасности в области искусственного интеллекта на платформе регулятора, - рассказал Антон Иванов. - В области классической кибербезопасности уже есть опыт по обмену информацией о техниках и тактиках атакующих, индикаторах компрометации и т.д. Однако в области ИИ нужен другой подход".
По мнению Антона Иванова, новый центр ИИ должен агрегировать информацию по актуальным способам атак на алгоритмы ИИ и отдельно собирать информацию об уязвимостях и закладках в компонентах систем, использующих ИИ, и предоставлять разработчикам систем, использующих ИИ, доступ к ней. Он отметил, что "Лаборатория Касперского" открыта к сотрудничеству с другими компаниями - лидерами отраслей, работающих с ИИ (информационная безопасность, финтех, операторы связи и т.д.) в рамках центра исследования безопасности ИИ, для быстрого обмена информацией и рекомендациями по реагированию на возможные инциденты.
"В действующих центрах организовать тот же процесс сложно, поскольку технологии ИИ развиваются очень быстро и включают в себя большое количество участников, постоянно появляется что-то новое, и одна компания не может все самостоятельно отслеживать", - сказал Антон Иванов.
"Основные проблемы в области кибербезопасности ИИ включают в себя: состязательные атаки, когда злоумышленники могут вносить незаметные изменения в данные, используемые для обучения моделей, что приводит к неправильной работе ИИ-систем; отравление данных, то есть введение вредоносных или искаженных данных в процесс обучения, что может повлиять на точность и надежность модели. Кроме того, некоторые злоумышленники могут использовать технологии ИИ для автоматизации и усиления кибератак, делая их более сложными для обнаружения и предотвращения", - рассказал руководитель научной группы "Доверенные и безопасные интеллектуальные системы" АНО "Институт искусственного интеллекта" (институт AIRI) Олег Рогов.
По его мнению, создание специализированных центров и комитетов по изучению безопасности ИИ станет необходимым шагом для обеспечения надежности и безопасности технологий.
"Такой центр сможет стать платформой для сотрудничества между государством, бизнесом и научным сообществом в области кибербезопасности ИИ. Консолидация экспертизы позволит объединить усилия экспертов из различных областей - кибербезопасности, разработки ИИ, этики и законодательства", - заметил он.
Директор по ИИ-технологиям ООО "К2Тех" Анна Смирнова признала, что в сфере безопасности ИИ существует много проблем, но создание отдельного центра кажется ей лишним: в России действует Исследовательский центр доверенного искусственного интеллекта (ИЦДИИ). По ее мнению, ИИ-отрасли нужны нормативные документы, регламентирующие работу технологии, которые сделают ее безопасной.
"Мы видим возможность нивелировать опасность, когда ограничиваем заказчика в работе с открытыми большими языковыми моделями и рекомендуем устанавливать эти решения в контур компании, чтобы минимизировать риски проникновений и внешних угроз. Набор фреймворков, которые позволяют безопасно работать с ИИ-технологиями, есть в открытом доступе. Данные постоянно дополняются сообществом разработчиков, которые постоянно находят и ликвидируют различные уязвимости. Регулирование вопроса на законодательном уровне или путем создания контролирующего органа сильно ограничит использование любых технологий с применением ИИ, пользователям придется соблюдать определенные подходы и правила. Жесткое законодательное регулирование сильно замедлит развитие ИИ-технологий. Я считаю оптимальным такой подход, когда решения дорабатываются профессиональным сообществом, и появляются достоверные фреймворки, протестированные разработчиками и доказавшие состоятельность в сфере защиты данных", - заключила Анна Смирнова.
