Каждая третья компания нуждается в безопасности в области ИИ
За услугами LLM Security в 2024 году среди клиентов Swordfish Security обратились 35% от всех заказчиков. Эта цифра прямо пропорциональна проценту внедрения ИИ в бизнес-процессы, уверены эксперты по кибербезопасности. Применение практик LLM Security в 2025 г. будет становиться все более актуальным, поскольку уровень внедрения ИИ в различных отраслях бизнеса в России составит не менее 40%, уверены специалисты по кибербезопасности (для сравнения, в 2023 г. эта цифра составляла 32% согласно исследованию "Белая книга цифровой экономики 2023" - прим. авт.) А к 2030 г. уровень внедрения ИИ может достигнуть и 90%.
"Внимание к кибербезопасности больших языковых моделей является неотъемлемым трендом уходящего года. Недооценка рисков в безопасности LLM может принести серьезные проблемы", - уверен директор по развитию бизнеса ГК Swordfish Security Андрей Иванов.
В числе потенциальных угроз в больших языковых моделях, которые могут нарушить работу всей системы инъекции вредоносного кода в промпт, уязвимости в цепочках поставок, выдача ошибочной информации за истину на этапе обучения модели и даже кража модели злоумышленниками. Для бизнеса, который не учел эти риски, отсутствие экспертизы в LLM Security может дорого обойтись.
- В бизнесе используют большие модели для распознавания текста, анализа данных, предиктивной аналитики, поиска, оценки ресурса механических узлов промышленных агрегатов и многого другого. Многие отрасли, та же ИТ, активно используют ИИ-помощников. Например, в DevSecOps мы обучили и применяем модель, которая может анализировать и приоритезировать большой объем уязвимостей кода, таким образом освобождая время для квалифицированных инженеров для других, более сложных и творческих задач. Критичным может оказаться, например, некорректная работа виртуальных ассистентов, которые могут влиять на клиентские решения, аналитику, дающую ошибочную информацию в цепочке поставок. Существуют атаки, отравляющие данные или позволяющие получить конфиденциальную информацию, и так далее. К этому стоит относиться как к любой информационной системе, влияющей на бизнес-процесс и проводящей, в случае компрометации, к потерям репутации и убыткам.
В корпоративных политиках ИБ в части использования искусственного интеллекта важно делать акцент на безопасности, а разрабатывать модели необходимо в соответствие с практиками РБПО, анализируя исходный код и зависимости, ответственно относиться к контролю доступа к источникам данных и стараться использовать доверенные алгоритмы обучения, уверен эксперт. Многие модели используют облачную архитектуру, а это, в свою очередь, создает угрозу утечки конфиденциальных данных.
- Буквально на днях DevSecOps-вендоры из США Snyk и SOOS опубликовали ежегодное исследование среди команд, занимающихся разработкой ПО с использованием ресурсов с открытым кодом. И выводы такие: полагаясь на искусственный интеллект, который "исключает человеческий фактор", люди с удовольствием перекладывают на него ответственность за безопасность. Исследование показало, что применение кода, сгенерированного с помощью искусственного интеллекта, по мнению авторов исследования несет в себе серьезные риски, так как содержит большое количество уязвимостей. Однако 77% опрошенных уверены, что сгенерированный искусственным интеллектом код повышает защищенность ПО. В то же самое время, 43% ответили, что их программное обеспечение получило некоторое количество уязвимостей именно за счет AI-компонентов кода.
Контекст: Альянс в сфере ИИ планирует подсчитать и составить рейтинг российских топ-менеджеров и компаний, которые внедряют технологии искусственного интеллекта в бизнес-процессы. Он будет опубликован в 2025. По подсчетам мировых исследований (озвучены на выставке GITEX 2024 в ОАЭ – прим. авт) к 2026 году 50% бизнес-процессов в компаниях будет передано ИИ, а к 2030 – и все 90%.
