Знай и умей: названы главные угрозы со стороны нейросетей и чат-ботов
Сервисы, предоставляющие возможность генерировать текст или изображения, могут стать мишенью для хакеров, желающих получить личные данные пользователей. В Совфеде полагают, что с точки зрения безопасности пользования, необходимо принять законы, устанавливающие строгие правила сбора и хранения данных пользователей, а также обязательную сертификацию и лицензирование для создателей и владельцев этих технологий. Подробности — в материале "Известий".
Никогда не врет
Профильные эксперты назвали самые опасные угрозы, исходящие от нейросетей и чат-ботов. Поскольку основная задача чат-бота — давать естественные, а не достоверные ответы, он может не отличать правду от неправды, и выдавать вымышленные факты за реальные. В результате пользователь может получить недостоверную информацию и сделать ошибочные выводы, предупреждает директор технического департамента RTM Group Федор Музалевский.
- Проверено на практике, что на вопросы по бухгалтерии и финансовой отчетности нейросеть дает некорректные ответы, - рассказывает Федор Музалевский. - Такие же — по технике безопасности, проектировании зданий и сооружений. Остается только надеяться, что специалисты перепроверяют их, прежде чем считать на их основе дивиденды или создавать чертеж несущей конструкции здания. А чат-боты, как правило, хранят полную историю обращений — и тут уже рассчитывать на анонимность не приходится.
Все существующие сегодня технологические решения по генерации текста или изображений (те же ChatGPT или Midjourney) представляют собой, по сути, сервисы, созданные "поверх" нейросетей. Именно такой формат взаимодействия с нейросетями и является, на взгляд эксперта Центра искусственного интеллекта "СКБ Контур", члена АРПП "Отечественный софт" Дмитрия Иванкова, одним из весомых факторов высокой их популярности.
Иванков обращает внимание, что еще несколько лет назад для начала работы нужно было иметь хотя бы начальные знания в этой области и навык программирования. Сейчас же эти технологии доступны самому широкому кругу пользователей. В этой доступности и лежит источник потенциальных уязвимостей. Впрочем, они не слишком отличаются от тех, которые угрожают при совершении заказа в интернет-магазине или регистрации на сайте покупки билетов. Разница, пожалуй, только в объеме данных, которые пользователь передает сторонним сервисам, и которые затем могут быть использованы не по назначению или "слиты" третьим лицам.
Из официальных заявлений разработчиков известно, что модель СhatGPT 3.5/4.0 не обучается на новых данных и запросах. Однако проверить это невозможно, так как технологически структура полностью закрыта. А большие данные, генерируемые людьми — очень ценный ресурс для ИИ. Поэтому руководитель Института искусственного интеллекта Университета Иннополис Рамиль Кулеев советует поостеречься формировать запросы в закрытые модели такие, как ChatGPT и аналоги, содержащие информацию, разглашение которой может принести вред как частным лицам, так и организациям.
Буквально недавно эксперты в области ИИ и ИБ выявили новый тип угрозы, связанный с развитием ChatGPT как продукта - плагины, - рассказывает Рамиль Кулеев. - Через них люди встраивают функционал чат-бота в свои личные аккаунты в различных сервисах. Опасность использования плагинов с точки зрения кибербезопасности называется prompt injection. Суть ее в том, что некоторые запросы к нейросети, подключенной к какому-нибудь сервису, которые сформулированы определённым образом, создают критические уязвимости в контуре безопасности.
Начальник отдела информационной безопасности "СёрчИнформ" Алексей Дрозд обращает внимание, что новые риски могут быть заложены в самом алгоритме работы нейросетей. Случай с prompt injection, когда пользователи обходят ограничения, заложенные создателями ИИ, поучителен. В феврале, едва Microsoft представил свой чат-бот Bing, обычный студент взломал его, просто введя команду "игнорировать предыдущие инструкции". В итоге чат-бот выдал логику своей работы, кодовое имя, внутренние регламенты и другую конфиденциальную информацию.
-Такие атаки опасны тем, что "всезнающий" ИИ, если заставить его забыть ограничения, может, к примеру, снабдить пользователя опасными знаниями — условно, рецептом взрывчатки в домашних условиях, — говорит Алексей Дрозд. — Но для конечного пользователя опаснее так называемые "галлюцинации" ИИ, когда нейросеть по какой-то причине с уверенностью генерирует несуществующие факты. Пользователь априори верит написанному, ведь ИИ "никогда не врет", и может продолжить распространять фейк. А чем больше такой фейк вирусится в интернете, тем больше вероятность, что следующая версия ИИ, обучаясь на открытом корпусе текстов в сети, примет его за правду (ведь упоминание встречается часто) и продолжит утверждать это в следующих ответах.
Наконец, информация из нейросетей может использоваться в мошеннических целях. В Китае уже был случай уголовного преследования за распространение фейковых новостей, сгенерированных ChatGPT. Легко представить, что ИИ могут использовать для информационных атак — генерировать правдоподобные сообщения, скажем, о катастрофах, военных действиях и т. п., подкрепляя тексты и искусственно созданными изображениями.
Сегодня нужно быть осторожными, не доверять нейросетям на 100% и перепроверять любую информацию от них, подчеркивает специалист группы исследования безопасности банковских систем, Positive Technologies Юрий Ряднин. А все потому, что арт-нейросети уже позволяют генерировать фейки, почти неотличимые от реальности (Midjourney), а ChatGPT, например, имеет склонность к "галлюцинациям" — когда модель не знает что ответить и вынуждена врать.
Опасный посредник
С нейросетями правила безопасности те же, что и в интернете в целом. Нужно отдавать себе отчет, что именно вы им собираетесь прислать, рекомендует эксперт "СёрчИнформ". Доподлинно неизвестно, хранят ли они архивы пользовательских запросов, обезличивают ли их и какова вероятность, что данные одного пользователя попадут в выдачу для другого. Потенциально это возможно, так как запросы могут использоваться для дополнения обучающего корпуса нейросети.
Поэтому, прежде чем отправлять в чат-бот свои личные данные (или любую другую конфиденциальную информацию), ответьте себе на два вопроса: что будет, если я потеряю эти данные навсегда? Что будет, если эти данные станут известны посторонним? Другая сложность в том, что в России большинство чат-ботов недоступны напрямую — только через VPN, прокси или адаптированные Telegram-чаты, напоминает Алексей Дрозд. Нужно понимать, что при такой модели доступа к нейросети ваши данные отправляются в нее не напрямую, а через "посредника". Соответственно, этот "посредник" может их заполучить. Этот риск тоже стоит учитывать.
Доцент кафедры информационных технологий и автоматизированных систем ПНИПУ Даниил Курушин отмечает, что проблема еще и в том, что можно написать текст от чужого имени, делая его максимально похожим на то, что писал бы (или говорил) сам человек. Хоть нейросеть и "не понимает" сказанного, но она хорошо подражает другим текстам. Это и может ввести в заблуждение. Аналогично, можно сформировать изображение, похожее на реальное, но вымышленное.
Как указывает Курушин, еще большей опасностью является возможность генерации программного кода, ориентированного на взлом информационных систем. Системы защиты в общем случае делятся на основанные на шаблонах и основанные аномалиях. Первые выявляют вредоносный код подобно тому, как это делают системы типа "Антиплагиат". Нейрогенерированный текст не похож ни на какой другой и поэтому, не распознается в общем случае такими системами.
- Сходным образом может быть сгенерирован программный код обхода защиты, непохожий на все предыдущие и, соответственно, неизвестный программам защиты сети, — говорит Курушин. — Системы, основанные на аномалиях, могли бы спасти ситуацию, но нейросеть способна обойти и их. Особенно неприятно то, что злоумышленник может смоделировать атакуемую систему у себя и, используя алгоритмы обучения с подкреплением, заранее настроить атаку. Разумеется, не стоят на месте и системы защиты. Нейросетевые анализаторы траффика могут выявлять вредоносный код даже в зашифрованном состоянии.
Доцент кафедры автоматики и телемеханики ПНИПУ Антон Каменских замечает, что есть несколько общих рисков для любой системы с машинным обучением.
- Это дискриминация на основе "черного ящика": мы точно не знаем, какие параметры заложены в нейросеть при обучении, в результате, если использовать ответы чат-бота для оценки чего либо, то есть очень большой риск скрытых манипуляций, так что доверять оценку нейросети точно не стоит. Второй момент, который связан с той же проблемой — это приписывание нейросети свойств объективности. Уверенность в том, что нейросеть всегда права, очень легко можно использовать для проведения кибератак.
Интеллект искусственный, безопасность суррогатная
По мнению аналитиков RTM Group, на данный момент нельзя придумать абсолютную защиту от угроз, исходящих от нейросетей и чат-ботов. Можно лишь ограничить на уровне законодательства доступ определенному кругу лиц (например, несовершеннолетним). Подобное уже применяется в нашей стране для обычных ресурсов, нужно лишь расширить нормативную базу. Угрозы от администрации нейросети менее вероятны, но гораздо более опасны, подчеркивают эксперты. Прежде всего, это сбор и распространение персональных данных, в том числе биометрических — фото и голоса. Гипотетически, посредством нейросетей может распространяться вредоносный контент как в виде вирусов, так и в виде каких-либо политических материалов.
- От данного вида угроз возможно защититься законодательно — все операторы должны получить лицензию и так или иначе контролировать контент и нести за него ответственность, — говорит Федор Музалевский. — И готовиться нужно уже сейчас — в перспективе нескольких месяцев мы ожидаем массового появления данного вида угроз.
Сенатор Артем Шейкин напоминает, что в ряде стран уже существуют законы, обязывающие компании, создающие нейросети и чат-боты, уведомлять пользователей о том, как они используют их данные, а также давать людям возможность удалять свои данные из системы.
На взгляд председателя Совета по развитию цифровой экономики при Совете Федерации, чтобы принимать законы по ограничениям, нужно установить путь создания цифрового кодекса, зафиксировать терминологию в цифровом праве, также необходимо категоризировать виды ИИ на предмет рисков для безопасности, которые они могут нести. Например, выделить системы, которые несут высокий, средний или минимальный риск. Также нужны единые виды тестирования на безопасность, которые должны проводить компании-разработчики ИИ и определение видов доступа к данным для проведения аудитов и оценок.
- Возможно, данные стандарты будут различаться в зависимости от отрасли применения. Например, применение ИИ в отрасли здравоохранения требует самого пристального внимания, — говорит Артем Шейкин. — Нормативные акты, принимаемые в сфере ИИ, должны выстраивать баланс между инновациями и регулированием, чтобы развитие ИИ не имело негативных последствий от неконтролируемого применения.
Сенатор считает, что уже сейчас в России нужны изменения Уголовного кодекса РФ, конкретизирующие ответственность за несанкционированное использование персональных данных и их утечку.
- Такие утечки представляют серьезную угрозу, в данный момент идет работа над окончательным текстом проекта федерального закона. Рассчитываю, что он будет внесен в ближайшее время в Государственную Думу, — говорит сенатор. — Сейчас в Совете Федерации и Государственной Думе уже ведется работа по разработке законодательной базы в отрасли ИИ. Цифровой кодекс может появиться в России уже в скором времени.
- Руководитель Центра информационной безопасности Университета Иннополис Михаил Серегин считает, что маркировка данных, изготавливаемых нейросетями, необходима. Технически в изображении можно сохранить много дополнительной информации, но эффективнее хранить там только "штампик" авторства конкретной нейросети и временную метку.
По нашей оценке, наиболее эффективным будет обязать владельцев нейросетей маркировать изготавливаемый контент либо предоставлять в открытый доступ инструмент для проверки, был ли конкретный текст, изображение или видео сгенерированы в этой нейронной сети, — говорит эксперт. — Остальную ответственность должны нести те, кто осознанно использует нейроконтент деструктивно, например, в целях клеветы.
Вместе с тем, генеральный директор компании "Фогстрим" Алексей Романов полагает, что сегодня не стоит ограничивать ни нейросети, ни чат-боты, созданные российскими разработчиками. На его взгляд, следует уделить внимание, прежде всего, образованию пользователя для обеспечения безопасности. Необходимо разъяснять всеми возможными методами опасность передачи своих персональных данных чат-ботам и нейросетям, считает эксперт.
