Российские ученые создали метод отслеживания решений ИИ

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали метод SAE Match, который показывает, как работают механизмы принятия решений искусственного интеллекта (ИИ), а также почему модель делает то или иное заключение в процессе вычисления, сообщили ТАСС в Т-Банке.

"С помощью нового метода можно определить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их. Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы, такие как медицина, финансы и безопасность", - говорится в сообщении.

Современные языковые модели (LLM) состоят из нескольких слоев, каждый из которых использует результат предыдущего. Новый метод SAE Match позволяет заглянуть внутрь модели и понять, как меняются концепции от слоя к слою. "Это дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов", - отмечается в сообщении.

Результаты исследования доступны в открытых источниках и будут представлены на международной конференции по ИИ (ICRL) в Сингапуре в апреле 2025. По информации компании, SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений.

"Сейчас изменить его поведение (ИИ - прим. ТАСС) - сложная задача, ведь существующие методы не дают нам четкого понимания, где именно возникла проблема. Наши исследования в области интерпретируемости ИИ направлены на то, чтобы такие сбои можно было заметить и быстро исправить их без дорогостоящего переобучения модели. SAE Match - это первый шаг к созданию более прозрачного и надежного искусственного интеллекта, которому можно доверять. И мы планируем продолжить исследования в направлении интерпретируемости ИИ", - приводятся в сообщении слова руководителя научной группы LLM Foundations T-Bank AI Research Никиты Балаганского.

Ранее в лаборатории T-Bank AI Research разработали самый точный в мире метод распознавания неизвестных объектов на фото с помощью ИИ. Отмечается, что благодаря методу риск ошибки при обработке и анализе изображений снизился более чем на 20%, что уменьшило необходимость перепроверки и исправления неверных решений человеком.