НИУ ВШЭ разработала нейросеть для оценки уровня владения английским языком

Нейросеть "ИИ Лингво" была разработана совместно Центром искусственного интеллекта, Школой иностранных языков и онлайн-кампусом НИУ ВШЭ. Модель обучена на основе тысяч экспертных оценок устных и письменных текстов. Система позволяет оценить способность к устному и письменному общению на английском языке.

Желающим узнать свой уровень владения умениями говорения и письма предлагается выполнить блок заданий: написать эссе, ответить на вопросы интервью и построить монолог. Время выполнения заданий составляет не более 60 минут, прохождение теста доступно на любом устройстве, получение результата и лаконичных комментариев к нему занимает 30 минут.

Такой формат позволяет репрезентативно оценить спектр наиболее часто используемых в устном и письменном общении умений. При оценивании ответов нейросетью учитываются более 45 параметров, разработанных экспертами Школы иностранных языков НИУ ВШЭ. Результат определяется на основе комплексной оценки лексического, грамматического, фонетического/стилистического аспектов речи, а также таких характеристик, как связность и логика изложения мысли, умения описания, рассуждения и повествования.

По результатам выполнения заданий определяется итоговый балл и присваивается уровень владения языком от начального (Elementary) до свободного (Upper-Intermediate). Разработанная в Школе иностранных языков НИУ ВШЭ шкала уровней, инкорпорированная в нейросеть, соотносится со всеми международными экзаменационными системами.

"Модель ИИ, способная оценивать устные и письменные задания со свободно конструируемым ответом, пока редкость для языкового образования. Ее можно отнести к авангардной категории оценочных систем на базе ИИ, так как нейросеть научена извлекать разнообразные сложные признаки речевого поведения для определения уровня сформированности коммуникативной компетенции кандидатов", — отметила руководитель Школы иностранных языков НИУ ВШЭ Екатерина Колесникова.

Модель обучена на основе тысяч экспертных оценок устных и письменных текстов, созданных реальными участниками академического общения. Процесс дообучения и совершенствования модели продолжается. На данный момент нейросеть находится на этапе бета-версии и проходит апробацию и калибровку для дальнейшего внедрения в процесс оценивания работ студентов в рамках независимого экзамена по английскому языку. Планируется, что нейросеть сможет выступать в роли одного из экспертов.

"Проект по созданию "ИИ Лингво" — это пример адаптации больших фундаментальных моделей для конкретной прикладной сферы — образования. Мы прошли путь от проверки ряда научных гипотез до внедрения моделей в итоговый продукт, доступный как онлайн-сервис для самопроверки владения английским языком. Нашу разработку отличает способность оценивать одновременно не только текстовые ответы, но и аудиоречь и на основе комплекса критериев оценивать итоговый уровень владения языком. Для этого нам потребовалось изучить значительное число открытых решений и в итоге провести дообучение на работах, проверенных профессиональными лингвистами", — сказал операционный директор Центра искусственного интеллекта Алексей Масютин.

В НИУ ВШЭ также отметили, что планируется разработка моделей для других иностранных языков. Это поможет изучающим иностранные языки проводить самооценку знаний, получать оперативную обратную связь в необходимом объеме и с должной периодичностью, отслеживая развитие своего уровня владения языком.

"Внедрение ИИ-решений в процесс оценки языковых навыков кардинально меняет подход к изучению языков, делая его комфортнее. Мы создаем инструмент, который позволяет не просто фиксировать текущий уровень знаний, но и динамично отслеживать прогресс, обеспечивая каждому человеку возможность регулярной и объективной самооценки", — подчеркнул проректор НИУ ВШЭ Сергей Рощин.

Бета-версия инструмента для самопроверки уровня владения английским языком является бесплатной и доступна по промокоду, получаемому после регистрации на почту.