РВК поможет обучить беспилотный транспорт работать в условиях российской зимы
РВК опубликовала первый в мире открытый "зимний" датасет. Уникальная база содержит более 600 тысяч изображений, из которых вручную размечено более 20 тысяч, полученных при сложных погодных условиях, а также данные c лидара, позволяющие создавать в реальном времени 3D-карту пространства, окружающего автомобиль.
База выложена в свободном доступе под открытой лицензией CC BY 4.0. "Зимний" датасет собран командой разработчиков лаборатории интеллектуальной космической робототехники Сколковского института науки и технологий (Сколтех) для международного конкурса в области программного обеспечения для беспилотного транспорта Ice Vision. Его уникальной особенностью является фокус на обучении беспилотного транспорта работать в условиях российской зимы: во время гололеда, мокрого снега, при ограниченной и недостаточной видимости, встречном солнечном свете.
"Наличие качественных и всесторонних датасетов является одним из краеугольных камней в деле создания современных систем технического зрения. К сожалению, существующие открытые датасеты в области беспилотного автотранспорта содержат относительно мало данных, собранных в зимних условиях, тем самым лишая разработчиков и исследователей возможности проверки своих систем в достаточно сложных и переменчивых условиях", – подчеркнул аспирант Сколтеха, руководитель проекта Open Skoltech Car, использованного для сбора датасета Ice Vision, Артём Павлов.
В базе собраны сжатые без потерь изображения, формирующие видеопоследовательности, снятые с частотой 30 Гц на российских дорогах в зимнее время года в разных погодных условиях и в разное время суток. Запись видеоданных велась при помощи двух цветных камер с "глобальным затвором" и разрешением 5 мегапикселей. Использование камер с "глобальным затвором" позволяет предотвращать искажения при съемке движущихся объектов или на большой скорости, что в частности важно для алгоритмов визуальной локализации и картографирования.
В датасете также содержатся данные лазерного сканирования местности с помощью трехмерного 64-х канального лидара, способного измерять 2,2 млн точек в секунду, и данные приёмников спутниковых систем навигации. Собранный массив информации дает возможность создать систему, которая точно определяет местоположение автомобиля и "видит" окружающее пространство в 3D, что позволяет ей точно ориентироваться в текущей дорожной ситуации и принимать правильные решения.
Кроме того, база данных содержит в себе ручную, то есть сделанную живым человеком, разметку, объясняющую, где и какие знаки находятся в кадре. Наличие подобной разметки позволяет создавать системы распознавания дорожных знаков, в частности на основе искусственных нейронных сетей. Это открывает путь не только к автоматическому семантическому картографированию дорог, но и к созданию беспилотных машин, способных передвигаться по дорогам общего пользования с соблюдением правил дорожного движения без предварительно построенной детализированной карты, а так же способных реагировать на временные изменения на дорогах, связанные, например, с проведением дорожных работ.
"Создание своей базы данных практически невозможно для молодых исследовательских команд. Опубликованный датасет сможет стать хорошим инструментом для любой команды, чтобы обучить свою машину "видеть" знаки и дорожную ситуацию не только летом, но и зимой. Теперь им могут воспользоваться как производители беспилотных автомобилей, так и разработчики отдельных решений для беспилотного транспорта", – отметил заместитель генерального директора – директор по развитию инновационной инфраструктуры РВК Михаил Антонов.
