ИИ против ЧОПов. Система видеоаналитики в супермаркетах оказалась в четыре раза эффективней охранников

О результатах внедрения системы видеоанализа поведения покупателей рассказал руководитель группы аналитики данных и ML компании ICL Services Сергей Щербаков в ходе экспертной дискуссии "Как извлечь максимальную пользу из больших данных", которая прошла в рамках конференции Innopolis AI Conference for business "AI IN 2023".

"По сравнению с обычной охраной, которая стоит на кассах самообслуживания в каждом магазине, система работает примерно в три-четыре раза лучше. Понятно, что все зависит от магазина, от бдительности охраны, но в среднем - в три-четыре раза лучше", - рассказал Сергей Щербаков.

По его словам, с технической точки зрения, система совмещает два потока данных - изображения с камер наблюдения, которое пропущено через сервер распознавания, и платежные данные с касс самообслуживания. В результате удалось предотвратить несколько тысяч краж и добиться оплаты товаров. Это позволило обосновать необходимость разработки такой системы для заказчика.

"Это фундаментальная проблема этого кейса, поскольку ни один ретейлер не знает точных потерь в зоне касс самообслуживания. Потому что есть потери всего по магазину и есть аналитически выведенные данные, как изменились эти потери, когда кассы появились. То есть нет точки отсчета, от которой можно посчитать эффективность системы. Невозможно сказать, насколько система видеоаналитики сократит потери, потому что неизвестно, какие они сейчас. Поэтому сокращаем 30% от неизвестной величины. Это проблема. И здесь мы можем померить только факт - что сегодня задержали такое-то количество людей, досканировали товары на условные 10 тыс. руб.", - рассказал разработчик.

Люди по-прежнему нужны

Сергей Щербаков отметил, что наличие системы не приводит к сокращению работы для персонала, даже наоборот - нагрузка на охрану магазина и ассистентов у касс обслуживания возросла в среднем на 10-15%.

"Чтобы обнаруженную аномалию превратить в задержание воришки, должна сработать охрана, должен быть оповещен ассистент на кассе самообслуживания. Очень многие, например, бьют товары на два-три чека, и это нормально. Или приносят какой-то товар с собой. Нельзя сказать, что раз они принесли воду с собой, то их нужно сразу хватать, не пускать и вызывать полицию. Конечно, так нельзя. И вот эта логика, как взаимодействовать с людьми, чтобы не повлиять негативно на их клиентский опыт, несмотря на то что они, может быть, воришки, а может быть и нет, - проработка этой логики заняла месяца два-три. Выстроены клиентские пути, где и в какой момент реагирует система, что высвечивается на кассе, какие рекомендации даются, как оповещается охрана", - рассказал разработчик.

Он добавил, что и персонал магазина, и покупатели отнеслись к такому опыту с пониманием. "Очень интересно было смотреть, когда система была введена в эксплуатацию, как люди сканируют товары и система им говорит, что у них еще три товара не отсканировано. И они либо отодвигают эти товары и говорят, что это не мое, либо убирают в рюкзак и говорят, что они с ними уже пришли в магазин", - привел пример Сергей Щербаков.

Проблема с биометрией

В ходе дискуссии Сергей Щербаков отметил, что в процессе разработки системы возникла проблема с идентификацией покупателей и анализом их лиц, от которой пришлось отказаться по юридическим причинам.

"У нас была масса идей построить корреляции вокруг именно человека - вокруг его лица, начиная с того, что, если человек что-то своровал и его не обнаружили или обнаружили постфактум, его сразу принимают на входе и говорят: "За тобой должок, как будешь расплачиваться?" Но здесь мы воткнулись в такую серую зону, как биометрические данные. Потому что, пока мы работаем с видом сверху - "по макушке и плечам", - это не персональные и не биометрические данные, мы не можем идентифицировать человека. Но как только мы начинаем работать с его лицом, тут уже люди из юридической службы начали морщиться и говорить: давайте мы не будем этого делать. И все наши идеи - физиономические, кто как себя ведет в момент кражи - они пошли лесом", - признался разработчик системы видеоаналитики.

При этом он отметил, что в будущем может возникнуть способ прогнозирования поведения покупателей по набору товаров, которые находятся в их корзинах. "Можно очень хорошо разделить людей, которые забыли просканировать товар, и тех, кто осознанно совершает факт воровства. И есть гипотеза, что этих людей можно определить по набору покупок: условно говоря, если мы видим в корзинке пиво, чипсы и что-то еще, то это зона повышенного интереса, а если памперсы - то ладно, в порядке общей очереди. Но это гипотеза для будущих исследований", - добавил Щербаков.

Как обучали нейросеть

Отвечая на вопрос директора по развитию технологий искусственного интеллекта ООО "Яндекс" Александра Крайнова о данных, на которых обучалась нейросеть системы, Сергей Щербаков рассказал, что разработчики обработали около 70 Тб видеозаписей, на которых зафиксировано поведение около 500 тыс. покупателей в течение трех месяцев. Но часть процессов удалось решить за счет открытых данных.

"Мы обучались на видеозаписях заказчиков, но для ускорения процесса использовали открытые дата-сеты по продуктам: одна из задач - идентификация конкретной колбасы, конкретного йогурта, и есть открытые дата-сеты по продуктам. И второе, мы использовали классификаторы изображений, которые, по сути, обучены на открытых дата-сетах. Вот такой комбинированный сценарий", - отметил Сергей Щербаков.

При этом он подчеркнул, что полноценную выборку для обучения выгрузить в открытый доступ будет тяжело, потому что там есть приватные данные. "Это открытый и дискуссионный вопрос, потому что там на самом деле приватность макушек и плеч. Но в любом случае это данные заказчика, и без их добра мы это не выгрузим", - отметил Сергей Щербаков.

Александр Крайнов заметил, что дата-сетов, в которых есть то или иное поведение пользователей, в открытом доступе очень мало. "Мне кажется это интересным, потому что, когда речь идет о сложных историях, когда зафиксировано какое-то нетипичное поведение пользователей, таких данных очень мало", - отметил Александр Крайнов.

Он призвал разработчиков делиться дата-сетами и выкладывать их в открытый доступ, чтобы помочь остальным разработчикам. "Мне хочется вас призвать к тому, чтобы, пусть не все и с ограничениями, пускай, вычищая персональную информацию или какое-то конкурентное преимущество, но выкладывать какую-то информацию в открытый доступ, потому что это поможет остальным. А еще очень важно, помимо самих данных, делиться кейсами, как из данных, особенно из открытых, извлечь профит. Это двигает нашу индустрию вперед", - заключил Александр Крайнов.