"Норникель" построил Data-платформу "Озеро данных" на продуктах Arenadata
"Норникель" построил технологичную платформу для решения бизнес-задач с применением Big Data и Data Lake на продуктах отечественного вендора Arenadata. Использование "Озера данных" позволяет "Норникелю" сократить время time to market реализации цифровых проектов за счёт отсутствия необходимости проектировать и реализовывать интеграционные инструменты, а также существенно снизить аналитическую нагрузку на системы управления и диспетчеризации производства.
"Норникель" работает в сфере добычи и производства цветных металлов, которая является технологически сложной отраслью, включающей множество E2E-процессов (end to end), вокруг которых формируются терабайты данных. Их обработка позволяет повысить производительность фабрик и цехов, сделать условия работы более комфортными и безопасными. Поэтому цифровизация производства является одной из ключевых стратегических задач компании на ближайшие годы. Она включает: разработку и развитие собственных цифровых инновационных платформ, внедрение data-driven-подходов в технологические, производственные и бизнес-процессы; AI-операционализацию.
Примерно 40% кейсов из общего реестра бизнес-задач требуют обработки неструктурированных или слабоструктурированных данных. Они реализуются в технологичной платформе "Озеро данных". Это среда реализации многих инициатив, направленных на цифровизацию производства на базе AI-советчиков, AI-автосоветчиков и аналитических отчётов.
Единой точкой доступа к данным и одним из основных компонентов платформы является аналитическая СУБД Arenadata DB (ADB). Помимо этого, в "Озере данных" используется продукт для потоковой обработки данных Arenadata Streaming (ADS) и корпоративный дистрибутив для распределённой масштабируемой обработки данных Arenadata Hadoop (ADH).
"Построение ландшафта Data-платформы на базе продуктов Arenadata было для нас значимым, поскольку позволяет разрабатывать и запускать реальные инновационные кейсы. Решения Arenadata соответствуют нашим высоким требованиям к системам, которые работают с продуктивными данными, включая требования по безопасности", — отмечает руководитель "Озера данных" "Норникеля" Мансур Гасратов.
В целом экосистема "Озеро данных" состоит из четырёх крупных блоков: Data-платформа для обработки и хранения любых данных; контейнеризация для запуска и продуктивизации ML-приложений и IML-инстансов; ML-платформа для корпоративной среды разработки и опромышливания ML-решений; ML-кластеры для геораспределённой ML-инфраструктуры, дающей возможность запускать решения на производственных площадках.
Data-платформа позволяет "Норникелю" в режиме, близком к реальному времени, обрабатывать информацию с датчиков оборудования, пакетные данные из реляционных систем, подключать ML-модели, исследовать данные и получать аналитическую отчётность за счёт подключённых к "Озеру данных" BI-инструментов.
"Данные для современных предприятий — один из ключевых ресурсов. И опыт "Норникеля" наглядно демонстрирует, как компания с их помощью повышает эффективность работы и оптимизирует производственные процессы. Уверен, что, учитывая стратегические планы компании по цифровизации, включая и использование стека продуктов Arenadata, впереди её ждут новые перспективы", — считает директор департамента группы Arenadata по работе с промышленным сектором Максим Власюк.
На текущий момент общая ёмкость хранения в экосистеме "Озеро данных" составляет примерно 1,5 петабайта. Запущено девять промышленных интеграционных потоков данных, в рамках которых более 2 тыс. показателей поступают в дата-платформу в режиме, близком к реальному времени, и более 3 тыс. показателей — в режиме офлайн. Реализовано более 10 бизнес-кейсов, охватывающих такие направления, как экономика и финансы, производственные и технологические процессы, голосовые помощники.
