AI в нефтегазовой отрасли: что делать, когда изменяется рынок ML-игроков

Весной грянули санкции и индустрию начало лихорадить. Самые востребованные инструменты, которые использовались в индустрии, такие как Predix GE, Шлюмберже, Baker Hughes, а также облачные сервисы для машинного обучения, например, Sagemaker от Amazon Web Services и ML Studio Microsoft Azure либо полностью ушли с российского рынка, либо перестали регистрировать российских пользователей и оказывать поддержку.

Тем временем, совместное исследование "Ростелекома" и TAdviser демонстрирует, что AI так или иначе уже используется уже более чем в 85% российских компаний, и более 70% из них уже получают ощутимые финансовые эффекты от внедрения подобных технологий. Свежий альманах МФТИ оценивает объем рынка AI в 2022 году в 550 млрд рублей, даже несмотря на полупроводниковый кризис. Иными словами, AI сейчас — это поезд на полном ходу, который просто неспособен остановиться: в него можно либо запрыгнуть, либо остаться позади.

В нефтегазе все сложнее

Российская нефтегазовая отрасль так же, как и все, лишилась многих инструментов в области создания AI-продуктов, однако последствия от этого могут быть серьезнее, чем в остальных индустриях и вот почему:

• В нефтегазе много специфических ML-моделей, связанных с разведкой месторождений, предиктивным обслуживанием бурового оборудования и оптимизацией нефтепереработки, им просто не существует аналогов. А чтобы демонстрировать высокие результаты модель постоянно должна дообучаться, обогащаясь новыми, уникальными данными, что невозможно в отсутствие вычислительных ресурсов и инструментов для распределенного обучения. Малейшее нарушение непрерывности этих процессов может привести к неточной работе моделей и соответствующим издержкам.
• 70% крупных компаний, к которым относятся и добывающие предприятия, имеют существенные ограничения по работе с публичной инфраструктурой и специфические стандарты хранения и обработки данных, соответственно при невозможности использовать "коробочные" AI-решения прекративших работу западных вендоров, перед ними встает необходимость разработки собственных продуктов и расширения вычислительной инфраструктуры, на это требуется время и деньги.
• В силу специфичности отрасли, open-source продуктов, способных прийти на замену используемым практически нет, а их использование сопряжено с рисками и требует серьезных доработок.

Инъекция импортозамещения

Способов решения этих проблем видится несколько, в зависимости от вашей ситуации, можно смешивать их в любых пропорциях

1. Переход на отечественные ML-инструменты в облаках и on-premise.

Сегодня на отечественном рынке облачных решений присутствует несколько крупных игроков, предлагающих инструменты для машинного обучения:

• ML Space от Cloud
• DataSphere от "Яндекс"
• Cloud ML Platform от VK Cloud Solution
• Selectel и др.

В зависимости от задач, можно выбрать любого из провайдеров. Например, если вам важны возможность развернуть инструменты для машинного обучения поверх своей инфраструктуры, наличие суперкомпьютерных мощностей, аттестация наивысшего уровня по защите персональных данных или присутствие продукта в Едином реестре российского ПО — ML Space будет оптимальным решением.

2. Использование отечественных коробочных решений для оптимизации отдельных функций в компании.

Даже внутри нефтегазовых и нефтехимических предприятий, существуют процессы, в которых нет отраслевой специфики, а значит их можно оптимизировать с помощью уже существующих на рынке доступных AI-решений. Так, например, есть отдельные AI-сервисы для автоматизации составления договоров, оплаты счетов-фактур, интеллектуального поиска релевантных документов по проектам, автоматического обзвона соискателей на вакансии. В арсенале Cloud также есть "кирпичики", которые могут лечь в основу подобных разработок: они представлены на маркетплейсе AI Services.

3. Разработка AI-сервисов "под ключ" для своих нужд.

Когда необходимо решение или целый комплекс AI-сервисов, которые должны корректно работать именно на вашем предприятии, можно обратиться за помощью к внешним разработчикам, поручив им решение отдельных бизнес-задач. Так вы сможете избежать найма и онбординга "дорогостоящих" специалистов в области машинного обучения, если у вас их нет, а если есть, убедиться, что дополнительная нагрузка не застопорит текущие процессы в компании. С выполнением такой миссии может помочь сервис AI Consulting: здесь придумают, как решить вашу проблему средствами ML, а готовый AI-сервис развернут на мощностях суперкомпьютера передадут в эксплуатацию прямо в облаке.

На что обратить внимание при выборе инструментов ML-разработки?

• Защищенность данных. Распространено мнение, что основные угрозы данным исходят из киберпространства, но это не так. Очень многое зависит от физической составляющей: где физически расположен ЦОД? Зарезервированы ли его системы? Существуют ли дополнительные каналы связи? Изучите эти вопросы, прежде чем остановить свой выбор на облачном провайдере.

Обычно гарантией физической сохранности данных служит сертификация дата-центра уровня не менее TIER III, а за соответствие регламентам работы с персональными данными отвечают аттестат соответствия требованиям по защите информации. Чем выше уровень, тем более серьезную информацию можно хранить в облаке. Наивысший уровень — УЗ-1, а вот для гостайны нужна отдельная лицензия.

• Сначала стулья — потом деньги. Идея иметь собственную инфраструктуру может казаться заманчивой, если бы не несколько "но", помимо капитальных затрат: по статистике лишь 17% компаний используют свои инфраструктурные ресурсы для ML&AI в полном объеме, 22% компаний говорят о том, что их ресурсы простаивают, а остальные имеют постоянные проблемы с выделением ресурсов под эксперименты. Именно поэтому стоит выбирать те инструменты и решения, которые могут помочь решить задачу эффективной утилизации ресурсов. В ML Space реализованы инструменты распределённого обучения, управления очередями и аллокациями, которые позволяют повысить утилизацию ресурсов до 80-100%.
• Функциональное наполнение. Размещаетесь вы в облаке или на собственных серверах, для полноценной работы крайне важно, чтобы была возможность реализовать полный цикл работы с ML-моделями а) в одном окне; б) для разных участников процесса. Как показывает практика ML Space, при работе в едином пространстве DS-специалисты экономят до 30% времени, а скорость выхода продуктов на рынок увеличивается до 50%.