Проблема сбора данных в компании, их влияние на аналитику и прогнозы

О проблемах, с которыми современные компании сталкиваются при переходе к data-driven-подходу для управления продуктами или организацией, о важности контроля качества данных при их сборе и почему о нем нужно задуматься именно сейчас, рассказывает основатель стартапа в сфере сбора данных Tabliner Вячеслав Журавлев.

Перспективы и проблемы data-driven-подхода

Все больше компаний стараются принимать управленческие решения на основе данных, то есть переходить к так называемому data-driven-подходу управления. По данным Fortune Business Insight, объем мирового рынка аналитики больших данных вырастет с $348,21 млрд в 2024 году до $924,39 млрд к 2032 году, при этом среднегодовой темп роста составит 13%. А опрос Gartner 2023 года показал, что 79% стратегических менеджеров считают ИИ и аналитику критически важными для успеха в течение следующих двух лет.

Поэтому внутри компаний стараются хранить и анализировать всю доступную информацию, создавать внутренние проекты для работы с данными или внедрять продукцию внешних разработчиков. Однако, согласно исследованию Data Quality 2023 Study, лишь 16% компаний смогли полноценно интегрировать подход, основанный на данных, во все процессы компании, а наиболее распространенной проблемой при переходе остается качество данных. Кроме того, на конференции Transform 2019 отметили, что только 13% проектов, связанных с анализом данных, дойдут до производства. Причина - отсутствие должного внимания со стороны управляющих и их сотрудничества для доступа к данным, а также качество и различные форматы данных.

Виды бизнес-данных

Для успешного внедрения данных для построения аналитики и принятия управленческих решений надо понимать, какие данные организация может хранить, как их собирать и работать с ними.

Данные можно разделить на несколько основных видов:

• Операционные данные - необходимы для производственного процесса: объем выпущенной продукции, запасы материалов, логистическая информация и др.

• Данные о поставках и партнерах - используются для организации цепочки поставок: наличие продукции у поставщиков, текущая стоимость, сроки текущих поставок, договоры с поставщиками и т.д.

• Данные о клиентах - с ними взаимодействуют отделы продаж, поддержки, маркетинга.

• Финансовые данные - используются для бухгалтерской и финансовой отчетности: прибыль, убытки, налоговая отчетность и т.д.

• Данные о сотрудниках - например, личные данные, договоры, зарплата и другая информация, необходимая для управления персоналом.

• Юридические данные - лицензии, разрешения, сертификаты для соответствия законодательным нормам.

• Данные, которые собираются с целью повышения эффективности компании или улучшения качества продукции и услуг, - различные виды информации, в том числе поступающей из всех других пунктов. Это могут быть метрики эффективности отделов или филиалов, данные о продуктах или услугах, данные об оттоке сотрудников, анализ конкурентов.

Если компания только начинает путь внедрения автоматизации и аналитики, то большая часть ее данных хранится в локальных базах, файлах и электронных таблицах. Чаще всего это хранение без какого-либо принятого общего формата для определенного типа собираемых данных и с поверхностной проверкой на ошибки - то есть одни и те же данные, но за разные периоды могут дублироваться, храниться в разных форматах и иметь множество ошибок как результат ручного ввода или недопонимания задачи.

Как и где хранятся данные

Сейчас для большинства типов данных разработано множество видов специальных систем, где реализованы процессы их сбора, хранения, анализа и работы с ними. Для каждого типа данных могут применяться определенные виды систем, но есть и системы, которые пытаются обобщать несколько разных типов.

Для операционных данных это системы управления производством (Manufacturing Execution Systems, MES) и системы управления логистикой (Logistics Management Systems, LMS), которые автоматизируют контроль и анализ производства и логистики компании, для данных о поставках и партнерах – системы управления цепочками поставок (Supply Chain Management systems, SCM), которые помогают автоматизировать закупку материалов, производство и сбыт продукции. Они также имеют некоторые схожие возможности с MES и LMS, однако в меньшей степени заточены на оптимизацию производственного процесса и логистики и в большей степени ориентированы на отслеживание поставок и запасов.

Для хранения данных о клиентах используются системы управления взаимоотношения с клиентами (Customer Relationship Management systems, CRM), которые автоматизируют и анализируют взаимодействие с клиентами, различные системы для маркетинговой аналитики, которые отслеживают трафик на сайт компании, поведение пользователей, стоимость привлечения пользователей и другие метрики.

Под хранение финансовых данных разработаны бухгалтерские системы, системы планирования ресурсов предприятия (Enterprise Resource Planning systems, ERP), системы управления финансами, налогами и активами, другое программное обеспечение для бизнес-аналитики (Business Intelligence software, BI).

Данные о сотрудниках хранятся в системах управления человеческими ресурсами (Human Resource Management Systems, HRMS), которые помогают в работе с данными о сотрудниках, зарплатах, найме персонала и всех остальных, которые касаются работы с сотрудниками. Также есть более точечные системы, которые отвечают по отдельности за обучение персонала, рекрутинг и заработную плату.

Для хранения юридических данных используется различное программное обеспечение для юридического управления предприятием, документами, контрактами, интеллектуальной собственностью, судебными делами.

Данные для повышения эффективности компании, улучшения качества продукции и услуг загружаются в системы бизнес-аналитики (BI), контроля качества, управления производительностью, HRMS с возможностями контроля эффективности.

Плюсы и минусы использования аналитических систем

Каждая из перечисленных систем помогает повышать эффективность в определенной сфере. К примеру, влияния внедрения систем управления производством и логистикой, они позволяют ускорять процесс производства, снижать затраты на логистику, сокращать необходимый запас сырья на складах для бесперебойной работы. А согласно опросу McKinsey, у компаний, активно использующих аналитику клиентов, почти в три раза больше шансов добиться роста оборота до показателей выше среднего, чем у конкурентов, которые оценивают свои данные только время от времени. Кроме того, рентабельность инвестиций у таких компаний выше в 2,6 раза выше. Инструменты BI повышают эффективность принятия решений, что, в свою очередь, приводит к повышению производительности компании.

Однако необходимо также понимать, что внедрение систем приводит и к различным трудностям. У каждого типа существует множество аналогов, разработанных различными компаниями, у которых варьируются функционал, интерфейс и способы хранения данных. И переход с одной системы на другую – это достаточно затратное для компании мероприятие: требуется заново обучать сотрудников, приводить данные в нужный формат для новой системы, что зачастую приводит к потере определенного объема информации и к искажению результатов работы новой системы. В результате компании оказываются привязанными к конкретной системе.

Также для большинства организаций становится невозможным использование систем для всех видов данных, поскольку многие из них имеют достаточно высокую цену за настройку, лицензию и обслуживание. В результате небольшие предприятия могут позволить себе использование только некоторых – тех, которые для них считаются ключевыми, либо наиболее доступных по стоимости, а часть функций, например, бухгалтерские и юридические, отдают на аутсорс.

Как следствие, данные, которые не охватываются внедренными аналитическими системами, собираются внутри компании без особого внимания к их формату, качеству и способам хранения. Хотя на этапе дальнейшего роста компании и появления необходимости внедрения аналитики и для новых сфер это значительно усложнит эти процессы и снизит качество результатов.

Проблема качества данных

Даже внедрение систем для работы и анализа с определённым видом данных не гарантирует, что данные для построения аналитики будут качественными. Большая часть систем заточена именно на обработку с целью последующего анализа и построения выводов, отчетов, а вот процесс сбора зачастую остается без должного внимания. Кроме того, когда компания только начинает использовать новую систему, в нее загружаются уже имеющиеся данные, которые собирались вручную, и содержали большое количество неточностей. Поэтому самому процессу сбора данных надо уделять отдельное внимание, так как точность работы внедряемых системы, аналитики и управленческих решений будет зависеть от качества собираемых данных.

Если компания собирает данные без использования программного обеспечения сфокусированного на качестве данных, то следует уделить больше внимания вопросу введения стандартов для хранения и сбора данных внутри компании, чтобы сотрудники имели представление о том, как принято хранить данные и в каком формате. В дальнейшем это позволит сохранить большее количество данных, повысить качество аналитики и внедрять современные технологии намного эффективнее.

Выводы

Все больше компаний сегодня осознает важность использования бизнес-аналитики и автоматизации для повышения эффективности и конкурентоспособности, внедрение ИИ-технологий происходит во все сферы деятельности компании. Однако, уделяется недостаточное внимание процессу сбора данных. Это приводит к низкому качеству тех данных, на основании которых функционируют подобные аналитические системы. В результате это негативно влияет на их эффективность – снижается точность прогнозов, аналитики и управленческих решений. И компании, которые не уделяют этой проблеме должного внимания, тратят большие ресурсы на внедрение нового программного обеспечения и обучение персонала, при этом не получают ожидаемых положительных результатов. Поэтому отсутствие должного контроля за качеством данных внутри компании зачастую приводит к нецелесообразности внедрения подобных систем.