Нужны ли компаниям собственные платформы для работы с большими данными?

Старший управляющий директор – директор департамента управления данными Сбербанка Борис Рабинович о переходе технологичного гиганта на платформу Sber Data Platform.

Прошлогодний уход иностранных вендоров застал Сбер в момент миграции сервисов на собственную платформу. В то время, когда компании уходили с рынка, прекращая поддержку программных продуктов, мы спокойно переходили на новую платформу для работы в большими данными. Сейчас уже можно говорить, что этот переход будет успешно совершен до конца года.

Почему так получилось? Тренду на импортозамещение, взятому страной несколько лет назад, старались следовать многие российские компании. Именно технологичный гигант Сбер стал драйвером этой темы. Мы с 2016 года разрабатывали новые решения для себя и для рынка. Если 2022 год внезапно поставил перед другими компаниями новые вызовы – обеспечить технологическую независимость и бесперебойную работу с данными, то для наших разработчиков и инженеров это была задача, которую Сбер методично решал уже несколько лет. Вторая причина, которая заставила нас, крупную технологичную компанию, встать на путь импортозамещения гораздо раньше других, это – высокая стоимость вендорских западных решений и огромный объем данных. У аналитической платформы он достиг 132Пб, а количество пользователей превышает 15 000 человек. Массив информации подобного объема можно сопоставить с одним из трех крупнейших киноархивов мира – Госфильмофондом в количестве 13 миллионов кинофильмов. При этом требования бизнеса к объему, качеству и скорости предоставления данных постоянно растут, появляется все больше новых источников данных, с которыми работают аналитики.

Поэтому несколько лет назад мы приняли решение о начале разработки своих программных продуктов для работы с данными. Начали с базовых open-source решений и стартовали с разработки собственной сборки Hadoop и Greenplum, дорабатывали инструменты под нагрузку и наши задачи, постепенно добавляя новые компоненты. В итоге мы сформировали новую технологическую платформу Sber Data Platform. Сейчас она представляет собой полный стек технологий для работы с большими данными, который мы постоянно развиваем и дополняем. Среди решений платформы: SDP Hadoop и SDP Greenplum – сервисы хранения и обработки больших данных различного типа, SDP Analytics – инструменты визуализации и анализа данных, SDP DataQuality – инструменты контроля качества данных, SDP DataFlow – технологии и инструменты интеграции и трансформации данных, SDP DataLabAI – среда и инструменты машинного обучения и искусственного интеллекта.

Разработку платформы SDP мы завершили в 2022 году и добились того, что производительность, функциональность и безопасность нашей платформы выше, чем аналогичные решения других вендоров.

На старте разработки платформы мы ставили себе цель добиться повышения эффективности управления нашими ресурсами: снизить стоимость владения данными, повысить скорость внедрения изменений и, тем самым, поддержать развитие бизнеса Сбера за счет использования данных и аналитики.

Чтобы повысить эффектность продукта, наша команда разработки может вносить существенные изменения в основной его функционал. Например, в нашу сборку SDP Hadoop мы внедряем решение SDP Data Fusion. Оно обеспечивает высокоскоростной доступ между кластерами Hadoop и Greenplum, что не требует создания промежуточных копий данных и в разы сокращает потребности в серверах. В итоге переход на собственную технологическую платформу с 2020 года по 2022 год сократил для нас стоимость хранения данных почти в 3 раза (в пересчете на 1 Тб).

Другой значимый результат разработки собственной платформы – возможность самостоятельно управлять развитием наших инструментов и решений, обеспечивать высокую скорость внедрения доработок и сервисов для бизнеса. А это значит, что мы уже научились, предвосхищая потребности пользователей, создавать основу для разработки новых перспективных продуктов для клиентов Сбера.

Нужно ли компаниям разрабатывать собственные платформы? И да, и нет. Если у бизнеса есть необходимые ресурсы для дорогостоящей разработки и специфические потребности, которые готовые решения не закрывают, то смысл в этом есть. В остальных случаях целесообразно воспользоваться уже имеющимися разработками крупных рыночных игроков.