БФТ-Холдинг развернул витрины данных для Министерства финансов Российской Федерации

БФТ-Холдинг внедрил витрины данных для Министерства финансов Российской Федерации. Теперь ведомства-пользователи Национальной системы управления данными (НСУД) могут получать оперативный доступ к информации об объектах капитального строительства, исполнителях государственных (муниципальных) услуг и другим сведениям.

Государственная интегрированная информационная система управления общественными финансами "Электронный бюджет" (ГИИС "Электронный бюджет") — это основная информационная система Минфина России, состоящая из множества подсистем, модулей и отдельных компонентов. Указанная информационная система содержит сведения об участниках бюджетного процесса, государственных (муниципальных) работах и услугах, управлении закупками и расходами в рамках бюджетных обязательств, а также другую информацию. С хранящимися в ГИИС "Электронный бюджет" сведениями работают сотрудники федеральных и региональных органов исполнительной власти, отвечающие за бюджетные процессы своих организаций, — потребители данных.

Для уменьшения количества запросов на получение данных из ГИИС в собственные информационные системы, поступающих из ведомств-потребителей, в Министерстве финансов Российской Федерации приняли решение о создании витрин данных, чтобы снизить нагрузку на основные ресурсы и более оперативно предоставлять ответы на запросы пользователей. При предполагаемом среднем времени ответа на запрос 60 секунд реальное среднее время ответа составило 0,408 секунд-ы, максимальное время ответа — 0,76 секунды; при планируемой средней нагрузке 150 запросов в секунду витрина держит нагрузку более 410 запросов в секунду, а максимальная нагрузка составила 2330 запросов в секунду.

Проект выполнили АО "Главный научный инновационный внедренческий центр" совместно со специалистами БФТ-Холдинга. В результате был обеспечен доступ потребителей к следующим витринам данных Минфина России, созданным в рамках данного проекта:

1. "Объекты капитального строительства, сводная бюджетная роспись, нормативная справочная информация".
2. "Информация о соглашениях (договорах) о предоставлении из федерального бюджета (бюджетов субъектов Российской Федерации, местных бюджетов) субсидий, бюджетных инвестиций, межбюджетных трансфертов, отчетности по ним".
3. "Сведения о паспортах государственных программ".
4. "Реестр исполнителей государственных (муниципальных) услуг в социальной сфере в соответствии с социальным сертификатом на получение государственной (муниципальной) услуги в социальной сфере".

БФТ-Холдинг реализовал витрины данных Минфина России, используя в качестве решения типовое тиражируемое ПО "Витрина данных НСУД".

В ходе проекта была внедрена и настроена подсистема загрузки данных с разработкой компонента загрузки данных, который осуществляет извлечение данных из внешних источников, их трансформацию, очистку и последующую загрузку в хранилище данных (созданы реляционная база данных и файловое хранилище, где хранятся образы документов). Доступ к данным осуществляется через систему межведомственного электронного взаимодействия СМЭВ 4 посредством регламентированных запросов к таблицам витрин данных. Построенная подсистема мониторинга позволяет ответственным сотрудникам министерства осуществлять контроль работы витрин данных, получать статистику, оперативно реагировать на возможные сбои. Указанная подсистема обеспечивает полноту, непротиворечивость и связность поступающих в витрины данных и позволяет предоставлять потребителям информацию, которая полностью соответствует данным, находящимся в хранилищах ГИИС "Электронный бюджет".

Особенностью проекта стала "историческая", то есть накопленная за весь период хранения, загрузка данных в витрины данных из информационной системы Минфина России. Так, на витрину данных "Информация о соглашениях (договорах) о предоставлении из федерального бюджета (бюджетов субъектов Российской Федерации, местных бюджетов) субсидий, бюджетных инвестиций, межбюджетных трансфертов, отчетности по ним" было выгружено около 3 млн документов, то есть все утвержденные соглашения о предоставлении субсидий с момента реализации этого компонента в ГИИС "Электронный бюджет".

Структура данных на витринах данных достаточно сложна по атрибутивному составу и взаимосвязям между таблицами базы данных: в рамках проекта для отображения на витринах данных Минфина России было внесено более 100 таблиц и 2 000 атрибутов. Поэтому для более удобного доступа потребителей к нужной информации была создана база данных и задействовано хранилище данных S3. В реляционной базе данных хранятся плоские таблицы, которые содержат данные с базовым набором атрибутов, достаточных для аналитики, а в хранилище данных S3 находятся XML-файлы с полным набором атрибутов для более глубокой детализации с ссылкой на данные из таблиц. Такой архитектурный подход позволяет потребителям данных упростить анализ полученных сведений.

В целом по всем витринам данных было загружено около 16 млн исторических записей.