ЦОД в инфраструктурном разрезе

О трендах, которые оказывают влияние на инженерную инфраструктуру ЦОДа, рассказал руководитель направления по работе со стратегическими заказчиками энергетического сектора и атомной отрасли подразделения IT Division компании Schneider Electric Владимир Гречушкин.

- Расскажите про тренды, которые оказывают наибольшее влияние на инженерную инфраструктуру ЦОДа. Долгое время это были облачные технологии. Ситуация изменилась?

- Сегодня уже можно сказать, что ряд технологий, которые долгое время оставались маркетинговыми слайдами в коммерческих презентациях, стали реальностью, с которой предстоит считаться. Еще недавно гибридное облако казалось теоретической концепцией. Сегодня, по крайней мере на Западе, - это данность. Никто не удивляется возможности мигрировать виртуальную машину из ЦОДа организации в публичное облако без остановки приложений, работающих в ней. Пользователям все равно, находится ли приложение, с которым они работают в частном облаке в соседнем серверном помещении либо на другом конце света на сервере в публичном облаке. До тех пор пока это не приводит к неудобствам из-за увеличившегося времени задержки либо неудовлетворительной производительности, пользователю абсолютно все равно.

Очевидно, что в нашей стране есть особенности, касающиеся юридических ограничений, накладываемых на работу и передачу информации - например, персональных данных. Присутствует локальная специфика, касающаяся вопросов безопасности и доверия к зарубежным площадкам и т.д. Однако прогресс остановить невозможно, и рано или поздно эти технологии станут повседневностью и для пользователей в нашей стране.

Тем не менее даже в условиях ограниченной возможности использования наиболее крупных западных облаков в нашей стране все большее распространение получает использование площадок коммерческих ЦОДов. Это позволяет заказчикам перераспределять нагрузку между собственными площадками и коммерческими. Возможно, не с той долей гибкости, как это было бы при использовании полноценного гибридного облака, но в некоторых случаях по потребительским качествам эти два варианта могут быть практически неотличимы.

- Как отражается развитие облачных технологий на потребностях компании в вычислительных ресурсах, размещаемых в ЦОДе, и его инженерной инфраструктуре?

- Все это приводит к тому, что оценка потребности центрального ЦОДа организации в инженерной инфраструктуре превращается из искусства в игру в рулетку. Если раньше можно было просто взять текущую потребность, оценить рост серверной инфраструктуры и сделать запас на непредвиденные нужды, то теперь ряд организаций, несмотря на рост данных, цифровизацию бизнес-процессов, развитие аналитических платформ, говорят не о росте серверных мощностей в центральных ЦОДах организаций, а об их сокращении. Это связано как с переносом части нагрузки на коммерческие ЦОДы, консолидацией нагрузки за счет использования технологии виртуализации, ростом производительности серверов, так и с тем, что все большую популярность получает концепция периферийных вычислений.

- Расскажите более подробно про эту концепцию.

- Периферийные вычисления или Edge Computing, - это принцип построения иерархической ИТ-инфраструктуры, при котором вычислительные ресурсы частично перемещаются из ядра - центрального дата-центра - на периферию и располагаются в непосредственной близости от места создания первичных "сырых" данных для их первичной обработки перед передачей вышестоящему вычислительному узлу.

Рост периферийных вычислений связан с тем, что, как часть цифровой трансформации, активно развивается интернет вещей. Экспоненциальный рост устройств, создающих данные, и рост зависимости технологических процессов от скорости обратной связи приводят к тому, что существовавшая парадигма централизованных вычислений больше не справляется с задачей.

Ограничивающим фактором является как пропускная способность каналов, соединяющих центральный ЦОД с удаленными площадками, так и неизбежные задержки в канале. Кроме этого, многие системы, которые еще недавно существовали независимо от IT, прошли процесс цифровизации. Из-за этого усиливаются требования к отказоустойчивости и возможности автономной работы в условиях отсутствия связи с центром. Это касается систем безопасности - видеонаблюдения, контроля и управления доступом, телефонии, систем мониторинга и управления производственными процессами.

Обеспечение работы этих систем лежит на распределенных серверных помещениях, которым до последнего времени уделялось мало внимания. Сейчас же наблюдается тренд по переносу части вычислений на них. Собранные данные проходят первичную обработку перед передачей их иерархически вышестоящему узлу. В результате сокращается нагрузка на канал, повышается скорость обработки и повышается автономность удаленных объектов. При этом в центральный ЦОД уже стекаются агрегированные данные, которые не требуют первичной обработки. Это, с одной стороны, снижает требования к объему хранимых данных, а с другой - ускоряет и упрощает их дальнейшую обработку для получения аналитических данных либо принятия управленческих решений.

Все эти изменения приводят к тому, что вместо ставших классическими основной и резервной площадки в организации возникает множество независимых вычислительных узлов. Они могут быть распределены по различным объектам, которые могут быть расположены в разных городах. Но даже на одном предприятии может быть потребность создания сразу нескольких вычислительных узлов, в которые стекаются данные с расположенных в непосредственной близости периферийных устройств.

- В связи с этим должна меняться и общая архитектура ИТ. Можете описать ее структуру?

- Новая парадигма построения ИТ-инфраструктуры выглядит следующим образом: "листьями" древовидной структуры являются периферийные устройства, которые создают "сырые" данные. Затем эти данные собираются посредством периферийных шлюзов. На этом этапе происходит только простейшая обработка - трансляция протоколов и нормализация данных. Затем идет уровень распределенных вычислительных узлов. Это уровень преобразования данных в информацию и принятия тактических решений. Наконец, в корне древовидной структуры находится центральный ЦОД. Точнее, центральный и резервный ЦОД, где в качестве резервной площадки может выступать либо один из удаленных объектов, либо коммерческий ЦОД.

Как уже упоминалось, на каждом этапе происходит обработка данных и их насыщение. Вместе с этим, потребности каждого уровня и решения, которые поддерживают их работу, серьезно отличаются.

- Как будет выглядеть инфраструктура на каждом уровне и какие особенности необходимо учитывать при создании или модернизации каждого уровня?

- Если начать с центрального ЦОДа, то здесь все рекомендации уже хорошо известны. Однако необходимо отметить, что в современных условиях значительную роль начинают играть такие свойства, как гибкость и масштабируемость.

В условиях, когда нагрузка может меняться как в большую, так и в меньшую сторону, наиболее эффективными являются модульные решения. В частности, модульные ИБП, например Symmetra PX, позволяют наращивать нагрузку в десятки раз без необходимости переключения нагрузки на "грязное" питание. При этом если нагрузка снижается, то лишние силовые модули могут быть отключены для повышения эффективности и снижения потерь.

Если речь идет о ЦОДе мощностью в сотни киловатт и необходимым временем автономии более 10 минут, то будет целесообразно рассмотреть вариант использования литий-ионных аккумуляторов. С одной стороны, это позволит существенно сократить занимаемое батареями пространство, а с другой - снизить расходы при их замене. Для большого батарейного массива стоимость замены аккумуляторов может быть сопоставима со стоимостью всего ИБП. Для решений на базе литий-ионных аккумуляторов есть возможность получения гарантии на батареи от Schneider Electric на 10 лет, что невозможно в случае использования свинцово-кислотных батарей. Это необходимо учитывать при долгосрочном планировании затрат на поддержание работы ЦОДа.

Размещение стоек в помещении и распределение питания следует также планировать заранее с учетом того, что, возможно, потребуется установка дополнительных стоек с оборудованием. Для повышения эффективности работы кондиционеров горячие и холодные потоки воздуха можно изолировать, создав горячий и холодный коридоры. Это позволяет увеличить плотность размещения оборудования без дополнительных затрат на кондиционеры и снизить расходы на электроэнергию.

Если нагрузку, а значит тепловыделение, сложно спрогнозировать либо она может меняться вследствие миграции, то лучше будет использовать большее число кондиционеров меньшей мощности. Это связано с тем, что низкая нагрузка на кондиционеры может приводить к тому, что они будут вынуждены постоянно включаться и выключаться. Такой режим работы негативно отражается на надежности и сроке эксплуатации и может привести к выходу кондиционеров из строя.

Если речь идет о крупном предприятии с десятками и сотнями стоек, имеет смысл разработать типовые блоки, которые будут включать все компоненты инженерной инфраструктуры - стойки, распределение питания, бесперебойное питание и охлаждение. Необходимо заранее продумать их расположение с учетом сервисного пространства, наличия закладных, подвода коммуникаций и удобства эксплуатации.

Отдельно стоит продумать вопросы размещения внешних блоков либо чиллеров для систем охлаждения. Как и в случае со стойками, пространство необходимо спланировать с учетом возможности размещения дополнительного оборудования. Может сложиться такая ситуация, что при наличии возможности расширения машзала место для установки на кровле здания уже закончилось, размещение на фасаде невозможно по эстетическим причинам, а размещение на земле невозможно из-за ограничения длины трассы фреонопровода.

- Какие особенности вы можете отметить в инфраструктуре распределенных узлов?

- Если говорить о распределенных вычислительных узлах, то, как правило, речь идет о нескольких стойках с серверным и сетевым оборудованием. Необходимо учитывать, что, несмотря на небольшой размер, эти узлы в современной парадигме имеют большое значение. Это связано с тем, что от их бесперебойной работы сейчас зависит множество систем и бизнес-процессов на удаленных объектах: от обеспечения безопасности до телефонной связи и работы диспетчерских центров на предприятии.

Таким образом, к распределенным узлам должны применяться те же требования, что и к полноценным серверным помещениям. Необходимо обеспечить бесперебойное питание, причем желательно с резервированием. Для этого хорошо подойдут небольшие однофазные стоечные ИБП с сетевой картой для удаленного управления - например, семейства Smart-UPS.

Если объекты распределены по большой территории, особенно в труднодоступных областях, то оптимальным решениям будут ИБП с литий-ионными аккумуляторами. Это связано с тем, что стоимость логистики при замене батарей на удаленном объекте может стать существенной статьей расходов. Кроме этого, постоянный контроль состояния батарей на каждом из объектов может стать настоящей головной болью.

Несмотря на то что еще недавно литий-ионные батареи были доступны только для мощных трехфазных ИБП, сейчас они используются и в небольших однофазных ИБП. Например, модель SRTL1000RMXLI имеет мощность всего 1 кВА.

С точки зрения охлаждения стоит обратить внимание на потолочные прецизионные кондиционеры. Например, серии Unisplit. Это позволит сэкономить пространство, которое, как правило, является большой проблемой для помещений такого типа. Однако не стоит экономить на их резервировании. Даже не самое высокопроизводительное оборудование в небольшом помещении без кондиционирования может перегреться чрезвычайно быстро. А ремонт таких систем, как правило, осуществляется только обученным персоналом. Это может привести к простою оборудования не только в часы, но и дни. В современных условиях это просто неприемлемо.

Отдельно необходимо рассмотреть вариант, когда выделенного помещения для установки серверного оборудования нет. В этом случае возможно несколько вариантов, в зависимости от объема устанавливаемого оборудования. Если речь идет о четырех и более стойках и на объекте есть свободная площадка, то решением может быть установка модульной быстровозводимой конструкции либо контейнерного ЦОДа.

В случае если оборудование необходимо разместить в неподготовленном помещении, то можно использовать специализированные стойки с защитой от внешнего воздействия и встроенной системой охлаждения. В качестве примера можно привести решение SmartBunker.

- Нужна ли оконечным устройствам какая-нибудь инженерная инфраструктура?

- Если обратиться к двум последним уровням, то здесь, с точки зрения инженерной инфраструктуры, требования минимальны. Периферийные шлюзы, как правило, являются самодостаточными устройствами. Единственное, на что стоит обратить внимание - это обеспечение их бесперебойным питанием, если это необходимо. То же самое относится и к конечным устройствам.

- В современных системах нельзя обойтись без выстроенной структуры управления и обеспечения комплексной безопасности. Как эти задачи решаются в новой парадигме? 

- Вопросы организации мониторинга, управления и безопасности относятся ко всем уровням иерархии.

Распределенная инфраструктура многократно усложняет ее централизованное управление. Если в ЦОДе обслуживающий персонал может всегда проверить состояние оборудование "вживую", то для удаленных объектов необходимы системы удаленного мониторинга. Это касается параметров среды (необходимо предусмотреть датчики температуры и протечки), параметров электропитания (сбор информации с ИБП, блоков распределения питания и автоматов). Необходимо предусмотреть системы учета доступных ресурсов и установленного оборудования. В качестве примера можно привести решения Data Center Operations - Capacity.

На небольших объектах может отсутствовать подготовленный персонал, поэтому возможность удаленного определения состояния оборудования и его диагностики становится критической. Наличие возможности удаленного управления, например в случае использования управляемых блоков распределения питания, позволяет в короткие сроки окупить более высокую стоимость такого оборудования.

Однако такой широкий функционал с точки зрения информационной безопасности существенно увеличивает площадь атаки. Даже если не брать во внимание удаленный доступ, для предотвращения неавторизованного доступа и упрощения расследования инцидентов в серверных помещениях необходимо предусмотреть технологическое видеонаблюдение, систему контроля и управления доступом. В качестве решения можно рассмотреть комплекс NetBotz.

Для защиты удаленных объектов от действий злоумышленников через сеть могут быть предусмотрены средства шифрования трафика. Также может быть обеспечена интеграция с системой обнаружения вторжений.

Анализ данных, поступающих с устройств, относящихся к инженерной инфраструктуре, позволит своевременно определить нештатные ситуации. Например, отключение кондиционеров, перевод системы на "грязное" питание либо отключение автоматов.

Такие средства не являются избыточными, особенно в свете вступления в силу Федерального закона "О безопасности критической информационной инфраструктуры Российской Федерации" от 26.07.2017 №187-ФЗ. Следует иметь в виду, что для того, чтобы нанести непоправимый урон работе предприятия, может быть достаточно просто отключить системы охлаждения на вычислительных узлах. В течение короткого времени вычислительные системы будут отключены из-за перегрева оборудования. Чтобы защититься от таких рисков, необходимо заранее планировать информационную защиту не только приложений, но и объектов инженерной инфраструктуры, от бесперебойного функционирования которых зависит работа этих приложений.