ЦОД против землетрясений

Компания КРОК в рамках консалтинговых услуг завершает участие в проекте по созданию сейсмоустойчивого центра обработки данных (ЦОД) в Турции. Площадь дата-центра - около 25 тыс. кв.м, он вмещает более 2000 стоек, а общая мощность электроснабжения - 16 МВА. Для реализации этого проекта была собрана международная команда из России, Турции и США. По мнению одного из американских специалистов, проводивших техническую экспертизу решения, новый ЦОД по своим характеристикам защищенности можно сравнить с аналогичным дата-центром Apple, расположенным в новом головном офисе корпорации. Коммерческий запуск объекта намечен на начало 2018 года. Главный инженер компании КРОК Петр Вашкевич рассказал корреспонденту ComNews о том, как шла работа над проектом, какие задачи решались при проектировании и строительстве объекта, в чем особенности нового ЦОДа и почему компания гордится проектом. 

- Петр, расскажите, когда КРОК начал заниматься этим проектом?

- Проект стартовал три года назад. У КРОК это первый проект такого масштаба для зарубежных заказчиков, и этим он уникален. Ранее мы работали с заказчиками из ближнего зарубежья - Казахстана, Республики Беларусь, Украины, Узбекистана, выходили и на азиатские рынки, но задачи были не такими глобальными.

За основу ЦОДа для турецкого заказчика мы взяли один из наших российских проектов. По размерам, компоновке и технологическим особенностям он совпадал с тем проектом ЦОДа, который требовалось создать в Турции. Специалисты КРОК выступали в роли консультантов-технологов.

- С чего вы начали работу по созданию дата-центра?

- Совместно с заказчиком мы начали с поиска участка земли, который подходил бы под строительство ЦОДа. Выбирали место, обеспеченное электроэнергией и находящееся недалеко от города. Еще одним важным фактором была не очень высокая стоимость самого земельного участка. В итоге остановились на одной из промышленных зон с расположенным в ней центром энергоснабжения. 

Далее мы занялись адаптацией проекта нашего российского ЦОДа под задачи заказчика, турецкие законодательные и строительные нормы. Полгода ушло на снос старых строений, выравнивание и бетонирование площадки под здания. Для приготовления бетонной смеси мы привлекали отдельных специалистов, которые лично разрабатывали смесь для сейсмоустойчивого объекта, контролировали результаты бетонных работ. Как результат - полное отсутствие усадочных трещин в фундаменте и железобетонных конструкциях.

Пользуясь нашими проектными наработками, на протяжении всех этапов проекта генподрядчик работал в тесной связке с турецкими государственными надзорными службами, чтобы получить разрешение на строительство, договориться с местными энергетическими компаниями для получения постоянной энергии по оптимизированным ценам и т.д. Благодаря нашей помощи владелец ЦОДа стал буквально третьей коммерческой компанией в стране, которая подключена напрямую от магистральной энергосети Турции.

- Сколько в итоге заняло строительство ЦОДа?

- Полтора года занял разбор сейсмической обстановки и выбор оптимального решения по сейсмоизоляции, активное строительство ЦОДа - еще около полутора лет. Конечно, на сроки работ сильно влияла сложная международная обстановка. Проект был очень непростой.

- Почему турецкие заказчики потребовали именно сейсмобезопасный ЦОД?

- Заказчиком являлась международная компания, для которой Турция - лишь одна из стран, где они ведут бизнес. 80% территории Турции - это сейсмоопасные, а значит, сложные для строительства ЦОДов места. ЦОД находится недалеко от Стамбула и одновременно на расстоянии порядка 100 км от разлома земной коры, который идет по дну Мраморного моря. Большинство очагов землетрясений региона сосредоточены в этом разломе. Поэтому в случае подземных толчков на ЦОД будет воздействовать преимущественно горизонтальная составляющая сейсмической волны. Технические решения, принятые при строительстве ЦОДа и разработанные с участием специалистов КРОК, позволяют значительно уменьшить сейсмическую нагрузку на здание.

- Какие решения в итоге были использованы?

- Для решения этой задачи мы привлекли международную команду специалистов. Перед нами стояла задача добиться таких показателей сейсмостойкости, чтобы в случае землетрясения в нем сохранилось все ИТ-оборудование, информация и все обеспечивающие системы, даже если будет нарушена связь со всей страной и с интернет-провайдерами. Замечу, что довольно часто оборудование и данные стоят в разы дороже, чем сам ЦОД.

Мы рассматривали различные способы обеспечения сейсмоустойчивости. Например, прорабатывалась идея индивидуально "развязать" каждый из машинных залов с грунтом, чтобы в случае землетрясения оборудование не пострадало. Мы проработали эту идею, но в итоге отказались от нее, так как теряли слишком много полезной площади и получали большие проблемы с коммуникациями.

В результате нами было принято решение изолировать от земли все здание. Оно было установлено на отдельной плите, которая связана с фундаментом через подвижные опоры, снимающие горизонтальную составляющую сейсмической волны. Само по себе решение не новое и широко применяется в сейсмоопасных регионах по всему миру для особо ответственных зданий. Например, в Китае, являющемся одним из лидеров в сфере сейсмобезопасности, на отдельные плиты ставят не только большие здания, но и целые микрорайоны. В нашем же случае уникальность заключалась в том, чтобы эффективно изолировать здание с большой площадью и малой массой, а значит, с малой удельной нагрузкой на подвижные опоры. Для этого нужно было разработать уникальную конструкцию сейсмоизоляторов с минимальным начальным усилием сдвига.

Решая вопросы сейсмобезопасности, мы работали вместе с нашим партнером по строительству - американской ассоциацией ARUP, одним из лидеров американского рынка по сейсмозащите. Они не только сами проектируют здания, но и принимают участие в разработке стандартов сейсмозащиты. По их оценке, построенный ЦОД можно считать одним из самых сейсмозащищенных зданий в мире.

Также мы привлекли к работе специалистов по сейсмике Стамбульского технического университета. Они получали и обрабатывали данные по сейсмической обстановке на площадке, на основании которых разрабатывали критерии сейсмозащиты. Кроме того, сотрудничали с американской компанией Earthquake Protection Systems, которая специально для данного проекта изготовила сейсмоизолирующие опоры.

- Какие компетенции проявили сотрудники КРОК при создании дата-центра?  

- В Турции не так много специалистов с опытом по строительству ЦОДов. Поэтому заказчику была нужна консультация международной команды, в которой в качестве одного из партнеров участвовал КРОК. Мы знаем, что такое дата-центры, и умеем их проектировать и строить согласно высочайшим международным стандартам. В этом проекте мы отвечали за технологию ЦОД - решения по генплану (проезды, противопожарные разрывы и т.п.), объемно-планировочные решения (количество, размер и назначение помещений, размер машзалов, этажность и т.п.), инженерную обвязку (охлаждение, бесперебойное питание и т.п.), консультации по коммерческой составляющей (построение бизнес-модели, контроль расходования средств). Кроме того, с учетом самых передовых систем безопасности КРОК разработал и технологии защиты.

Объект имеет три контура безопасности - Территория, Здание, Машзал. Каждая зона оснащена передовыми системами физического досмотра. В наиболее защищенную зону, Машзал, доступ осуществляется по двойной аутентификации - личной карте доступа и биометрическим параметрам человека. На всей территории дата-центра и внутри зданий ведется видеонаблюдение в режиме 24/7/365.  

- Расскажите про технические характеристики ЦОДа: площадь, размеры машинных залов, мощность и количество стоек.

- ЦОД занимает площадь около 25 тыс. кв.м. На площадке расположены два здания, каждое мощностью по 8 МВА. Общая мощность электроснабжения объекта - 16 МВА, что примерно на уровне крупнейших российских ЦОДов. За плечами специалистов КРОКа уже большой опыт работы с такими мощностями.

Площадь каждого машинного зала составляет порядка 600 кв.м. Всего таких залов восемь - по четыре в каждом здании. ЦОД рассчитан на 2112 стоек - по 1056 стоек в здании.

- Проект проходит сертификацию LEED Gold в сфере энергоэффективности и экологичности зданий устойчивого развития. Что КРОК сделал для получения такой сертификации? Получали ли ранее ЦОДы, созданные КРОК, такую сертификацию?

- КРОК занимался получением сертификации LEED Gold на этот объект "от и до". Для этого наши специалисты подбирали материалы и оборудование, которые влияют на сертификацию, разрабатывали решения в инженерной и IT-областях и т.д. Для нашего заказчика сертификат LEED Gold станет дополнительным преимуществом при участии в тендерах.

- Расскажите о других системах ЦОДа, как они устроены и в чем их уникальность?

- Отдельно отмечу систему охлаждения с очень высокой эффективностью. Это наша собственная разработка, созданная четыре года назад. Среднегодовое значение PUE составляет 1,25-1,3 на высокоэффективных чиллерах, пиковое - менее 1,5. Подобных результатов удалось добиться путем глубокой оптимизации классической системы охлаждения "чиллер - фанкойл".

Бесперебойное питание ЦОДа построено на оборудовании Hitec, которое хорошо зарекомендовало себя на наших предыдущих проектах. В результате в турецком ЦОДе будут инсталлированы 24 машины, по 1670 кВА каждая.

В планах заказчика - установить на крыше ЦОДа солнечные панели. Энергопотребление дата-центра растет с повышением температуры на улице, а в Турции она может достигать +40°C. В этом случае холодильные машины начинают потреблять много энергии. Если мы установим солнечные панели, это поможет нам снизить потребление энергии от городской сети и тем самым улучшить показатель PUE. Опыт установки таких панелей у нас уже есть. Например, для одной из обсерваторий в Чили нами была построена автономная система солнечного энергоснабжения - еще одна наша собственная разработка.

- Вы использовали BIM-технологии (Building Information Modeling, информационное моделирование здания) при проектировании здания?

- Инженеры и проектировщики КРОК начинали разрабатывать проект ЦОДа в 2D-системе. В дальнейшем мы перевели его в BIM-среду. Это позволило эффективнее контролировать этапы строительства и расход строительных материалов на площадке, облегчило поиск коллизий. Была даже разработана модель этого объекта в виртуальной реальности, что теперь помогает владельцам продавать мощности этого ЦОДа на местном рынке. Это тоже одна из наших уникальных компетенций. 

- Прошел ли ЦОД полную сертификацию на Tier III в Uptime Institute? 

- Проект ЦОД сертифицирован Uptime Institute Tier III, весной планируется сертификация площадки на Tier III Facility. Если заказчик пожелает, то через год после ввода в эксплуатацию он сможет подать заявку на сертификацию по Tier III Opertions.

- Почему КРОК гордится этим проектом?

- Это первый крупный зарубежный проект для нас. Конечно, в первую очередь получен уникальный опыт в проектировании сейсмоустойчивого ЦОДа. Помимо этого, мы получили опыт взаимодействия с иностранными проектировщиками, подрядчиками и государственными органами. На данный момент компания КРОК - одна из немногих компаний в мире, которая способна самостоятельно спроектировать ЦОД, построить его, обеспечить все бюрократические процедуры, включая, например, подключение к сети, эксплуатировать и сертифицировать. Наш бизнес и компетенции по созданию ЦОДов развиваются уже много лет.

- Когда намечен коммерческий запуск ЦОДа в Турции? 

- В настоящее время ведутся завершающие работы по оснащению ЦОДа инженерными системами. Опытная эксплуатация ЦОДа запланирована на начало 2018 года.

- Как оцениваете перспективы роста рынка ЦОДов в России?

- По моим наблюдениям, сейчас ситуация оживилась. Причина в том, что государство стало выделять больше средств на строительство дата-центров. Например, у нас развивается система электронного правительства, и нужны мощности для хранения данных. Спрос на емкость дата-центров растущий. Рынок отыгрывает затишье последних лет из-за кризиса.