Тренды в технологиях охлаждения для ЦОДов

Вычислительные системы в ЦОДах становятся с каждым годом мощнее и компактнее. При прочих плюсах этот процесс несет сложности, связанные с ростом тепловыделения. Ключевым признаком надежного ЦОДа становится качественное климатическое оборудование и его правильная эксплуатация.

Электропитание и климат – в основе надежности любого ЦОДа

Случается, при строительстве ЦОДа все рассчитано, но заказчики не могут получить плановых вычислительных мощностей и скорости передачи данных. Причиной может оказаться недосмотр в части электропитания и климатического оборудования.

С электропитанием всё просто. Если на системах электропитания сэкономили, работать на полную мощность они не смогут. Есть негласное правило: при развертывании систем электропитания закладывать 10-15% запаса по мощности, но не все ему следуют.

С точки зрения климата ситуация сложнее. Инженерная часть для ЦОДа рассчитывается обычно на 10 лет эксплуатации, в реальности этот срок доходит до 15 лет. Поэтому инженерные системы не успевают за модернизацией серверов. Часто менять инженерные системы нельзя – их замена требует остановки ЦОДа. Можно закладывать инженерную часть "с запасом", чтобы нормально эксплуатировать вычислительные мощности как можно дольше. Но этого недостаточно.

Климат в ЦОДах – это во многом микроклимат помещения, это воздух, а для него очень важна циркуляция. Можно заложить любые по мощности кондиционеры, но при отсутствии правильной циркуляции они будут охлаждать сами себя. В момент пиковых нагрузок оборудование перегревается и отказывается работать - современные процессоры умеют отключать свои ядра во избежание перегрева. Системы хранения данных при перегреве выходят из строя, что приводит к частичной или полной потере информации. Хорошо, когда у компании есть регулярные бэкапы. Но в банковской сфере, например, потеря информации за полчаса может обернуться потерей миллиардов рублей и большими репутационными рисками. Может получиться, что кондиционер мощностью 100 кВт не может охладить стойки даже на 50 кВт только потому, что он расположен в неудачном месте и воздушный поток нарушен.

Еще одна проблема – любой кондиционер при работе сушит воздух. Появляется статика, заряды возникают там, где их быть не должно, электронные компоненты выходят из строя. Согласно рекомендациям ассоциации инженеров-технологов ASHRAE, влажность воздуха в ЦОДе должна быть в диапазоне от 40% до 60%. Это связано с тем, что слишком сухой воздух вызывает рост статики, а слишком влажный - приводит к серьезным потерям холодильной мощности и увеличению энергопотребления.

О некоторых типах систем охлаждения

Сплит-системы состоят из наружного блока, в котором располагается компрессор с конденсатором и внутреннего - с испарителем. Они первыми начали использоваться для охлаждения вычислительного оборудования в ЦОДах, размещались на стенах и неплохо охлаждали летом. Но на зимний период сплит-системы не были рассчитаны. Производители нашли выход и начали делать комплекты зимней работы с подогревом компрессора. Срок эксплуатации таких систем довольно маленький, но это работало до тех пор, пока вычислительное оборудование было достаточно простым и не страдало от высокой статики.

Прецизионные кондиционеры на фреоне. На них российские ЦОДы стали переходить со сплит-систем, решая проблему влажности и статики. По сути, от сплит-систем они мало отличаются: у них тот же холодильный контур, компрессор, вентилятор, испаритель и конденсатор. Но это уже промышленная техника, рассчитанная на круглогодичную работу. Такие кондиционеры часто оснащаются системами увлажнения воздуха и умеют поддерживать не только температуру, но и влажность, их мощные вентиляторы заставляют воздух лучше циркулировать. Фреоновые кондиционеры сегодня составляют порядка 85% всех кондиционеров в российских ЦОДах.

Первыми были классические шкафные кондиционеры, они появились в 1996-1997 годах и до сих пор используются в ЦОДах, можно предположить, что их количество составляет порядка 70% всех кондиционеров на фреоне. В 2010-ом появилась альтернатива - внутрирядные кондиционеры.

Чиллерные системы охлаждения отличаются от фреоновых тем, что в их трубопроводах циркулирует водный раствор гликоля. Классические системы работают на достаточно холодной воде, с температурой подачи около 7 градусов цельсия. Из-за сильного осушения воздуха такие кондиционеры всегда оснащаются системой увлажнения, как правило, электродной. Минус – электродный парогенератор потребляет очень большую мощность - до трети мощности кондиционера, а воздух зачастую переувлажняется, что снижает явную холодильную мощность. Зато в холодный период года чиллерные системы с функцией фрикулинга позволяет отводить тепло без использования компрессорной группы, что серьезно снижает энергопотребление.

Сейчас многие ЦОДы переходят на технологии горячей воды, когда подается теплоноситель с температурой 12-17 градусов. Такие системы почти не дают конденсата и не сушат воздух, а значит - не требуют увлажнителей. Соответственно, экономия идет не только в зимний период на самой компрессорной группе, но и на увлажнении: не требуются ресурсы для водоподготовки, также как и замена бачков из-за износа электродов.

Гибридные машины с двумя контурами охлаждения – фреоном и водой - тренд, который пришёл в Россию в 2015-2016 годах. Переключение на водный контур происходит в холодный период года, при этом фреоновая система начинает работать в случае отказа водяной. Эти машины дороже, сложнее в эксплуатации и обслуживании, но, тем не менее, в длинном периоде они дают экономию и через 6–7 лет себя окупают. Однако в тех ЦОДах, где экономят на обслуживании, такие системы непопулярны..

Системы прямого фрикулинга охлаждают ЦОДы управляемым воздухом: воздух в машзале смешивается с воздухом с улицы. Такие системы потребляют гораздо меньше электричества и проще в обслуживании, в них нет френовых контуров и высокого давления. Но их можно применять, только если температура воздуха в регионе не поднимается выше 25 градусов. К тому же способы доставки потоков воздуха к чувствительному оборудованию накладывают ограничения на максимальную мощность стойки.

Адиабатическое охлаждение было известно еще в конце 1990-х, но до недавнего времени мало применялось. Эта технология позволяет охлаждать уличный воздух за счет разницы давления и распыления воды, при этом компрессоры не нужны, энергоэффективность сохраняется на очень высоком уровне, в ЦОД подается достаточно влажный воздух, но работает такая система, как правило, при температуре на улице до 35 градусов. Сложность в том, что эти системы требуют очень хорошей водоподготовки и регулярного обслуживания форсунок для распыления воды. Если экономить на комплектующих, через год-полтора эксплуатации нужного перепада температуры уже не будет. К тому же если такая система спроектирована, например, для температуры на улице до 35 градусов, то при превышении этого порога, что не является редкостью в наше время, возникнет серьезный риск перегрева вычислительной техники.

Системы фрикулинга на фреоне стали появляться в 2020 году. Зимой такие фреоновые системы работают без компрессора, что дает потрясающую энергоэффективность. Преимущество – такие системы не требуют дополнительных линий и не используют воду, в отличии от чиллерных систем. Основной недостаток - технология новая, многие пользователи ей не доверяют и ждут опыта "первопроходцев".

Иммерсионное охлаждение подразумевает, что оборудование работает погруженным в диэлектрическую охлаждающую жидкость. Технология появилась в 2014 году и сперва была очень дорогая для широкого использования, демонстрировалась в основном на выставках. Сейчас некоторые ЦОДы успешно затапливают в таком жидком теплоносителе высоконагруженные стойки с мощностью по 30-40 кВт. Но все же эта технология рассчитана на небольшие инсталляции в 1-2 стойки, потому бассейны для оборудования – нерациональная трата места в ЦОДе. Эксплуатировать затопленные стойки неудобно: для инсталляции или подключения любого нового элемента надо либо изымать стойку из бассейна и прерывать охлаждение, либо сливать и потом снова заливать жидкость, либо использовать горизонтальные конструкции и сильно усложнять коммутацию.

Отдельный тренд - уменьшение тепловыделения от оборудования

Тепловыделение можно уменьшить, сократив потери тепла на блоках питания с помощью применения OCP-стоек, когда общие блоки питания работают на входе, а дальше энергия распространяется по шинам в виде постоянного тока. Такие системы позволяют существенно снизить потери на преобразовании энергии - до 10%. В условиях большого ЦОДа затраты энергии на инженерные системы могут достигать 40%, и чем больше дата-центр, тем больше экономии дают OCP-стойки.

Кроме того, существуют системы, которые позволяют минимизировать тепловыделение оборудования в связи со способом передачи информации – например, тепловыделение меньше, если передача данных происходит не с помощью проводных технологий, а по оптике.

Позитивный тренд - постепенный переход на оборудование с плавной регулировкой мощности. Например, применение инверторной технологии в компрессоре минимизирует его пусковые токи благодаря системе плавного пуска. А встроенный контроллер постоянно следит за рабочими параметрами встроенного электродвигателя и не позволяет ему уходить в режим перегрузки, что значительно увеличивает его полезный срок службы.

Удешевление производства - проблема, о которой многие умалчивают

Любой производитель стремится удешевить продукцию. Но, как правило, более дешевые компоненты менее надежны и требовательнее к условиям эксплуатации. В России прекрасно работает сарафанное радио, однако последние годы ему нельзя доверять: если кто-то купил оборудование, которое отлично отработало несколько лет, то за это время, скорее всего, данные модели будут выпускаться уже с совсем другим качеством.

Это касается не только активного оборудования, но и инженерной инфраструктуры. Например, чиллеры раньше работали без серьезных поломок по 10-15 лет, но теперь они часто становятся точками отказа, да и протечки трубопроводов с теплоносителем перестали быть единичными случаями. Для любого предприятия, где используются электросети, такие протечки грозят коротким замыканием, аварийной остановкой ЦОДа, поражением током персонала. Фреоновая машина в этом плане безопаснее: в случае поломки или утечки - она останавливается и создает локальную проблему, а не угрозу аварии в масштабах всего ЦОДа.

Последствия приобретения некачественных систем охлаждения или недостаточно хорошего их обслуживания будут видны уже через 3-4 года: вычислительные мощности ЦОДа начнут перегреваться, а системы контроля микроклимата будут требовать капитального ремонта. Операторы ЦОДов прекрасно знают, что надежность - самое главное требование, но стоит помнить и о том, что это касается не только парка вычислительной техники, но и инженерных систем. Поэтому уход от дешевых решений – это, прежде всего, забота о репутации ЦОДа.