Умный дата-центр: как ИИ и промышленные технологии меняют систему охлаждения

В OVHcloud мы постоянно ищем способы улучшить наши операции и снизить воздействие на окружающую среду. Это было определяющей частью компании с 1999 года и является ключевым элементом нашей организационной ДНК и коммерческой модели.

Мы с гордостью представляем новую систему охлаждения Smart Datacenter, которая значительно повышает энерго- и водную эффективность, обеспечивая при этом существенное снижение углеродного воздействия по всей цепочке охлаждения — от производства и транспортировки до повседневной эксплуатации.

Эта система — новый способ строительства и развертывания инфраструктуры центра обработки данных. Она меняет то, как мы управляем и контролируем спрос и предложение воды, используя комбинацию промышленного дизайна, датчиков Интернета вещей (IoT) и инноваций в области искусственного интеллекта, в частности, в наших умных стойках, усовершенствованных агрегатах распределения охлаждения (CDU) и интеллектуальных сухих охладителях.

Smart Datacenter обеспечивает снижение энергопотребления до 50% во всем контуре охлаждения — от водоблоков серверов до сухих охладителей — и потребляет на 30% меньше воды по сравнению с самой ранней конструкцией OVHcloud, что дает значительные преимущества для устойчивого развития. Система также использует сложные математические модели, учитывающие детальные данные на уровне стоек и окружающей среды, чтобы оптимизировать производительность охлаждения в реальном времени. Кроме того, все эксплуатационные данные передаются в централизованное хранилище данных (data lake), что позволяет передовому искусственному интеллекту прогнозировать, адаптироваться и повышать эффективность и надежность системы.

Давайте углубимся в детали.

Система состоит из трех основных компонентов:

1. Умные стойки (Smart Racks): Они спроектированы с инновационной гидравлической архитектурой «тяги», где каждая стойка автономно забирает именно тот поток воды, давление и температуру, которые ей необходимы, динамически адаптируясь к нагрузке и производительности серверов.
2. Усовершенствованный агрегат распределения охлаждения (CDU): Это компактный агрегат первичного контура следующего поколения, который автономно балансирует поток и давление во всех стойках без ручного вмешательства или какого-либо электрического взаимодействия. Он использует только гидравлические сигналы (давление, расход и температура воды), чтобы «понимать» потребности стоек, и постоянно оптимизирует работу для минимального энергопотребления и увеличения срока службы насосов.
3. Интеллектуальный сухой охладитель (Intelligent Dry Cooler): Им бесшовно управляет CDU, что устраняет необходимость в отдельных системах управления («мозгах») как на сухом охладителе, так и на CDU. Эта унифицированная архитектура управления обеспечивает оптимизированную, согласованную работу всей инфраструктуры охлаждения.

Новая система с одним контуром (Single-Circuit System, SCS) от OVHcloud заменяет предыдущую архитектуру охлаждения с двумя контурами (Dual-Circuit System, DCS), которая состояла из первичного контура объекта и вторичного контура внутри стойки, разделенных агрегатом распределения хладагента (CDU), установленным в линию непосредственно за теплообменниками задней двери (RDHX), как показано на Рисунке 1. CDU содержал несколько насосов, несколько пластинчатых теплообменников (PHEX) и сеть клапанов и датчиков.

Рисунок 1. Архитектура охлаждения с двумя контурами (DCS) vs система с одним контуром (SCS).

Эта предыдущая конструкция поддерживала турбулентный поток через водоблоки (WBs), используя внутристоечный CDU для регулировки расхода и перепада температур, обеспечивая производительность несмотря на ΔT OVHcloud в 20 K в первичном контуре (что намного выше типичного рыночного значения около 5 K).

Удаление внутристоечного CDU — замененного на клапан с независимым от давления регулированием (PICV), расходомер и два датчика температуры на каждой стойке — упрощает систему до одного замкнутого контура, где расход через серверы задается непосредственно первичным контуром, динамически адаптируясь к плотности нагрузки в стойке. Со стороны стойки система адаптирует точный требуемый расход, анализируя поведение воды и выполняя итеративную, прогнозирующую тепловую оптимизацию с учетом компонентов ИТ-оборудования, а также температуры и расхода подаваемой воды. Это приводит к более низкой температуре воды на входе на уровне сервера из-за устранения разницы температур приближения внутристоечного CDU, а также снижает потребление электроэнергии, капитальные затраты (CAPEX), углеродный след и занимаемую стойкой площадь.

Чтобы предотвратить ламинарный поток и сохранить эффективность теплопередачи при низких расходах, OVHcloud внедрила пассивное гидравлическое новшество, объединив серверы в кластеры, соединенные последовательно, при этом серверы внутри каждого кластера соединены параллельно, а не все серверы параллельно. Это обеспечивает более высокий расход воды через отдельные серверы, даже когда плотность нагрузки в стойке низкая. Хотя это увеличивает перепады давления в системе в зависимости от конфигурации кластера, это приводит к лучшей тепловой производительности, и все серверы получают воду при температурах, равных или более низких, чем в предыдущей конструкции DCS.

Стойки работают по новому гидравлическому принципу «тяги» — где каждая стойка забирает ровно ту гидравлическую мощность, которая ей требуется, а не получает ее «проталкиваемой» системой. CDU затем динамически адаптирует общие гидравлические характеристики первичного контура, балансируя расход и давление в реальном времени в соответствии с фактическим спросом всего центра обработки данных.

Ключевым прорывом является работа CDU без коммуникации: ему не нужны кабели, радиоволны или другие электронные средства связи со стойками. Вместо этого он анализирует гидравлические сигналы — колебания давления, расхода и температуры в самой воде — чтобы понять потребности каждой стойки в охлаждении и адаптироваться соответствующим образом. Это устраняет сложную инфраструктуру телеметрии, снижает операционные риски и повышает надежность системы. Чтобы обеспечить качество воды и долговечность системы, вода, подаваемая в ЦОД, фильтруется на уровне 25 микрон, а множество сложных высокоточных датчиков постоянно в реальном времени контролируют качество воды.

CDU на 50% меньше, чем предыдущее поколение, и управляет всем тепловым трактом — от водоблоков на уровне чипов, через стойки и CDU, до сухих охладителей.

Вновь спроектированный сухой охладитель также на 50% меньше предыдущей модели и имеет один из самых низких показателей занимаемой площади в мире. Благодаря многолетним тепловым исследованиям теплообменников командой R&D OVHcloud, у него на 50% меньше вентиляторов, что приводит к очень низкому энергопотреблению и снижению уровня шума. Его компактный размер также означает, что мы можем перевозить больше единиц в одном грузовике! Эта конструкция обеспечивает сокращение потребления воды на 30% по сравнению с самой ранней конструкцией сухого охладителя OVHcloud. Ключевым новшеством в сухом охладителе является его усовершенствованная система адиабатических охлаждающих панелей, которая охлаждает поступающий горячий воздух до его прохождения через теплообменники. Эта высокоточная система впрыска воды является первой в своем роде и регулирует подачу воды на основе данных с множества датчиков и обширных итерационных расчетов, включая нагрузку ЦОДа, температуру и уровень влажности окружающей среды.

В отличие от традиционных адиабатических систем, система панелей не использует обычный рециркуляционный контур. Вместо этого вода при необходимости впрыскивается на панели с помощью простой установки, состоящей из соленоидного клапана и расходомера, что устраняет сложную гидравлику, такую как насосы, фильтры, накопительные баки, датчики уровня и датчики проводимости. Система поддерживает качество воды и физико-химические свойства за счет тщательного проектирования, что радикально упрощает эксплуатацию и снижает потребности в обслуживании.

CDU постоянно анализирует данные с до 36 датчиков, распределенных по самому CDU и связанному с ним сухому охладителю. Он также собирает эксплуатационные данные с соленоидных клапанов, насосов и вентиляторов сухого охладителя по всему инфраструктурному контуру. За всеми компонентами ведется наблюдение и управление с помощью центрального интеллекта системы — панели управления CDU, что обеспечивает всестороннее понимание поведения всей системы, от внутренней части ЦОДа до внешней среды, гарантируя контроль производительности в реальном времени и точное тепловое регулирование.

Благодаря этому итеративному и точному управлению впрыском воды система оптимизирует производительность охлаждения и эффективность использования воды (WUE), обеспечивая минимальное потребление воды без ущерба для тепловой эффективности.

Расширенная аналитика системы, самообучение и интеграция ИИ

Вся система спроектирована для непрерывного анализа теплового, гидравлического и аэродинамического поведения различных жидкостей вдоль пути охлаждения. Она использует ежедневные эксплуатационные данные для обучения и динамической адаптации своей производительности, оптимизируя со временем эффективность и надежность охлаждения.

«Мозг» CDU — панель управления — агрегирует данные с 36 датчиков, распределенных по CDU и сухому охладителю, а также эксплуатационные данные с соленоидных клапанов, насосов и вентиляторов сухого охладителя в инфраструктурном контуре. Он также собирает критически важную информацию на уровне стойки, включая расходы, температуры и данные IPMI, отражающие поведение и производительность ИТ-оборудования. Все эти эксплуатационные данные передаются в централизованное хранилище данных для параллельного анализа, что закладывает основу для следующего шага: интеграции передового искусственного интеллекта (ИИ). Этот ИИ будет использовать постоянно собираемые данные и процессы обучения для улучшения прогностических возможностей, оптимизации будущих рабочих точек и обеспечения полностью автономного принятия решений.

Это сочетание обучения в реальном времени и аналитики на основе ИИ обеспечит расширенную диагностику, прогнозное обслуживание и проактивное управление — максимизируя время безотказной работы, снижая затраты и способствуя еще большей устойчивости.

Инновации в итерационной системе управления

Итеративная система управления контролирует все аспекты в реальном времени, без участия оператора, постоянно обучаясь на данных с датчиков и операционной обратной связи. Она применяет алгоритмы к скорости насоса на ХБР, вентиляторам на сухом охладителе и электромагнитному клапану, управляющему впрыском воды на адиабатические панели.

Со стороны стойки система использует клапан PICV, расходомер и два датчика температуры для адаптации точного гидравлического потока, необходимого каждой стойке, с учетом ИТ-нагрузки и температуры поступающей воды, итеративно оптимизируя тепловые характеристики и энергоэффективность.

На ХБР система анализирует совокупные гидравлические сигналы от всех стоек вместе с условиями окружающей среды в дата-центре, динамически балансируя поток и давление во всей инфраструктуре дата-центра без вмешательства человека.

Более того, система охлаждения OVHcloud включает интеллектуальное взаимодействие между охлаждающими контурами для улучшения обнаружения сбоев и упрощения обслуживания. Это достигается за счет встроенных механизмов freeze-gaud (защиты от замерзания) и resilience-switch (переключения для устойчивости), которые обеспечивают непрерывную работу и отказоустойчивость системы. Система freeze-gaud предназначена для защиты сухих охладителей в условиях отрицательных температур окружающей среды за счет поддержания циркуляции воды через их теплообменники. Если общий расход в контуре падает ниже заданного порога, система автоматически открывает нормально закрытый байпасный клапан для поддержания циркуляции, предотвращая замерзание, несмотря на использование чистой воды (без гликоля) в качестве хладагента. Система resilience-switch поддерживает избыточность за счет гидравлического соединения нескольких охлаждающих контуров. В случае сбоя или перегрузки на одной линии нормально открытые электромагнитные клапаны изолируют затронутую линию, в то время как байпасные клапаны на соседних линиях открываются для перераспределения потока воды и поддержания эффективности охлаждения. Это динамическое и автономное управление клапанами гарантирует бесперебойное обслуживание и быструю реакцию на неисправности.

Вдохновляясь методологиями автономного управления в передовых отраслях, система прогнозирует будущее поведение на основе итеративных расчетов, динамически адаптируя скорость насоса, скорость вентиляторов и степень открытия электромагнитных клапанов для быстрого достижения оптимальных рабочих точек. Она также корректирует производительность с учетом внешних ограничений, таких как пределы уровня шума, доступность воды или стоимость энергии — например, потребляя больше энергии для экономии воды в регионах с её дефицитом или балансируя ограничения по шуму в городских условиях.

Эта уникальная, самооптимизирующаяся сквозная система управления максимизирует энергоэффективность, устойчивость и операционную простоту, продлевая жизненные циклы насосов и обеспечивая самое экологически ответственное решение для охлаждения дата-центров на сегодняшний день.

Эта вертикально интегрированная автономная система — включая умные стойки, продвинутый ХБР и интеллектуальный сухой охладитель — представляет собой мировую инновацию в области сквозного, интеллектуального, устойчивого, не требующего коммуникаций и основанного на данных охлаждения дата-центров.

Почему это важно?

Эта инновация имеет решающее значение, поскольку знаменует собой решительный шаг к радикально более устойчивому, эффективному и автономному охлаждению дата-центров — отвечая на растущие потребности цифровой инфраструктуры, одновременно снижая её воздействие на окружающую среду.

Используя меньшее количество компонентов и компоненты меньшего размера, мы экономим электроэнергию, сокращаем транспортные расходы и снижаем углеродный след. Меньшее количество вентиляторов на сухом охладителе означает до 50% меньшее энергопотребление в цикле охлаждения — а новая система панелей означает на 30% меньшее потребление воды в системе охлаждения. Система полностью автономна, исключая человеческий фактор. Температурный градиент в 20K в первичном контуре — в четыре раза выше, чем в среднем по отрасли — означает, что расходы могут быть ниже, а эффективность использования воды выше. Система не зависит от Wi-Fi или кабелей, а предиктивное управление постоянно адаптируется к внешним условиям или ситуационным целям, пополняя озеро данных для постоянной оптимизации производительности.

Современный мир построен на технологиях, и дата-центры являются ключевой частью этих технологий, но существует насущная необходимость гарантировать, что мы сможем поддерживать прогресс человечества без значительного углеродного следа. Энерго- и водная эффективность — ключевая часть этого уравнения в индустрии дата-центров, и наша инновация в рамках Smart Datacenter продолжает нашу траекторию поддержки сегодняшних потребностей без ущерба для мира завтрашнего дня.