4 вопроса по фрикулингу, которые стоит задать производителю
Чиллерная установка - это самая дорогая, самая энергозатратная и самая капризная часть инженерной инфраструктуры дата-центра. Неудивительно, что всё больше операторов переходят на фрикулинг: охлаждение наружным воздухом. Экономия начинается сразу, ещё на стадии строительства, и продолжается каждый месяц в счетах за электричество.
Но у этой медали есть вторая сторона, и с ней сталкиваются уже после запуска. Без холодильных машин температура в холодном коридоре перестаёт быть постоянной. Зимой всё прекрасно. Летом в коридор приходит воздух, к которому среднестатистический сервер просто не готов, и вместо экономии вы получаете просадку производительности в самый неподходящий момент.
Чтобы этого не случилось, серверы для такого зала выбирают по другим критериям. Ниже - четыре вопроса, которые стоит задать любому производителю, и ответы на них для платформы ITPOD-SR201-S12R-NV-G2.
Вопрос 1. При какой температуре указана мощность радиатора?
Это главный вопрос, и почти никто его не задаёт.
Радиатор работает не на абсолютной температуре, а на разнице. Ему безразлично, сколько градусов в зале, важно лишь то, насколько воздух холоднее процессора. Процессор терпит примерно 85 °C. При входящем воздухе 25 °C у радиатора есть запас в 60 градусов. При 45 °C остаётся 40. Тот же радиатор, та же машина, а тепла отводится ощутимо меньше.
Дальше включается защита: процессор сбрасывает частоты. В спецификации всё выглядит прекрасно, а в июльский полдень сервис отвечает медленнее.
Поэтому в даташите ITPOD-SR201-S12R-NV-G2 ватты идут в связке с температурой зала, а не отдельно от неё. Под платформу разработаны три радиатора:
| Радиатор | Мощность CPU | Условия |
|---|---|---|
| Standard | до 400 Вт | классический ЦОД с кондиционированием |
| EVAC | до 350 Вт | холодный коридор до 45 °C |
| EVAC Plus | до 500 Вт | холодный коридор до 45 °C |
Обратите внимание на вторую строку. EVAC на бумаге «слабее» стандартного радиатора, хотя на деле сложнее и дороже. Причина в том, что его 350 Вт названы для 45 градусов на входе, а не для лабораторных условий.
И главный вывод из третьей строки: флагманский AMD EPYC с теплопакетом 500 Вт остаётся на обычном воздушном охлаждении даже в жарком коридоре. Никакой жидкости, никаких дополнительных контуров, никакого нового регламента обслуживания.
Все три конструкции просчитаны в Flotherm - промышленном пакете тепловой симуляции, а не подобраны по аналогии с прошлым поколением.
Вопрос 2. Что происходит с горячим воздухом внутри корпуса?
Когда на входе 45 градусов, воздух внутри сервера становится дефицитным ресурсом, и распределять его надо осознанно.
Один процессор вместо двух. Платформа односокетная: внутри один AMD EPYC поколения Genoa или Turin. В двухпроцессорной машине второй чип стоит в аэродинамической тени первого и получает уже подогретый поток. При 25 градусах на входе это терпимо, при 45 - нет. Здесь весь объём воздуха работает на один кристалл, и под него помещается радиатор такого размера, который в паре поставить было бы физически некуда.
Память получает свой поток. Внутри корпуса установлен воздуховод-дефлектор Wind Reflector. Он не даёт воздуху идти по пути наименьшего сопротивления и принудительно заводит его в зону модулей DDR5. Сами модули закрыты алюминиевыми радиаторами с плотным оребрением. Это не декоративная деталь: перегретая DDR5 снижает частоту без единой ошибки в логах, и вы просто теряете скорость работы с памятью, не понимая причины.
Дополнительный выигрыш даёт схема «один модуль на канал»: 12 слотов DDR5 на 6400 MT/s без второго ряда планок. Это и полная пропускная способность памяти, и вдвое меньше препятствий на пути воздуха.
Сетевая карта не дышит выхлопом. Модуль OCP 3.0 стоит в самой невыгодной точке корпуса, на выходе горячего воздуха. Современный адаптер на 100 или 200 Гбит греется сам по себе не хуже небольшой печки, и добавлять к этому чужое тепло нельзя. Дефлектор отсекает его от процессорного потока.
Спереди нет лишних нагревателей. В дисковом тракте нет микросхемы SAS-экспандера: накопители NVMe подключены кабелями MCIO напрямую к материнской плате. Выигрыш в задержках очевиден, но есть и тепловой эффект. Всё, что греется во фронтальной зоне, портит охлаждение всему, что стоит дальше по потоку. Здесь этот источник тепла просто отсутствует.
Вопрос 3. Сколько электричества потребляют вентиляторы?
Об этом редко говорят вслух, но сказать стоит: отказываясь от чиллеров, вы частично перекладываете энергозатраты на вентиляторы самих серверов. Насколько выгодным окажется переход на фрикулинг, во многом зависит от того, как именно машина гоняет воздух.
Арифметика здесь жёсткая. Потребляемая вентилятором мощность растёт примерно как куб оборотов: раскрутили вдвое быстрее - платите в восемь раз больше.
В ITPOD-SR201-S12R-NV-G2 стоят шесть вентиляторов 60 мм в центральной части шасси, сразу за дисковой корзиной. Роторную схему можно выбрать под конкретную площадку:
- Однороторные - проще и дешевле. Разумный выбор для умеренных теплопакетов и стабильной температуры в зале.
- Двухроторные - два встречно вращающихся винта создают нужный напор на заметно меньших оборотах. Для фрикулинга, где вентиляторы значительную часть года работают в верхней части характеристики, разница в счетах за год получается вполне осязаемой.
Каждый ватт, не потраченный на вращение вентилятора, остаётся в бюджете на вычисления.
И ещё одна эксплуатационная деталь. При повышенных температурах вентиляторы работают напряжённее и изнашиваются быстрее. Здесь они меняются на горячую, без остановки нагрузки — это не опция, а необходимость для такого зала.
Вопрос 4. Как я увижу всё это из мониторинга?
При фрикулинге температура на входе меняется каждый день: погода, сезон, время суток. Управлять таким парком вслепую невозможно.
За внеполосное управление отвечает выделенный контроллер BMC ASPEED AST2600: собственный сетевой порт 1GbE, информативный веб-интерфейс и поддержка Redfish 1.15, SNMPv3 и IPMI 2.0. Практический смысл в том, что метрики забираются обычными веб-запросами и без специфических утилит встают в тот мониторинг, который у вас уже работает.
Что это даёт в зале на сотни машин:
- видно, в каких стойках температура на входе systematically выше остальных;
- сразу заметны серверы, у которых вентиляторы постоянно держат повышенные обороты. Это первый признак забитых фильтров или подсоса горячего воздуха с обратной стороны стойки;
- можно планировать размещение тяжёлых нагрузок по сезону, а не тушить пожары по факту.
Плюс диагностическая индикация прямо на плате, включая отдельный светодиод ошибки памяти. Выездному инженеру не придётся гадать, какой из двенадцати модулей виноват.
Что еще умеет эта машина
Тепловой дизайн - не единственное, ради чего стоит смотреть на платформу.
- Хранение. 12 универсальных отсеков спереди под накопители 2.5" и 3.5" с горячей заменой, любые интерфейсы: SATA, SAS, NVMe. Конфигурации смешиваются, например 8 дисков 3.5" под ёмкость плюс 4 NVMe под скорость.
- Загрузка. Отдельный адаптер M.2 NVMe с аппаратным зеркалом RAID-1. Системные диски не занимают фронтальные отсеки.
- Расширение. Модульные райзеры PCIe 5.0, два полновысотных и два низкопрофильных, плюс посадочное место под сетевой модуль OCP 3.0. Райзеры ставятся опционально, так что незанятые зоны остаются аэродинамически свободными.
- Питание. Два блока по схеме резервирования 1+1 и выделенная плата распределения, разводящая питание отдельными линиями на плату, дисковый бэкплейн, вентиляторы и райзеры.
- Габариты. Стандартные 2U глубиной 695 мм, с поддержкой кабельного органайзера.
Сервер, пригодный для фрикулинга, отличается от обычного не строчкой в каталоге. Отличия конкретные, и каждое можно проверить:
- Мощность радиаторов указана для 45 °C на входе, а не для комфортных лабораторных условий.
- Воздух внутри корпуса разводится принудительно, с отдельной заботой о памяти и сетевой карте.
- Вентиляторы подбираются под площадку и меняются без остановки сервера.
- Во фронтальной зоне нет лишних источников тепла.
