Процессору на 192 ядра нужна жидкость? Как ITPOD-SR201-S12R-NV-G2 охлаждает AMD EPYC 9965 на 500 Вт воздухом

Представим, что вам нужен узел на 192 ядра: под виртуализацию, Kubernetes или обработку трафика. В линейке AMD EPYC 9005 это EPYC 9965 с TDP 500 Вт. Дальше обычно звучит один из трёх ответов:

• «Такое только на жидкостном охлаждении». А зал обычный, с кондиционерами, и переделывать его под один сервер никто не планировал.
• Процессор ставят в сервер, который на 500 Вт не рассчитан. Под нагрузкой он снижает частоту, и купленные ядра работают медленнее.
• Сервер справляется, но вентиляторы крутятся на пределе. Стойка шумит, вентиляторы изнашиваются, ночью приходят алерты.

Есть четвёртый вариант: 500 Вт на воздухе в обычном зале. Разберём, за счёт чего это работает.

Почему обороты вентиляторов не спасают

Мощность вентилятора растёт как куб оборотов, а поток воздуха  только линейно. Поэтому «поднять обороты» - самый дорогой способ охладить процессор.

Что это значит в цифрах:

• обороты × 2 → воздуха × 2, а мощность × 8 (2 × 2 × 2);
• обороты + 26 % → мощность уже × 2 (1,26³ ≈ 2), а воздуха всего + 26 %;
• вместе с ваттами растут шум и износ подшипников.

Cloudflare в описании своих серверов Gen 12 формулирует правило так: сначала механика, потом обороты (Cloudflare, thermal design Gen 12). Большой радиатор на низких оборотах выигрывает у маленького на высоких.

Механика сводится к трём вещам:

1. Площадь рёбер радиатора.
2. Объём корпуса, куда эти рёбра можно вынести.
3. Каким воздухом дышит каждая зона: холодным с фронта или нагретым соседом.

Почему для 500 Вт нужен корпус 2U, а не 1U

Корпус 2U даёт место под крупные вентиляторы и под вынесенный блок рёбер радиатора. В 1U помещаются только вентиляторы 40 мм, и они ограничивают мощность процессора.

Cloudflare посчитала это на своём корпусе (Cloudflare, Gen 12 в 2U):

Это замер Cloudflare в их корпусе, а не паспорт нашего сервера. Но принцип общий: вентилятор 80 мм даёт до четырёх раз больше воздуха, чем 40 мм.

Возражение «2U занимает вдвое больше места» Cloudflare тоже разбирает. Стойка упирается в лимит мощности раньше, чем в юниты. По их оценке, 2U выгоднее 1U для процессоров от 340 Вт и выше. Процессор на 500 Вт — за этой границей с запасом.

Какой радиатор нужен для AMD EPYC 9965

Для EPYC 9965 на 500 Вт нужен радиатор EVAC Plus. Радиатор Standard рассчитан на процессоры до 360 Вт.

EVAC - это Extended Volume Air Cooled, радиатор с вынесенным объёмом рёбер. Рёбра уходят из тесного места над сокетом в свободный объём корпуса. Площадь рёбер больше, поэтому тепло уходит в тот же поток воздуха, и вентиляторам не нужно разгоняться.

Оба радиатора ставятся на одну плату в один корпус. Модель сервера одна, меняется только радиатор.

TDP - это тепловая мощность, на которую AMD нормирует процессор. Радиатор выбирают по TDP, а не по числу ядер:

Обратите внимание: у EPYC 9745 меньше ядер, чем у 9845, но TDP выше. Поэтому смотрят на ватты.

Как идёт воздух внутри ITPOD-SR201-S12R-NV-G2

Воздух идёт спереди назад:

1. Дисковая корзина на 12 отсеков.
2. Шесть двухроторных вентиляторов с горячей заменой.
3. Радиатор процессора и 12 слотов памяти, по шесть с каждой стороны сокета.
4. Сзади — два блока питания и четыре райзера со слотами PCIe.

вид сверху: воздух идёт спереди назад через дисковую корзину, шесть вентиляторов и радиатор процессора; сзади плата распределения питания, два блока питания и четыре райзера

Воздух за процессором горячий. По замеру Cloudflare в их корпусе он нагревается до 70 °C за радиатором и примерно до 55 °C за памятью. Если карты PCIe стоят в этом потоке, они дышат выхлопом процессора.

Поэтому в ITPOD-SR201-S12R-NV-G2 стоят пластиковые воздуховоды. Они разделяют потоки к процессору, памяти и слотам PCIe. Каждая зона получает холодный воздух с фронта, а не нагретый соседом.

Вентиляторы меняются на ходу. Отказавший вентилятор заменяют без остановки сервера.

вид сверху со снятой крышкой: радиатор EVAC Plus, плита над сокетом и тепловые трубки к вынесенному блоку рёбер; слоты памяти по обе стороны сокета, райзеры и блоки питания сзади

Какой блок питания нужен под процессор на 500 Вт

Под EPYC 9965 нужен блок питания от 1300 Вт. Блок 800 Вт подходит для процессоров до 360 Вт с умеренным набором карт.

В сервере два блока питания с горячей заменой, схема 1 + 1. Это значит, что один блок держит весь сервер, а второй стоит в резерве. Поэтому мощность одного блока считают на пик всего сервера, а не на половину.

Как выбрать блок:

1. Сложите пиковое потребление процессора, памяти, накопителей, вентиляторов и карт.
2. Добавьте запас 10–20 %.
3. Выберите ближайший блок: 800, 1300, 1600 или 2200 Вт.

Пример: процессор на 500 Вт сам занимает 500 ÷ 800 = 62 % блока на 800 Вт. А ещё каждый слот PCIe отдаёт карте до 75 Вт, и пять сетевых карт дают до 375 Вт. Поэтому для 400–500 Вт берут блок от 1300 Вт.

Подобрать процессор и радиатор

Напишите, какая задача стоит на узле и сколько ядер нужно. Пресейл ITPOD подберёт:

• процессор AMD EPYC 9005 под задачу;
• радиатор по TDP процессора;
• блок питания по сумме пиков;
• конфигурацию памяти и слотов.

Пишите на sales@itpod.com.