Иммерсионное охлаждение высокой мощности

Современные электронные компоненты с каждым годом работают все быстрее. Растут скорости, растет потребление и тепловыделение. Современные тенденции иммерсионного охлаждения процессоров и видеокарт все больше входят в нашу жизнь.

На рынке присутствуют множество предложений систем иммерсионного охлаждения, однако при первом знакомстве их принципиальные различия не так легко определить. Мы провели сравнение технологий опытным путем и выявили их недостатки и преимущества.

Перегрев оборудования как бич современной электроники

Каждый знает, что современная электроника работает от электрической силы. В таком устройстве есть либо батарейка, либо его нужно включать в розетку. И всех их объединяет ещё одна общая черта — они нагреваются. Например, современные телефоны активно выделяют тепло при выполнении ресурсоёмких задач: играх, записи видео высокого качества и т.д., а геймеры знают, что для бесперебойной работы их мощных компьютеров нужны большие и производительные кулеры.

Электрический ток от источника питания проходит через микросхемы, состоящие в основном из полупроводников сложной структуры. Полупроводник — это некий материал, который частично проводит электрический ток, а частично нет. Его проводимость зависит от напряжения, температуры и других условий.

Если взять несколько разных полупроводников и расположить их в три слоя, можно добиться неожиданного результата. Если подать напряжение на 1-ый и 3-ий слой, ток через такой “бутерброд” не протекает. А если же пустить совсем небольшой ток по 2-му слою, то между 1-ым и 3-им слоем ток начинает протекать почти беспрепятственно.

Прибор, действующий по указанному принципу, называется транзистором. Сейчас его структура, разумеется, является более сложной, но правило осталось тем же — управление протеканием тока за счёт управляющего затвора. Этот эффект можно сравнить с водопроводным краном.

Особое внимание в работе транзистора уделяют процессу перехода из закрытого состояния (ток не течёт) в открытое (ток течёт беспрепятственно). Здравый смысл подсказывает, что переход из одного состояния в другое не может быть моментальным, и занимает хоть и очень короткий, но всё же не нулевой отрезок времени. Именно в момент переключения между этими состояниями ток проходит плохо, что и вызывает нагрев транзистора.

Современные процессоры работают на частотах до 4 ГГц, это означает, что транзисторы в процессоре совершают 4 000 000 000 переключений в секунду! И каждое такое переключение вызывает нагрев прибора.

Именно по этой причине при разгоне процессора (оверклокинге) процесс нагрева проявляется особенно сильно.

Для отвода тепла к поверхности процессора применяют радиатор с вентилятором. Вентилятор продувает рёбра радиатора холодным воздухом и отводит тепло, выделяемое процессором. Такой подход наиболее прост в использовании, поэтому он и получил массовое распространение.

Развитие электроники привело к тому, что с каждым годом скорость процессоров и количество транзисторов стремительно увеличивались, а размер процессора неизменно оставался на прежнем уровне. Сравните процессор Intel 486 со скоростью 33 МГц и современный Intel I7 с скоростью 3,8 ГГц. Размер — тот же, скорость — намного выше, а, значит, выше электропотребление и тепловыделение.

Необходимо отметить тот факт, что для корректной работы транзистора его температура должна оставаться низкой, иначе он начинает проводить электрический ток даже тогда, когда от него это не требуется. Получается, что чем быстрее процессор, тем больше он нагревается, и тем выше шанс того, что транзисторы внутри него будут работать некорректно. Такой эффект наблюдается, например, при оверклокинге и выражается в виде знаменитого “синего экрана смерти”. Когда процессор обнаруживает сбой в собственной работе, ОС останавливает его работу, а пользователю демонстрируется синий экран с информацией о текущем состоянии. Если продолжать эксплуатацию в таком режиме — высока вероятность того, что хотя бы один транзистор из нескольких миллиардов сломается. Это приведет к регулярным сбоям в работе и невозможности использовать такой процессор в дальнейшем.

Именно поэтому так важно использовать хорошие системы охлаждения и эксплуатировать электронику в заданном температурном режиме. Погоня за скоростью может привести сначала к случайным зависаниям, а потом — и к постоянным, с дальнейшей поломкой процессора.

Этот принцип распространяется, в первую очередь, на современные CPU — и особенно GPU. Из-за разницы в архитектуре двух этих вычислительных устройств нагрев GPU получается более сильным — просто потому, что при работе используются почти все транзисторы, имеющиеся внутри. Средняя мощность топового CPU составляет 90 Вт, а GPU — 200 Вт. Поэтому радиаторы современных видеокарт по размеру намного больше радиаторов центральных процессоров.

При охлаждении больших вычислительных мощностей возникают дополнительные сложности. Мощность серверного оборудования, расположенного на одном квадратном метре, крайне высока, и составляет десятки кВт. К тому же необходимо поддерживать постоянный микроклимат, без колебаний температуры и влажности. Рассмотрим внимательно определение слова «влажность»: концентрация молекул воды на единицу объема воздуха; при определенных обстоятельствах влага может конденсироваться и превращаться в воду, которая очень хорошо проводит электрический ток — что очень опасно для электроники. В серверных также имеется ещё один враг — пыль, которая забивает радиаторы и существенно снижает эффективность охлаждения.

Традиционные и альтернативные системы охлаждения

Даже несмотря на все указанные сложности, производители современного серверного оборудования по-прежнему продолжают использовать воздух для отвода тепла. Почти все современные серверные спроектированы под воздушное охлаждение, с разделением на холодные и горячие коридоры. Для обеспечения климатических условий в течение всего года устанавливают мощные климатические установки, в состав которых входит кондиционеры. Такие установки сами по себе потребляют много электроэнергии и, как это не парадоксально, сами же выделяют много тепла. И это решение, к сожалению, распространено массово.

Альтернативные технологии воздушного охлаждения — это фрикулинг. Воздух поступает извне и продувает серверную, свободно уходя наружу. При таком подходе снижаются затраты на оборудование, но данное решение не подходит для жарких стран. К тому же, воздух остаётся запыленным, а его влажность соответствует влажности на улице, что сопровождается колебаниями как влажности, так и температуры внутри объекта.

Иммерсионная система охлаждения

Сравнительно недавно получили популярность технологии иммерсионного охлаждения. Разработки на эту тему велись давно, так как сама технология уже не нова, однако сейчас её востребованность растёт необычайными темпами.

Слово «иммерсионное» означает «погружное». Это значит, что вся электроника, все платы сервера, процессор, видеокарты, блоки питания и жёсткие диски полностью погружены в жидкость. Естественно, что эта жидкость диэлектрик и не проводит ток — иначе работа электроники была бы невозможна. При дальнейшем анализе предлагаемых решений становится ясно, что иммерсионное охлаждение бывает разным, с фазовым переходом и без. Эти типы охлаждения отличаются не только своим физическим принципом, но и обладают существенными различиями при эксплуатации.

Так, минеральное масло использовалось для охлаждения силовых трансформаторов на подстанциях очень давно. Это вещество отличается отсутствием электрической проводимости и достаточной теплоёмкостью. Также можно отметить его низкую стоимость.

Жидкость Novec компании 3M для двухфазного охлаждения, в противовес минеральному маслу, используется относительно недавно. Она тоже не проводит электрический ток и обладает низкой теплоёмкостью. Удивительно, но эффект охлаждения с её помощью достигается за счёт кипения. Для более детального разбора этого явления нам понадобится вспомнить законы физики.

Нагрев жидкости происходит за счёт передачи энергии от более тёплого объекта к более холодному. Количество энергии, или количество тепла, измеряется в Джоулях. Один Джоуль — это эквивалент нагрева тела при помощи 1 Вт в течение одной секунды.

Таким образом, видеокарта выделяет 200 Вт * 1 с = 200 Дж тепла, если она проработала всего одну секунду. За минуту карта выделит 200 Вт * 60 с = 12 кДж тепла. Второй вопрос, который возникает при этом — это температура. На сколько изменится температура видеокарты при таком нагреве? Изменение температуры будет зависеть от теплоёмкости того объекта, который мы греем, и его массы. Вполне очевидно, что стакан воды в чайнике закипает намного быстрее, чем полный чайник.

Представим, что мы пытаемся нагреть одной видеокартой 1 литр воды. Вес 1 литра воды составляет примерно 1 кг. Теплоёмкость воды равна примерно 3800 Дж/кг/К. Это значит, что для нагрева воды весом в 1 кг на 1 градус Цельсия потребуется 3800 Дж энергии. Сопоставим это с мощностью нашей видеокарты и получим 12000 / 3800 = 3,15 градусов Цельсия. И это — всего за минуту! Простыми вычислениями можно установить, что через 10 минут вода нагреется на 31°С. Естественно, такой процесс не будет продолжаться вечно. Так что, если пренебречь теплопроводностью материалов, вода нагреется до 85–90 градусов, после чего видеокарта перегреется и зависнет.

Если доработать наш эксперимент и через 10 минут заменить нагретую воду на холодную, то процесс нагрева начнётся заново. В этом случае перегрева карты не наступит. Конечно же, менять воду каждые 10 минут неудобно, и приходит мысль протянуть трубы, по которым будет поступать холодная вода, а нагретая — будет вытекать. Такие жидкостные системы охлаждения существуют и продаются во многих компьютерных магазинах.

Давайте вернёмся к иммерсионному охлаждению минеральным маслом. Для этого в наших расчётах нужно изменить теплоёмкость и массу вещества. Вес 1 литра масла чуть меньше литра воды и составляет 0,85 кг. Теплоёмкость равна 1800 Дж/кг/К. Значит, для нагрева литра масла нужно 0,85 кг * 1С * 1800 Дж/кг/К = 1,5 кДж энергии. Значит, видеокарта за 1 минуту нагревает масло на 12000 / 1500 = 8 °С. Это намного больше 3,15 °С. Однако, у данного метода имеется большое преимущество — ему не нужны трубы для подвода и отвода жидкости к каждой видеокарте. Можно просто положить несколько видеокарт в одну ванну и залить их минеральным маслом.

Проблема перегрева самого масла в нашем случае также никуда не уходит. Как только масло прогреется до температуры видеокарты, оно больше не будет забирать тепло, и начнется перегрев оборудования. Придется опять каким-то образом подавать холодное масло и забирать горячее.

Можно было бы использовать простое решение: большая ёмкость холодного масла и ёмкость для хранения уже нагретого масла. Естественно, установка таких огромных цистерн экономически нецелесообразна, поэтому нам придётся пускать масло по замкнутому контуру и охлаждать его за пределами иммерсионной ванны. Для этого потребуется дополнительная установка радиатора снаружи, где его будет обдувать более холодный воздух. Обеспечение продувки уличным воздухом вполне закономерно: холодного (по сравнению с температурой масла) воздуха на улице много, а горячий воздух уносится ветром.

Но за сколько радиатор охладит 1 м3 воздуха на те же самые 8 градусов? Ведь, произведя расчеты, мы обнаружим, что для охлаждения одной видеокарты необходимо около 1 литра холодного (остуженного) масла в минуту; при этом масло будет успевать прогреваться на 8 градусов. То есть радиатор должен быть таким, чтобы охлаждать холодным воздухом масло как раз на 8 градусов.

Еще один важный элемент, который остался за пределами наших расчетов — это насос. Требования к нему предъявляются намного проще — обеспечить циркуляцию 1 литра масла в минуту. Отдельное внимание нужно уделить вязкости масла. Понятно, что из-за меньшей вязкости 1 литр воды пройдет по трубам и через радиатор намного проще, чем 1 литр масла. То есть нам потребуется либо мощный насос, либо большие трубы и радиатор.

Давайте теперь представим, что теперь у вас не одна, а хотя бы 100 видеокарт. Это уже 20 кВт тепла и 12 000 000 Дж энергии в минуту. Тогда при равных условиях насос должен прокачать уже 100 литров масла в минуту. Представьте, какие же сложности возникают, когда в системе 1000 видеокарт…

Перейдем к двухфазному иммерсионному охлаждению жидкостью Novec. Очень часто можно услышать, что она дорогая, очень летучая, легко испаряется и т.д. Конечно же это так, ведь принцип её действия совершенно иной. При нагреве этой жидкости выше 61°С происходит её испарение. Однако, при этом с ней не происходит ни нагрева, ни охлаждения. При прогревании всего объёма жидкости после запуска по достижении ею 61°С температура просто не повышается. Это кажется абсурдным, однако, это так. Процесс испарения (кипения) сам по себе является очень энергозатратным. Пожалуй, этот процесс можно сравнить с ощущениями человека, который купается летом и выходит из воды. В воде ему тепло, а на ветру становится холодно. Причина этого явления — испарение воды с поверхности тела.

Схожим образом Novec испаряется с горячих поверхностей микросхем и забирает с собой часть тепла. Для испарения 1 г Novec потребуется около 120 Дж. Это значит, что видеокарта 200 Вт испарит за 1 секунду около 2 г жидкости. А за минуту — всего 120 г. Эффективность отвода тепла за счет кипения крайне высока, а размер радиатора для отвода 200 Вт тепла может составлять всего 3–4 см2. Фактически, радиатор практически не нужен.
Как и минеральному маслу, данной системе требуется охлаждение жидкости. Для этого вы можете подливать 120 г жидкости из огромной цистерны каждую минуту. С другой стороны, при стоимости жидкости около 100 $ за литр такая цистерна выходит очень-очень дорогим решением. Поэтому совершенно естественно пойти другим путём — организовать замкнутый цикл с внешним охладителем.

Конденсация паров жидкости

Испарение — это переход вещества из жидкого состояния в газообразное. То есть получается, что Novec после закипания не исчезает без следа, а становится газом, который скапливается над поверхностью жидкости в виде тумана. Что, если этот туман охладить? Установим внутри несколько труб и пустим по ним холодную воду. Газ начнет на них конденсироваться и образовывать капли, которые объединятся в струи жидкости и стекут обратно. Таким образом, Novec никуда не будет уходить и останется внутри системы без каких-либо потерь.

Процесс конденсации является полной противоположностью испарению, здесь всё происходит в обратном порядке. Что касается энергии, то её необходимо забирать у газа ровно в том же объеме, что и при испарении. Естественно, холодные трубы будут нагреваться, а мощность нагрева будет ровно такая, которая выделялась видеокартами при кипении.

Для эффективной работы системы двухфазного иммерсионного охлаждения нам нужно постоянно охлаждать трубы. Самое простое и эффективное решение — пустить по ним воду, которая будет охлаждаться радиатором, расположенным на улице. По сравнению с минеральным маслом это выглядит намного проще. Ведь теплоёмкость воды в два раза больше, а объём циркуляции в минуту меньше. Плюс, вязкость воды существенно ниже, и, значит, насос без труда прокачает больший объем воды за единицу времени. Эти факторы позволят использовать более маленький радиатор на улице, более тонкие трубы и менее мощный насос — по сравнению с тем же самым минеральным маслом.

Преимущества иммерсионной системы охлаждения

Обе системы охлаждения — и минеральным маслом, и иммерсионной жидкостью Novec — обладают важным преимуществом по сравнению с воздушным охлаждением. Здесь отсутствует необходимость в дорогостоящих кондиционерах, потребляющих электроэнергию. Кроме того, отсутствует проблема пыли и влажности, как в системах фрикулинга.

Одним из важных параметров дата-центров является коэффициент PUE (эффективность использования электроэнергии), равный отношению всей мощности потребления дата-центра к мощности потребления вычислительных устройств. Для иммерсионных систем этот коэффициент приближается к 1, для воздушных систем с кондиционерами — около 1,5. Различия являются весьма существенными, особенно, если учесть разницу в стоимости оборудования.

Преимущества охлаждения жидкостью Novec перед минеральным маслом

На данном этапе обе системы кажутся одинаковыми с точки зрения характеристик. Но в описанных расчётах мы не учли, что жидкости в иммерсионной ванне не перемешиваются сами по себе. Представим, что мы погрузили видеокарту в минеральное масло и включили её. Слой масла непосредственно рядом с радиатором видеокарты прогреется, а те объёмы масла, которые находятся на некотором расстоянии — нет. В этом случае произойдет локальный перегрев в районе видеокарты. Тогда становится очевидной необходимость обеспечения эффективного перемешивания масла внутри ванны либо при помощи вентиляторов видеокарты, либо каким-то другим способом. Это усложняет конструкцию и требует специальных технических решений.

В двухфазных иммерсионных системах охлаждения с жидкостью Novec такая проблема отсутствует. Она постоянно кипит и сама себя перемешивает — особенно в тех местах, где происходит нагрев. Пузырьки отрываются от радиатора, и на их место поступает новая жидкость.

Вторым важным отличием масла от Novec является горючесть. Novec не горит никогда, её даже используют для тушения пожаров в библиотеках. Масло же легко горит по своей природе, и, плюс, его нельзя тушить водой. Это указано в технических характеристиках любого масла. Температура начала горения составляет порядка 200–400 градусов.

Мы провели серию экспериментов, чтобы удостовериться в описанных ниже выводах. При прогреве масла до 150 °С оно начало дымить, после чего появилось пламя, уверенно разгорающееся с каждой секундой. Дальше, за счёт горения, температура масла начала подниматься на 2 градуса в секунду, а языки пламени становились всё выше и выше. Пламя уже было сложно сбить, а температура, тем временем, продолжала расти.

Аналогичный эксперимент с Novec показал, что жидкость активно испарялась, но нагреть её выше 61 °С так и не удалось. Поджигая пары Novec, добиться их горения также не получилось. Как и написано в спецификации на Novec — материал не горит, не загорается.

Итак, можно ли использовать минеральное масло и его аналоги для эффективного охлаждения электроники — конечно же, да. Будет ли это рискованным с учетом крайне высокой стоимости оборудования? Безусловно. Пожар может возникнуть по многим причинам, а наличие минерального масла в большом количестве может сделать ликвидацию такого пожара крайне сложной, а последствия — катастрофическими.

Жидкость Novec: слабые места

Каковы самые серьёзные недостатки жидкости Novec? Высокая цена, повышенные требования к герметичности иммерсионной ванны, связанные с высокой летучестью жидкости Novec, и сложность конструкции последней. Кроме того, можно отметить необходимость тщательного контроля параметров процесса охлаждения для того, чтобы избежать выкипания жидкости. Плюс, использование жидкости Novec становится экономически оправданным только при использовании специализированных видеокарт с высокой плотностью установки.

При проектировании системы охлаждения необходимо учитывать около 20 различных характеристик. Полные расчёты в обязательном порядке должны учитывать термосопротивление радиаторов и термоинтерфейсов, а также свойства материала и поверхностей теплообменников и радиаторов используемого оборудования.

Прогресс не стоит на месте, уже очевидно, что будущее индустрии — за эффективным иммерсионным охлаждением, а не за воздушным. Остается лишь сделать выбор между сложным и безопасным решением, или более доступным, но рискованным.