Охлаждение МАЙНИНГ ФЕРМ И АСИКОВ В ЖИДКОСТИ: Иммерсионное охлаждение

 В данной статье мы разберем такую тему, как однофазное иммерсионное охлаждение майнинг ферм.
Его иногда называют водяное охлаждение майнинг ферм, можно также назвать это погружным жидкостным охлаждением с применением такого вещества как «сухая вода».Как известно, проблема охлаждения ферм для майнинга является одной из самых актуальных в нашем нелегком деле, поскольку перегрев приводит к ряду таких проблем, как понижение производительности, нестабильность работы, высокий износ и просто банальное отключение по перегреву.Если речь идет о мощностях 5, 10 или 15 кВт это еще можно пережить и справляться с тепловыделениями самостоятельно. Открывать окна, ставить бытовые кондиционеры, выносить оборудование на балконы и т.д.Но что делать, когда речь идет о промышленных фермах и соответственно мощностях, таких как 50, 100, 500 кВт или даже несколько МВт? 

 

Что такое иммерсионная жидкость («сухая вода») и где ее применяют?

В данном контексте иммерсионным охлаждением называют процесс отвода тепла от работающего оборудования путем его погружения в контейнер с иммерсионной жидкостьюИммерсионная жидкость – это техническая жидкость, имеющая определенную формулу (у многих производителей они запатентованы), имеющая такие уникальные свойства как:
Негорючесть, низкую токсичность, инертность, высочайшие диэлектрические свойства.Таким образом, данная жидкость не вступает в химическую реакцию практически ни с чем и является абсолютным диэлектриком, что позволяет использовать ее в контакте с любым электронным оборудованием без последствий для него.ВАЖНО! Применение данной жидкости абсолютно безопасно для любого оборудования, а также для людей работающих с ней.Применение данных жидкостей в промышленных масштабах началось много лет назад и по сей день имеет очень широкий спектр. Например, для охлаждения стоек оборудования в дата-центрах (ЦОД), в системах пожаротушения опасных и ценных объектов (архивы, дата-центры и т.д.), где последствия пожаров наносят часто гораздо больше вреда, чем сам пожар.Традиционно при строительстве нового дата-центра около 35% капитальных затрат расходуется на охлаждающее оборудование, а впоследствии на него приходится еще 50% эксплуатационных расходов. Количество данных, которые необходимо хранить растет в геометрической прогрессии, стимулируют спрос на более и более крупные центры обработки данных (ЦОД), наряду со значительными инвестициями, понятно, что необходимо искать все более экономичные и эффективные технологии охлаждения.Многочисленные исследования доказывают, что процесс жидкостного охлаждения имеет очень высокий коэффициент эффективности использования энергии (Power Usage Effectiveness; PUE) это позволяет добиться феноменальных показателей с точки зрения эффективности и экономичности данной технологии.Таким образом, жидкостное охлаждение подходит для абсолютно любых майнеров - асиков (Antminer S9, L3+, D3 и др.) и видеокарт NVIDIA Geforce 1070 GTX, 1060 GTX, AMD Radeon RX 470, 480 ,580 и т.д.)

Принцип работы иммерсионного жидкостного охлаждения для майнинг ферм

Принцип достаточно простой для понимания. Поскольку охлаждающая жидкость абсолютно инертна, нетоксична и является диэлектриком, мы без каких-либо опасений погружаем работающую ферму, будь то ASIC (асик) Antminer S9 или блок из видеокарт в контейнер жидкостью. Оборудование работает и выделяет тепло, которое нагревает жидкость. Теплоемкость жидкости в 4000 раз выше теплоемкости воздуха, что позволяет отводить тепло гораздо меньшим объемом теплоносителя.В данном случае основная задача сводится к тому, чтобы качественно отводить тепло от самой жидкости и поддерживать температуру такой, чтобы температура на чипах майнеров не превышала допустимую и позволяла работать на максимальной производительности без перебоев. 

 Рис. 1 – Пример работы электроники в охлаждающей жидкости 

 

Эксперимент с жидкостным охлаждением майнинг фермы

Проводя первые эксперименты в нашей лаборатории, мы нервно наблюдали, как компьютерная система под напряжением, включенная и мигающая, медленно погружалась в чистую, водянистую жидкость. Каждый ребенок с детства знает, что жидкость и электричество несовместимые вещи, поэтому было совершенно невообразимо наблюдать за безупречной работой компьютера, полностью погруженного в то, что казалось ничем иным, как водой.Во всем мире существует достаточно много производителей жидкостей, предназначенных для многих целей работы с электронной техникой, которые позволяют в том числе и охлаждать ее.Собственно сам эксперимент с майнинг фермой:Мы провели ряд испытаний с применением нескольких видов жидкостей. Основной задачей при подборе жидкости было скорее найти состав с наиболее хорошими теплофизическими свойствами, что соответственно повышает эффективность теплообмена.Эксперимент проводился на стендовом образце с фермой из 6 видеокарт Nvidia Geforce GTX 1070 с суммарной мощностью около 1,2 кВт. Охлаждение жидкости было реализовано с помощью обыкновенной системы холодного водоснабжения.Оборудование было погружено в аквариум и полностью залито жидкостью. Для большей равномерности охлаждения и температуры самой жидкости была обеспечена циркуляция, с помощью циркуляционного насоса. Испытания проводились на протяжении нескольких дней. Были исследованы все возможные режимы работы. 

 Рис. 2 – Пример работы видеокарты Nvidia Geforce в охлаждающей жидкости 

 Результаты подтвердили все наши ожидания и расчеты:

• Оборудование работает стабильно и без перегревов.
• Меняя различные параметры нам без особых усилий удается добиться повышения производительности карт на 15%, но мы уверены, что и это далеко не предел.
• Регулируя систему охлаждения мы легко смогли установить необходимый тепловой режим с минимальным расходованием холодной воды и соответственно минимизировать затраты.
• Для охлаждения чипов видеокарт не нужны вентиляторы

Преимущества применения жидкостного иммерсионного охлаждения для майнинга

На основании ряда фактов:

• Многолетний мировой опыт применения технических жидкостей в различных сферах промышленности
• Гарантийные обязательства производителей технических жидкостей
• Наши лабораторные испытания
• Анализ и расчеты

Мы нашли несколько существенных преимуществ данного способа охлаждения применительно к оборудованию для майнинга:

• Производительность оборудования повышается минимум на 10-15%.
  Этот показатель зависит от самих майнеров – асики или видеокарты. Различные модели имеют ряд собственных особенностей и ограничений для разгона, но приложив некоторые усилия при возможности поддержания температуры на чипе не больше 40-50°С можно достичь даже больших показателей.
• Срок службы оборудования
  Асики и видеокарты гораздо медленнее изнашиваются, когда находятся при постоянной температуре в рабочем диапазоне и не перегреваются. При отсутствии системы охлаждения, майнеры постоянно отключаются по перегреву.
• Бесшумность работы
  Майнеры в жидкости работают совершенно бесшумно. Помимо того, что вентиляторы самих асиков или карт отключены, также отсутствует шум от воздушной системы охлаждения, которая по уровня шума для больших мощностей сопоставима с мощностью вентиляции промышленных цехов.
• Размеры ферм
  В контейнере с иммерсионной жидкостью размерами к примеру 1,5х1,5 м можно плотно разместить оборудования на 20-30 кВт без каких-либо сложностей. Таким образом, мощность фермы на 100 кВт можно разместить на площади 5-10 м2.
• Снижение стоимости видеокарт
  Для качественного жидкостного охлаждения асиков или видеокарт нет надобности в вентиляторах (кулерах) на самих майнерах. Соответственно можно заказывать с завода по сути голые чипы - без вентиляторов, корпусов и т.д. Таким образом, стоимость самих карт снижается как минимум на 20-30%, к тому же уменьшаются ее габаритные размеры, что позволяет компоновать ферму еще более плотно.

Сравнение жидкостного и воздушного охлаждения

Для наглядности преимуществ и недостатков можно сравнивать жидкостное и воздушное охлаждение - классическая система вентиляции и кондиционирования. В данном случае все преимущества, о которых мы уже рассказали и являются по сути преимуществами в сравнении с воздушным охлаждением.В целом конечно воздушное охлаждение вполне хорошо выполняет свою функцию, и требует не менее серьезных и качественных расчетов. С его помощью можно обеспечить также абсолютно бесперебойную и надежную работу оборудования круглый год, хотя как известно летом охлаждение майнинг ферм осуществляется более трудным путем, нежели в зимний период года.Из недостатков иммерсионного охлаждения, можно отметить:

• Высокая сложность расчетов
• Малое количество компетентных специалистов на рынке
• Труднодоступность необходимой жидкости
• Высокая цена

Тем не менее, при грамотном проектировании, стоимость данной системы будет сопоставима со стоимостью системы воздушного охлаждения, а если учесть еще все преимущества, о которых мы писали выше, то окупаемость данного решения не заставит себя ждать.Как мы выяснили, иммерсионное охлаждение более энергоэффективно и является передовой технологией для такого рода задач.

Способы использования тепла от ферм

Как известно, большая часть потребляемой энергии в процессе работы оборудования переходит в тепловую энергии. При больших мощностях майнинг ферм разумеется сразу появляется желание как-то использовать тепло, которое они производят. Мы приведем примеры нескольких способов, которые можно применить как в бытовом, так и в промышленном масштабе. Каждый интересующийся возможно найдет для себя какую-то идею.

• Подогрев какого-либо водоема – рыбхозяйство, бассейн и т.д.
  В данном случае, мы передаем тепло от внутреннего контура охлаждающей жидкости во внешний контур через водяной теплообменик, что позволяет нам получить теплую или горячую воду на выходе из него.
• Обогрев воздуха в помещении – офис, цех, частный дом, теплица и т.д.
  В данном случае мы охлаждаем внутренний контур жидкости через теплообменник вода-воздух и используем горячий/теплый воздух для наших целей
• Теплые полы в доме
  По сути как и в первом примере, мы используем теплообменник вода-вода и это позволяет нам использовать горячую воду для подогрева полов.

Разумеется все способы утилизации тепла необходимо индивидуально рассчитывать и продумывать саму схему работы. Трудно найти какое-то универсальное решение. Мы в наших проектах, как правило подбираем и просчитываем индивидуальную схему отвода тепла от майнинг фермы и его полезное использование на проектах, где есть такая задача. 

 В заключение хотелось бы отметить, что жидкостное охлаждение это «мэйнстрим» в сфере IT технологий и энергоэффективности.