Личный опыт - с чем я столкнулся при создании Большой Фермы
Доброго времени суток %User%.
Начну с предисловия.
Однажды, в 2014 году, благодаря моему коллеге я узнал о биткойнах, лайткойнах, догкойнах и других «замечательных зверят», о майнинге, а также о том, что это такое и с чем его едят. Так родилась ЖАДНОСТЬ. Да-да, не постесняюсь этого слова – ЖАДНОСТЬ. Именно благодаря ей я сейчас пишу эти строки, ведь если бы её не было – ничего бы не было. Собрав свою первую «домашнюю» ферму, я увидел насколько это интересно, прибыльно и т.д. Начал постепенно углубляться, читать форумы и думать о том, что когда-нибудь, я заработаю свой Первый Биткойн… Жадность росла… Пока не появился Этериум.
После резкого взлета курса и удачной продаже на бирже «кровных эфирят», Жадность подняла свою голову и шепнула на ушко - «Надо больше золота!», а в ответ родилась мысль – «Нужно построить Зиккурат!». Эта статья – это небольшой отчет, а также учение о проблемах, которые с которыми при создании Большой Фермы, и способах их решения в суровых Российских реалиях.
Сразу скажу – данная статья – мой личный опыт, не претендующий на трон «Великой Истины Всего и Вся». Все решения, приводимые в статье актуальны на момент решения данной проблемы. По профилю я – системный администратор, однако в процессе стал и электриком, и монтажником, брокером и проч, проч, проч…
Проблема нулевая – Деньги. Неудивительно что деньги – самая большая проблема. При чем затраты на оборудование – это примерно 60% от всей необходимой суммы. Сопутствующих затрат очень много – это затраты на строительство, на охлаждение, на электричество, электрошкафы и много-много прочего. Кредит – не вариант. Большой процент, велик шанс «пролететь» и остаться с долгами, да и такие суммы дают далеко не каждому. Откуда были собраны деньги я не могу сказать, скажу лишь то, что стоимость проекта уже перевалила за 10 млн. руб. Однако дам совет – только собственные «кровные» и инвестиции адекватных и заинтересованных инвесторов могут помочь Вам в этом вопросе.
Проблема первая – Местоположение.
Когда создаешь такой проект, необходимо понимать, что твоя ферма должна уметь работать в режиме 24/7, без перерыва на сон (выключение), обед (перезагрузку) и ужин (отключение видеокарт). Такого рода «сбой» в небольшой ферме чреват потерей откровенных копеек, однако в ферме на 100 и более видеокарт это уже крайне недопустимо.
Подробно все обдумав я понял критерии, которые необходимо было максимально соблюсти:
1. Холодное место, желательно не только зимой, но и летом. Чем выше, тем лучше – ветер холоднее, пассивного охлаждения больше.
2. Свободный доступ к большому количеству электричества – читай как возможность подключиться напрямую к подстанции. Чем больше до нее расстояние – тем больше затрат на прокладку кабеля.
3. Расстояние до соседей – жилых домов. Чтоб потом не пришли в гости с требованием «отключить сию гудящую машину, мешающую моему сыну спать».
4. Ни в коем случае не использовать государственные строения – крыша жилого дома не подходит – чтоб согласовать строение на крыше – необходимо много бумаг и времени, а без согласования – придут, отберут, да еще и штраф выпишут. Мне в этом плане повезло, но об этом позже.
5. Доступ в помещение 24/7.
6. Круглосуточная охрана, желательно, не знающая, что она охраняет.
Кажется, что такого места не существует. И вы правы на 100% - такое возможно только если строить свое собственное здание, но тогда затраты возрастут до немыслимых пределов. А они и так были не маленькие.
Однако выход нашелся – мне удалось получить место на крыше высокого здания, являющегося частной собственностью юридического лица. Подстанция недалеко – зданию же нужно питаться электричеством, да и как оказалось – свободные мощности есть. Поэтому мы поставили счетчик, и сами «распиливаем счета». По моим расчетам мне необходимо было 300 квт, поэтому пришлось тянуть 2 бронированных подземных кабеля по 150 квт каждый. Всего – 6 фаз. Получилось дешевле, чем тянуть один 300 киловаттный – цена кабеля взлетала до небес.
С «соседями» не повезло – ближайший жилой дом в 20 метрах от здания, поэтому пришлось делать звукоизоляцию. И это был большой провал, так как звукоизоляция – это не только звуко-, но и теплоизоляция. Для помещения 25 х 10 x 2,5 м – это очень плохо.
По расчетам на оборудование, внутренний шум с поправкой на внутреннее экранирование выходил в пределе до 120 децибел – а это практически как самолетная турбина. В итоге выбор пал на отечественную шумоизоляцию марки «Шуманет БМ» (спасибо другу звукачу что подсказал). Из достоинств – потеря шума по всем диапазонам порядка 50 ДБ, простота монтажа (представляет собой плиты), небольшая цена (на вышеназванное помещение «в круг» вместе с доставкой получилось около 70 тыс). В итоге пришлось укладывать в 2 слоя – 50 + 50 + 10 (ГКЛ) + 5 (профнастил) мы получили ~ 115 ДБ звукоизоляции. По результатам скажу, что на практике снаружи помещения не слышно НИЧЕГО, только ночью слышен небольшой шум, который на расстоянии в 5 метров уже практически не заметен.
Проблема вторая – Охлаждение.
Выше я уже отметил, что из-за необходимости звукоизоляции, проблема охлаждения встала особенно остро. В самом начале было приобретено и установлено 4 канальных вентилятора (и шумоизоляционные трубы к ним) на 1300 м3/час. 2 работали на подачу воздуха, 2 на выход воздуха. Без оборудования в помещении был морозильник. Когда было установлено 42 фермы на 5 видеокарт в каждой (210 штук) и включены на эфир в помещении стало около 26 градусов. Что тоже было неплохо. Но когда было поставлено 10 шт. Antminer s9 (ASIC) – перестало хватать. Были куплены 12 вентиляторов (не канальных, а обычных) на 2600 м3/час, перепланировано охлаждение (раньше вентиляторы дули продольно – вдоль горячей зоны, теперь со стен со всех сторон идет подача, выход осуществляется вентиляторами, монтированными в потолок). Пока хватает, мощность уже приближается к верхней планке в 300 квт. Параллельно был решен вопрос оплаты помещения – удалось снизить аренду, за счет отопления здания горячим воздухом – побочный (для меня) продукт выдувается напрямую в вентиляционные шахты здания арендодателя, чем отапливает помещение. Владельцу правда пришлось установить потоковый ионизатор воздуха, но как говорится «проблемы индейцев»…
Проблема третья – Электричество
Планировку электроснабжения внутри я доверил хорошему другу электрику. Жаль, что он умер. Нет, его не током убило - он на машине разбился. По его совету была сделана расфазировка, установлены предохранители на КАЖДУЮ розетку. Отдельно проведено заземление, установлены разрядники, а также плавкие предохранители с рубильниками на оба кабеля. В общем работа проведена не маленькая, за что ему отдельное спасибо и за работу, и за науку.
Проблема четвертая – Оборудование.
Да –да. Именно оборудование стало самой главной и самой сложной проблемой. В России покупать – слишком дорого. В Германии брать проблематично – цена хороша, с таможней нет проблем, однако доставка около 2-х месяцев ломает все планы, да и необходимые объемы обеспечить они не могли. 50 видеокарт они нашли, но когда разговор зашел за 200 и более – у них их просто не оказалось. Проблема решилась в Китае – необходимый объем Sapphire RX480 NITRO OS+ они нашли быстро, SSD, блоки питания (SuperFlower Leadex Titanium 8 pack) и оперативную память тоже, с доставкой сами решили вопрос – осталось самому забрать контейнер в Благовещенске и доставить на место.
Материнские платы и процессоры заказали в Германии – проблем не возникло. Сами фермы собирались и настраивались самостоятельно.
Также оказалось, что «Нельзя просто так купить много асиков в Китае…», а покупать у Asic51 – дорого. В итоге, вопрос решился договоренностью напрямую с заводом о разовой покупке партии в 50 штук. Сложно было только выйти на нужных людей, так как работа через маркетинговую службу завода приводила лишь к ответу «Такого количества сейчас нет, но вы можете оформить предзаказ, отгрузка будет через 2-4 месяца».
Отдельный разговор – это покупка «PandaMiner» - за партию в 20 штук пришлось участвовать в аукционе, который в итоге так и не получилось выиграть – сами китайцы задирают ценник до предела, что в итоге ни привило ни к чему – завод на контакт не идет. В итоге, партия была куплена у перекупов, сразу с серверными блоками питания по цене в 2 раза выше заводской. С этим ничего не поделать – спрос на них очень большой, благо окупаемость с учетом текущего курса пока позволяет.
Райзеры были приобретены без особых проблем на risers.ru, за что им огромное спасибо.
Проблема пятая – Обслуживание.
Все собрано, запущено, валюта капает, откуда еще проблемы? А вот - со временем, видеокарты запылятся, начинают течь силиконовые прокладки у них (проблема именно у Sapphire), и как следствие – выходят из строя.
Теперь, стабильно, один раз в неделю, при помощи баллона со сжатым воздухом (200 литров на 100 МПА давления) продувается все постоечно. Это обязательная процедура, без нее – пиши пропало. Одного баллона хватает на один раз. Со временем планируется купить компрессор с маслоулавливателем, но пока это только теория.
Проблема шестая– Интернет.
Без интернета ничего не будет работать. Поэтому - только оптика. Оптика и еще раз оптика. 2 оптолинии были приобретены у разных провайдеров, дополнительно был куплен 4G модем от Билайна. Подключено все это было к Mikrotik Cloud Router, настроена балансировка нагрузки и экстренное переключение на 4G при отключении обоих оптолиний.
Проблема седьмая – Провода.
«Как-то раз я находился в серверной и вдруг услышал взрыв» - это история про меня. Взорвалось два провода питания, идущие к асикам. Они просто перегрелись и оплавились, за счет чего их замкнуло. Благо сработала защита и оборудование не пострадало. Вывод прост – нужно делать свои провода питания, а это долго и муторно, но необходимо.
Рассчитав все получилось, что провод необходим ПВС, трехжильный, сечение 2 квадрата… И пошло-поехало. 4 дня безвылазного сидения с кусачками и отверткой, трясущиеся руки и мозоли на пальцах… И о проблеме можно забыть, ибо минимум 4 квт кабель выдержит. Тут лучше «перебдеть», чем «недобдеть».
Проблема восьмая – Пожаротушение.
С этим все очень сложно. Схема пожаротушения нестандартная во многих аспектах.
Для начала – установлены углекислотные «банки» вместо обычных порошковых – так как порошок неэффективен в данном случае.
Во-вторых – датчики только дымовые. Никаких температурных! И сработка этих датчиков – только попарно – пожаротушение сработает только в случае сигнала с двух датчиков дыма в пределах одной стойки.
Соответственно, пожаротушение работает только если все двери закрыты и внутри нет людей – стоит датчик движения.
Также необходимо выключить все вентиляторы – на каждый установлен отдельный «пожарный» рубильник.
Схема сработки такова: 2 датчика дают сигнал – выключаются все вентиляторы – ожидание 30 секунд (вентиляторы должны остановиться!) – проверка сигнала с датчиков дыма – если сигнал все еще есть – сработка банок пожаротушения.
Проблема девятая – И снова электричество!
А вернее – магнитное поле. Заходя в помещение с большой мощностью тебя просто может ударить током за счет концентрации магнитного поля вокруг. Оно настолько велико, что волосы встают дыбом, и никакое заземление на оборудовании/стойках/шкафах не помогает.
Спасает от этого только уравнение потенциала – специальная процедура, при которой на пол устанавливаются металлические ленты, подключенные к заземлению.
Тонкостей не знаю, так как этим занимается электрик, понял только суть, что и Вам передал. Данное уравнение у меня еще не установлено, установка в процессе.
Вместо заключения.
Сам не ожидал, что пост окажется таким длинным. Надеюсь, для Вас он оказался информативным и полезным. Сейчас планирую обустраивать помещение в 4 раза больше этого, уже с учетом всех ошибок и доработок.
И в заключении скажу, что за 6 месяцев проект окупился уже в 2 раза, спасибо скачку биткойна и эфира. И напоследок несколько фото:
Стойки с видеокарточными фермами
Подготовленные стойки под асики
Несколько асиков
Электрический шкаф на 3 стойки
