chuck

8 лет назад

Мировой суперкомпьютер. Обзор проекта «The Golem»

Таинственный персонаж Голем появился в еврейской мифологии, продолжает жить в трудах классических литераторов, писателей-фантастов, в играх и кинематографе. Созданный из глины, камня или даже огня, он мог быть оживлен магией, или просто быть духом. Но создатели нового Голема вряд ли обладают магическими навыками. Наш герой родился в атмосфере идей романа польского писателя Станислава Лема «Голем XIV», и он – невероятных масштабов суперкомпьютер.

Что такое Golem ?

Голем – технология, позволяющая торговать временем простоя компьютеров. Любой человек может использовать Голема для сдачи в аренду своих неиспользуемых вычислительных мощностей CPU/GPU. К примеру, у Вас есть мощный игровой ПК. Но Вы ведь не используете его 24/7. Уходя ~~в школу~~ на работу, мощности такого ПК могут быть кому-то полезны для работы с графикой. А, может, Вас есть старый, но ещё рабочий системный блок, который просто пылится в кладовке или, что ещё печальнее, готовится отправиться на свалку. Можно запустить Голема на нём. А ещё интереснее было бы подключить к Голему многочисленные офисные ПК, бесполезно простаивающие с 18:00 до 9:00. С другой стороны, часть людей ищет ресурсы для решения своих сложных задач. И сегодня любой, кто их ищет, вынужден арендовать облачные платформы или специализированные рендер-фермы. Такие решения, разумеется, надёжны. Однако их стоимость остаётся высокой. Разработчики уверены, что желание заработать немного деньжат, просто запустив Golem App в фоне, привлечёт большую аудиторию. Приложение будет простым в использовании и на 100% безопасным для всех хранящихся на ПК пользователя данных. Более того, пользователь сам сможет решить, какую часть вычислительной мощности своей машины он предоставит в аренду. Таким образом, у человека не возникнет проблем с тем, чтобы запустить браузер или, к примеру, MS Word, а его компьютер в этот момент будет зарабатывать реальные деньги. Golem децентрализован, является p2p-сетью, использует Ethereum и смарт-контракты в качестве основы для всех операций. На каждую сделку накладывается сбор в 5% для поддержки и развития сети.

Среди особенностей сети разработчики особо выделяют следующие:

Децентрализация. В сети нет центра, сбой которого приведёт к сбою всей сети.
Масштабируемость. Наличие возможности подключения миллионов рабочих станций благодаря p2p-архитектуре.
Безопасность. Все вычисления происходят в виртуальной машине и изолированы от главной системы.
Легкая интегрируемость с другими решениями. Сторонние разработчики имеют возможность интегрировать в Голем свои приложения.
Универсальность. Может использоваться для любого типа задач, которые можно разделить. Пользователи будут иметь набор инструментов для определения и добавления новых задач в сети.

Как это работает?

Постановка задачи.

Пользователи (Requesters) задают вычислительную задачу с помощью Golem's Task Definition Framework и библиотеки языков программирования высокого уровня. Голем, в свою очередь, автоматически распределяет каждую задачу, разделённую на множество независимых подзадач, по сети вычислительных узлов. Задачи могут быть разделены на несколько или тысячи подзадач. Стоимость задачи может варьироваться от одного до нескольких тысяч долларов.

Выполнение задачи.

По соображениям безопасности, выполнение задач в узлах Golem будет происходить внутри виртуальных машин и будет изолировано от внутренней среды хоста. Владельцы машины-хоста (Providers) смогут сами решать, сколько ядер процессора, оперативной памяти или дискового пространства будет использовать Golem. Система транзакций собирает все транслируемые предложения и выбирает лучшее из них. Она проверяет репутацию каждого узла и отклоняет предложения от узлов с плохой репутацией. Затем Голем со стороны Provider соединяется с узлом Requester и вносит предложение с ценой и информацией о возможностях машины. Система транзакций от Requester проверяет репутацию Provider и отклоняет предложения от Provider с плохой репутацией. После того, как необходимые ресурсы окажутся в машине Provider, компьютер начнёт вычисления.

После того, как узел-Requester соберёт результаты всех подзадач, он приступает к оплате.

Как уже упоминалось ранее, динамическая маршрутизация p2p сети Golem не имеет единого управляющего центра, сбой которого мог бы привести к сбою всей сети.

Сеть Голема (The Golem Net) устанавливается узлами, работающими под управлением Golem App. Транзакции системы основаны на смарт-контрактах сети Эфириум.

Requesters могут стать Providers и наоборот. Новые узлы могут присоединяться в любой момент.

Одним из важнейших вопросов для изучения стал вопрос безопасности. Компоненты Голема разработаны так, чтобы быть устойчивыми к возможным DDoS-атакам или Sybil-атакам.

Ключевые элементы безопасности:

Виртуальные машины. Хост и данные полностью изолированы от вычислительной среды.
Механизмы аутентификации (уникальные идентификаторы). Все данные и код подписаны и находятся в зашифрованном виде.
Система репутации. Ранг узла может быть понижен или, наоборот, увеличен в зависимости от результатов выполнения задачи.
Черный и белый списки узлов.

Кому это нужно?

С ростом вычислительных мощностей современных компьютеров у исследователей открываются новые возможности решения сложнейших задач. Помнится, нам рассказывали в университете, как в лабораториях запускали на прежних компьютерах различные исследовательские задачи, выполнение которых занимало дни или даже месяцы. Сегодня на решение тех же задач ушли бы минуты. Но прогресс не стоит на месте, и задачи так же становятся сложнее. Golem может помочь с решением таких сложных задач исследователям, дизайнерам, бизнесменам/участникам фондового рынка или криптографам.

Начальные возможности системы позволят с успехом решать следующие задачи:

Компьютерная графика

CGI рендеринг:

- Изображения

- Анимация

Научные расчёты:

Математика:

- Метод Монте-Карло

Биология:

- Анализ ДНК

Химия и физика:

- Разработка материалов нового поколения

Позже к вышеназванным добавятся следующие области:

Использование децентрализованных приложений
Обработка больших объёмов данных (Big data analytics)
Майнинг криптовалют
Машинное обучение
Оптимизация
Децентрализованное хранение данных
Генетические алгоритмы
Опросы и голосования

Сейчас наблюдается быстрый рост мирового рынка PaaS/IaaS. По данным разработчиков, более 400 миллионов ПК было продано в 2014 году, из которых, по крайней мере, 20% могли бы подключиться к сети и предложить свои значительные, но малоиспользуемые мощности.

Существует много облачных платформ, предлагающих вычислительную инфраструктуру, таких как Google Cloud Platform, Amazon Web Services или Microsoft Azure, но при использовании Golem, работающем благодаря невостребованным пользовательским вычислительным ресурсам, цена будет намного меньше, а зависимость пользователей данного рынка от централизованных решений снизится.

Разумеется, разработчики проверили свои расчёты на практике. В качестве теста они использовали рендеринг Cornerstone Centre, а также Gooseberry Benchmark. Итог этих простых тестов Вы можете оценить на рисунках ниже:

Время (минуты) и стоимость ($) рендеринга Cornerstone Centre на различных рендер-фермах, на обычном ПК и с помощью Golem (с 1 и 100 обычными ПК в составе сети).

Время (минуты) и стоимость ($) рендеринга Gooseberry Benchmark на различных рендер-фермах, на мощном ПК и с помощью Golem (с 1 и 7 мощными ПК в составе сети).

Nano-payments и какая-то лотерея.

Nano-payments это ~~моя зарплата~~ не разработка учёных из Сколково, как может показаться на первый взгляд. Под этим понятием разработчики понимают проведение платежей до 0.01$. Одной из проблем, с которой столкнулись создатели Голема, стала сложность проведения транзакций в сети, обусловленная следующими факторами:

Решение должно быть только децентрализованным, для исключения из системы посредника/третьей стороны.
Система не предполагает, что плательщик совершает серию платежей одному получателю.
С другой стороны, система предполагает, что один получатель принимает серию платежей от многих плательщиков.
Плательщик может не взаимодействовать с тем же получателем в будущем.

Криптовалюты обеспечивают децентрализацию и надёжность проведения транзакции. Однако использование Биткоина оказалось невозможным ввиду высоких операционных издержек, особенно если есть 100 или более получателей транзакции.

Большим же преимуществом Эфириума является возможность использования смарт-контрактов для внедрения более сложных схем оплаты с целью уменьшения операционных издержек.

Разработчики рассматривают ситуации, когда платёж производится одним плательщиком большой группе получателей, при этом каждый получает сумму порядка 0.01 $. Для таких небольших сумм стоимость проведения транзакции велика (в сравнении с самой суммой) даже если рассматривать проведения её в криптовалюте вместо банковской транзакции. В результате изучения возможных способов проведения таких малых транзакций, разработчики решили создать смарт-контракт, реализующий лотерею, использующийся для поощрения получателей платежа.

Проще говоря, за решение какой-либо задачи, даже если она решалась множеством узлов, награду получит только один узел. При этом никогда нельзя заранее сказать, какой именно узел получит награду.

Очевидно, что процедура, построенная на вероятности выигрыша, не гарантирует, что узел Голема получит деньги за работу, если он только принимает участие в небольшом количестве задач (или, наоборот, может получать больше). Однако как только количество задач увеличивается, реальные доходы узла от лотереи приблизятся к сумме, которую он бы собрал, получая оплату от каждой задачи в отдельности.

Разработчики провели анализ, чтобы ответить на резонный вопрос пользователей: «Как быстро их доход приблизится к ожидаемому значению».

Какие планы?

На сегодняшний день выпущена альфа-версия - Brass Golem. Тестирование сети происходит с августа 2016. К тесту подключилось множество энтузиастов. Части кода, смарт-контракт доступны для аудита на сайте GitHub. В будущем появятся ещё 2 тестовые версии Голема (Clay Golem, Stone Golem) прежде чем выйдет итоговая Iron Golem. Любопытно, что названия заимствованы из игры «Подземелья и Драконы».

CGI-рендеринг, используя Blender (тест Brass Golem):

Команда работает над решением множества технических, финансовых и юридических вопросов, чтобы после старта рабочей пользовательской версии не возникло никаких проблем. За проектом стоит достаточно сильная команда (IMOO), поэтому у них есть все шансы добиться успеха. К тому же ведущий инженер-программист у них девушка. Без шуток, это только плюс.

В ближайшем будущем (конец октября/ноябрь) планируется сбор средств посредством краудфандинга (особо подчёркивается, что данный сбор средств не является ICO). Команда планирует собрать минимум 150k ETH, максимум 820к ETH на дальнейшие разработки и привлечение новых разработчиков. Сбор будет проходить только в ETH. Взамен полученных инвестиций, разработчики выпустят токены GNT, которые будут розданы участникам краудфандинга пропорционально их взносам. 18% созданных токенов, при этом, останется за разработчиками и управляющей компанией. Среди этих GNT-токенов как раз и будет распределяться ранее указанные 5% комиссии на сделку. То есть у каждого есть возможность инвестировать в проект и потом, в будущем, получать пассивный доход. Разумеется, если сеть заработает так, как видят её работу создатели. В будущем выпуск новых токенов не предусмотрен.

Важно отметить, что GNT-токены участников краудсейла никак не могут использоваться для влияния на направление развития сети Golem, т.е. решения в любом случае принимают разработчики. Они допускают возможность, что однажды проект будет придерживаться принципов DAO (decentralized autonomous organization), но в ближайшем будущем этого не будет.

RoadMap, а также WhitePaper разработчики представили публике 14 октября 2016 г.

Вместо заключения

The Golem Project – действительно инновационный проект, требующий исследования и решения многих вопросов касательно безопасности пользовательских данных, построения сети, универсальности, масштабируемости, вознаграждений и многих-многих других. Но если он будет реализован в полном объёме, то это просто перевернёт компьютерный мир.

А если Вы до сих пор не поняли, что же такое Golem, то ничто не прояснит Вам это лучше, чем твитт ниже.

P.S. Вы могли задаваться вопросом: «Что за непонятные картинки с изображением странных существ попадались мне по ходу прочтения?» Однажды Джулиан Завистовски, CEO проекта Golem, пытался объяснить своей 6 летней дочке, над чем они работают. Эти картинки стали её ответом на рассказ отца.