Понимание технологии распределенного облака iEx.ec

Ключевой идеей iExec является создание полностью распределенной облачной инфраструктуры на основе технологии Blockchain.

С этой целью iEx.ec объединяет две технологии: Блокчейн и Настольные Грид-Вычисления. Blockchain позволяет создать децентрализованный рынок вычислительных ресурсов. Принцип Desktop Grid (aka Volunteer Computing) заключается в сборе неиспользуемых вычислительных ресурсов в Интернете, для выполнения очень больших параллельных приложений на долю стоимости традиционного суперкомпьютера. Возможно, вы уже знаете или даже участвуете в таких приложениях, которые следуют этой компьютерной парадигме: SETI@Home, Folding@home, disributed.net.

Но знаете ли вы, что за последнее десятилетие было разработано много промежуточного ПО, которые реализуют эту модель: BOINC, Condor, Ourgrid, XtremWeb-HEP.На самом деле, промежуточное ПО Desktop Grid имеет несколько желаемых функций для создания полностью распределенного облака:

Отказоустойчивость : если некоторые узлы терпят неудачу, вычисление продолжается на других рабочих узлах.
Эффективность : приложения получают наилучшие результаты, даже если вычислительные узлы сильно гетерогенные.
Простота развертывания : позволяет использовать любые узлы без определенной конфигурации, даже те, которые расположены на краю Интернета.

Таким образом, Desktop Grid — идеальное решение для сборки гибридных инфраструктур, чьи вычислительные ресурсы могут варьироваться от классического кластера HPC, до Облака и конечно же, от интернета к компьютерам.

iEx.ec опирается на программное обеспечение Desktop Grid с открытым исходным кодом, разработанное в научно-исследовательских институтах CNRS и INRIA для сборки свободно распределенных вычислительных ресурсов для высокопроизводительных вычислений (HPC) и Больших Данных (Big Data).

XtremWeb-HEP - это развитая, надежная и открытая программная среда Desktop Grid, которая позволяет использовать любые вычислительные ресурсы для выполнения приложений с интенсивным вычислением или интенсивными данными. Архитектура XtremWeb-HEP состоит из трех ролей: клиентов, которые представляют задачи и данные, диспетчера, который планирует задачи для вычислительных ресурсов, и работников, выполняющих задачи и отправляющих результаты клиентам. Благодаря своей простоте этот подход оказался чрезвычайно масштабируемым, надежным и безопасным.
Тем не менее, XtremWeb-HEP предоставляет множество дополнительных функций, таких как: отказоустойчивость, многозадачность, многопользовательская система, гибридная публичная/частная инфраструктура, развертывание виртуальных изображений, управление данными, безопасность и отчетность, покрытие сети, управление виртуальной машиной, поддержка стандартов HPC, совместимость с инфраструктурой eScience и многие другие.
XtremWeb-HEP разработан и используется в производстве во Французском национальном институте ядерной физики и физики частиц. Вы можете посетить домашнюю страницу XtremWeb-HEP, или страницу GitHub.

В дополнение к XtremWeb-HEP, мы разработали в течение последнего десятилетия большой портфель технологий, который позволяет собирать свободно распределенные вычислительные ресурсыдля HPC и Big Data: MPICH-V для параллельных вычислений, BitDew для крупномасштабного управления данными, SpeQuloS для обеспечения качество обслуживания при выполнении приложений, первая реализация MapReduce для интернет-вычислений и многое другое. Многие из наших результатов исследований были опубликованы в ведущих научных конференциях и журналах (более 80 статей опубликовано).В конце концов, мы получили уникальный опыт в создании технологии Desktop Grid и сделали ее доступной для различных научных сообществ, а также для начинающих и инновационных отраслей.

С 2007 по 2012 год, с несколькими европейскими партнерами, мы создали Европейскую инфраструктуру настольных сетей (EDGI). Эти значительные усилия были поддержаны Европейским союзом, который финансировал 4 проекта FP7 (EDGeS, EDGI, DEGISCO, IDGF). Цель заключалась в том, чтобы предоставить исследователям и ученым дополнительную вычислительную мощность, исходящую из инфраструктур Desktop Grid. В результате EDGI имел огромный успех. Мы связали десятки мест (Венгрия, Франция, Великобритания, Испания, Нидерланды) с основными европейскими электронными инфраструктурами, такими как поддержка Большого адронного коллайдера в Швейцарии. Мы приобрели значительный опыт подключения Облачных и Высокопроизводительных систем к Desktop Grid, поскольку нам удалось прозрачно выполнять миллионы заданий на более чем 200 000 узлах.

Показали применимость технологии во многих областях науки: физика высоких энергий, биомедицинские исследования, математика, алгоритм финансирования, исследования материалов, 3D рендеринг и многое другое.
Конечно же, у нас было много совместной работы с такими компаниями как (Total, Airbus, IFP и другими). Мы получили финансирование от Французской национальной исследовательской индустрии, чтобы по требованию предоставить инновационным малым и средним предприятиям (SMEs) доступ к недорогим и защищенным службам
Высокопроизводительных вычислений (HPC). Мы провели много интервью с малыми и средними предприятиями из сектора биомедицины и электронного здравоохранения, чтобы понять их потребности и требования, а также спроектировали MVP и PoC. Так или иначе, появление блокчейн было ключевым фактором, который в конечном итоге привел к созданию проекта iEx.ec .

Слева: примеры приложений, запущенных на XtremWeb-HEP. Справа: книга для настольные грид-вычисления

Как вы теперь поняли, мы твердо убеждены в том, что знания и опыт, накопленные нами при изучении и создании распределенных вычислительных инфраструктур в Интернете, необходимы для создания успешного проекта iEx.ec .Если вы хотите узнать больше о Desktop Grid, я могу рекомендовать вам книгу Desktop Grid Computing, которую отредактировал генеральный директор и сооснователь проекта iExec Жиль Федак совместно с Кристоф Серин. Каждая глава написана наиболее известными специалистами этой сферы и представляет самые продвинутые результаты в этой области. В книге рассматриваются многие аспекты, в том числе практические главы: безопасность, приложения, инструментарий, программное обеспечение, алгоритмы и т.д. Если вы хотите узнать больше о исследованиях Gilles Fedak, обязательно посетите его домашнюю страницу и конечно же его абилитационную диссертацию.

Сайт : https://iex.ec/ru/
Slack : https://slack.iex.ec/
Блог : https://medium.com/@iexec_russian
Reddit : https://www.reddit.com/r/iexec/
Twitter : https://twitter.com/iExec_ru
Telegram : https://t.me/iexec_russian