Новый мощный алгоритм - большой шаг к полному моделированию цифрового мозга
Привет. Для теоретических нейробиологов ключом к пониманию того, как работает интеллект, является воссоздание его внутри компьютера. Нейрон за нейроном, они надеются восстановить нервные процессы, которые приводят к мысли, памяти или ощущению.
Используя цифровой мозг, ученые могут проверять существующие теории познания или исследовать параметры, которые приводят к нарушениям сознания. Как утверждает философ доктор Ник Бостром из Оксфордского университета, симуляция человеческого разума является, пожалуй, одним из наиболее перспективных способов воссоздать и превзойти человеческую изобретательность.
Есть только одна проблема: наши компьютеры не могут справиться с массово параллельной природой наших мозгов. Внутри трехфунтового органа находится более 100 миллиардов взаимосвязанных нейронов и триллионы синапсов.
Даже самые мощные суперкомпьютеры сегодня отстают в этом масштабе: до сих пор такие машины, как компьютер "K" в Advanced Institute for Computational Science в Кобе, Япония, могут воссоздать не более 10 процентов нейронов и их синапсов в коре.
Эта неспособность частично связана с программным обеспечением. Поскольку вычислительное оборудование неизбежно ускоряется, алгоритмы все чаще становятся основой для моделирования всего мозга.
В этом месяце международная команда исследователей полностью обновила структуру популярного алгоритма моделирования, разработав мощную технологию, которая резко сокращает время работы и использование памяти.
Новый алгоритм совместим с целым рядом вычислительного оборудования, от ноутбуков до суперкомпьютеров. Когда будущие суперкомпьютеры exascale выйдут на сцену, в 10-100 раз мощнее сегодняшних топ-версий, алгоритм может сразу запускаться на этих вычислительных зверях.
Используя сегодняшние симуляционные алгоритмы, можно добиться лишь небольшого прогресса на суперкомпьютере следующего поколения. Однако новая технология позволяет исследователям моделировать большие части мозга при использовании того же объема компьютерной памяти. Это делает новую технологию более подходящей для будущего использования в суперкомпьютерах для моделирования всего мозга.
«Благодаря новой технологии мы можем использовать увеличенный параллелизм современных микропроцессоров намного лучше, чем раньше, что станет еще более важным для компьютеров exascale», - заявил автор исследования.
«Это решающий шаг на пути к созданию технологии для достижения имитации сетей мозга»
Проблемы с масштабом
Современные суперкомпьютеры состоят из сотен тысяч поддоменов, называемых узлами. Каждый узел имеет несколько центров обработки, которые могут поддерживать несколько виртуальных нейронов и их соединений.
Основной проблемой в мозговом моделировании является то, как эффективно представлять миллионы нейронов и их связи внутри этих центров обработки, чтобы сократить время и силу.
Одним из самых популярных алгоритмов моделирования сегодня является модель использования памяти. Прежде чем ученые моделируют изменения в своей нейронной сети, им необходимо сначала создать все нейроны и их соединения в виртуальном мозге с использованием алгоритма.
Вот в чем загвоздка: для любой пары нейронов модель хранит всю информацию о связности в каждом узле, в котором находится приемный нейрон - постсинаптический нейрон.
Другими словами, пресинаптический нейрон, который посылает электрические импульсы, кричит в пустоту; алгоритм должен выяснить, откуда взялось конкретное сообщение, только глядя на нейрон-приемник и данные, хранящиеся в его узле.
Модель позволяет всем узлам параллельно строить свою персональную часть нейронной сети. Это значительно сокращает время загрузки, что отчасти объясняет популярность алгоритма.
Но, как вы, наверное, догадались, это связано с серьезными проблемами в масштабировании. Узел отправителя передает свое сообщение всем узлам нейрона получателя. Это означает, что каждый узел-приемник должен сортировать каждое сообщение в сети, даже для нейронов, размещенных в других узлах.
Таим образом, огромная часть сообщений отбрасывается в каждом узле, потому что нейрон-адресат не присутствует в этом конкретном узле. Представьте, что перегруженные сотрудники почтового отделения выкидывают почтовое отправление всей страны, чтобы найти несколько принадлежащих к их юрисдикции. Сумасшедшая неэффективность, но это в значительной степени то, что происходит в модели памяти.
Проблема ухудшается по мере роста размера моделируемой нейронной сети. Каждому узлу необходимо выделить место для хранения памяти в «адресную книгу», в которой перечислены все ее нейронные жители и их соединения. В масштабе миллиардов нейронов «адресная книга» становится огромным болотом памяти.
Команда решила проблему, добавив в алгоритм почтовый индекс
Вот как это работает. Узлы приемника содержат два блока информации. Первый - это база данных, в которой хранятся данные обо всех нейронах-отправителях, которые подключаются к узлам. Поскольку синапсы бывают нескольких размеров и типов, которые различаются по потреблению памяти, эта база данных также сортирует свою информацию в зависимости от типа синапсов, образованных нейронами в узле.
Эта настройка уже значительно отличается от предшественника, в котором данные о связях сортируются по входящему источнику нейронов, а не по типу синапса. Из-за этого узел больше не должен поддерживать всю свою «адресную книгу».
Таким образом, размер структуры данных не зависит от общего числа нейронов в сети.
Второй блок хранит данные о фактических соединениях между узлом приемника и его отправителями. Подобно первому фрагменту, он упорядочивает данные по типу синапса. В каждом типе синапса он затем отделяет данные от источника (нейрон-отправитель).
Таким образом, алгоритм гораздо более специфичен, чем его предшественник: вместо того, чтобы хранить все данные соединения в каждом узле, узлы получателя хранят только данные, относящиеся к виртуальным нейронам, размещенным внутри.
Команда также предоставила каждому нейрону отправителю целевую адресную книгу. Во время передачи данные разбиваются на куски, причем каждый фрагмент, содержащий код почтового индекса, направляет его на правильные принимающие узлы.
В результате, данные ограничиваются только приемными нейронами, к которым они должны идти.
Быстрый и умный
В серии тестов новый алгоритм работал намного лучше, чем его предшественники с точки зрения масштабируемости и скорости. На суперкомпьютере JUQUEEN в Германии алгоритм работал на 55% быстрее, чем предыдущие модели на случайной нейронной сети, в основном благодаря своей упрощенной схеме передачи данных.
Например, при размере сети в полмиллиарда нейронов, имитирующих одну секунду биологических событий, потребовалось около пяти минут времени выполнения JUQUEEN с использованием нового алгоритма. Его предшественник набрал в шесть раз больше.
Это действительно «помещает исследования фундаментальных аспектов функции мозга, таких как пластичность и обучение, разворачивающихся в течение нескольких минут ... в пределы нашей досягаемости».
Как и ожидалось, несколько тестов масштабируемости показали, что новый алгоритм обладает большей квалификацией при работе с большими сетями, что сокращает время, затрачиваемое на обработку десятков тысяч передач данных примерно в три раза.
Новая технология получает профит от отправки только соответствующих импульсов каждому процессу. Поскольку компьютерная память теперь отделена от размера сети, алгоритм готов решать проблемы моделирования в масштабах всего мозга.
Несмотря на революционность исследования, команда отмечает, что предстоит еще много работы. Во-первых, отображение структуры реальных нейронных сетей на топологию компьютерных узлов должно дополнительно упростить передачу данных. С другой стороны, программное обеспечение для моделирования мозга должно регулярно сохранять весь свой процесс, чтобы в случае сбоя компьютера моделирование не начиналось сначала.
Сейчас основное внимание уделяется ускорению моделирования при наличии различных форм сетевой пластичности. С учетом этого, цифровой "мозг" уже может находиться в пределах нашей досягаемости.
