Уважаемые пользователи Голос!
Сайт доступен в режиме «чтение» до сентября 2020 года. Операции с токенами Golos, Cyber можно проводить, используя альтернативные клиенты или через эксплорер Cyberway. Подробности здесь: https://golos.io/@goloscore/operacii-s-tokenami-golos-cyber-1594822432061
С уважением, команда “Голос”
GOLOS
RU
EN
UA
ladal
6 лет назад

Нейросеть научилась предсказывать движения рук музыканта.


Разработчики из Facebook представили алгоритм на нейросетях, который при прослушивании скрипичных и клавишных композиций имитирует движения рук музыканта в дополненной реальности.

Обучение Для создания алгоритма ученые использовали рекуррентную нейронную сеть LSTM. Исследователи собрали 3,6 часа записей профессиональной игры на пианино и 4,4 часа — на скрипке. На каждом кадре нейросеть определяла, где находятся руки и пальцы исполнителя, и строила скелетную модель. Во время тренировок не использовали файлы формата MIDI для обмена данными между электронными музыкальными инструментами, поэтому нейросеть не училась искать зависимости между нотами или конкретными клавишами.

В итоге система обучилась находить взаимосвязь между характеристиками звука и движениями рук музыканта, строить предсказания и воссоздавать движения в дополненной реальности.

Использование
По мнению создателей технологии, в будущем она облегчит обучение игре на музыкальных инструментах. Например, имитация в VR поможет ученику рассмотреть движения профессионала с разных ракурсов.

Нейросети все чаще используются не только в IT-сфере, но и в бытовых ситуациях. В июне 2018 года Google представила алгоритм на нейронных сетях Medical Brain, который по состоянию пациента предсказывает срок его пребывания в больнице, а также вероятность повторной госпитализации и смерти.

0
0.040 GOLOS
На Golos с June 2018
Комментарии (0)
Сортировать по:
Сначала старые