Новый AI стартап представил инновационный подход для самобучения машин

Привет. Google DeepMind использует сложные компьютерные симуляции для машин, чтобы научить их, как выполнять определенные задачи. Моделируемый тренинг, известный как обучение усилением, включает в себя компьютер, который пытается опробовать тысячи (или миллионы) разных вещей, пока ему не удастся выяснить, что делать. Используя этот подход в сочетании с глубоким обучением, лондонская исследовательская группа по искусственному интеллекту обучает компьютеры, как побеждать лучших игроков в древнюю игру Go, а также обучает роботов передвижению по миру.

Основанный в Калифорнии AI-стартап, под названием Bonsai, предложил новый трюк, который позволяет победить даже DeepMind в этой игре. Этот трюк - компания называет его «концептуальными сетями» - значительно повышает эффективность обучения подкреплением.

В недавно опубликованной статье основатели проекта Bonsai описывают, как концептуальные сети функционируют, разбивая цель на отдельные проблемные области. Чтобы научить робота подбирать и складывать блоки, например, AI разбивает задачу на пять понятий: достичь, сориентироваться, понять, переместить и сложить. Робот должен научиться делать все пять шагов достаточно хорошо, чтобы успешно завершить задачу. Bonsai находит решение для каждого из пяти этапов индивидуально, а затем объединяет их в конце, чтобы завершить задачу.

Разрабатывая каждый отдельный этап, как свою текущую задачу, роботизированная рука имеет гораздо более простой набор целей для решения. Например, нужно просто выяснить, как достичь блока. Кроме того, некоторые концепции, такие как захват и перемещение, уже оптимизированы с использованием классических контроллеров (не глубоких нейронных сетей). В результате, этим элементам - достать блок и переместить его - не нужно обучать снова и снова. 

Роботизированная рука пытается собрать блок в симуляторе MujoCo

Поскольку задачи достижения и перемещения на роботизированной руке не нуждаются в переподготовке, компьютер может сократить время моделирования основной задачи. Другие цели, достижение которых еще не достаточно оптимизировано - ориентация, захват и складывание в стек - могут быть обучены посредством моделирования с использованием нейронных сетей.

Бумага DeepMind, описывающая свой подход к обучению подкреплением, берет на себя аналогичную задачу по захвату и укладки блоков с помощью роботизированной руки, но концептуальные сети Bonsai создают намного более эффективную систему. Системе DeepMind потребовалось миллион циклов, чтобы научиться захватывать и складывать блоки (это означало, что роботизированная рука потребовала миллион попыток выполнить задачу в моделируемой среде). Между тем, система Бонсай выполнила всего 22 000 циклов, чтобы найти оптимальный алгоритм решения задачи.

Это может показаться всего лишь сухим научным экспериментом, но глубокое обучение подкреплением является важным методом обучения AI-систем взаимодействию с миром. Google, например, использовал методы обучения подкреплением DeepMind в своем узле охлаждения в центре обработки данных, чтобы сократить потребление энергии на 40%. Бонсай фокусируется на крупных промышленных системах, таких, как управления ветряными электростанциями, где эти методы могут применяться для массового повышения производительности.

Исследователи видят множество проблем, которые могут быть решены при помощи нового подхода к обучению AI. 

Подробней, фото1, фото2

технологиинаукаpskжизньии
25%
1
65
40.426 GOLOS
3
В избранное
Константин
Наука, технологии, AI, IoT, BigData, роботы, криптовалюты, программирование. Самое актуальное и интересное
65
3

Зарегистрируйтесь, чтобы проголосовать за пост или написать комментарий

Авторы получают вознаграждение, когда пользователи голосуют за их посты. Голосующие читатели также получают вознаграждение за свои голоса.

Зарегистрироваться
Комментарии (4)
Сортировать по:
Сначала старые