habreplicator
6 лет назад[Перевод] Обучение с подкреплением никогда не работало
Автор: m1rko
Источник: https://habrahabr.ru/post/350328/
TL;DR: Обучение с подкреплением (RL) всегда было сложным. Не волнуйтесь, если стандартные техники глубинного обучения не срабатывают.
В статье Алекса Ирпана хорошо изложены многие современные проблемы глубинного RL. Но большинство из них не новые — они существовали всегда. На самом деле это фундаментальные проблемы, лежащие в основе RL с момента его создания.
В этой статье я надеюсь довести до вас две мысли:
Источник: https://habrahabr.ru/post/350328/
TL;DR: Обучение с подкреплением (RL) всегда было сложным. Не волнуйтесь, если стандартные техники глубинного обучения не срабатывают.
В статье Алекса Ирпана хорошо изложены многие современные проблемы глубинного RL. Но большинство из них не новые — они существовали всегда. На самом деле это фундаментальные проблемы, лежащие в основе RL с момента его создания.
В этой статье я надеюсь довести до вас две мысли:
- Большинство недостатков, описанных Алексом, сводятся к двум основным проблемам RL.
- Нейросети помогают решить только малую часть проблем, одновременно создавая новые.
Примечание: статья ни в коем случае не опровергает претензии Алекса. Наоборот, я поддерживаю большинство его выводов и считаю, что исследователи должны более чётко объяснять существующие ограничения RL.Читать дальше →