Нам нужны роботы, которым мы сможем доверять
Привет. Беспилотные автомобили, личные помощники, роботы уборщики, умные дома - вот лишь некоторые примеры автономных систем.
Поскольку многие такие системы уже используются или находятся в процессе разработки, ключевым вопросом является доверие. Главный тезис заключается в том, что надежных, работоспособных систем недостаточно, чтобы обеспечить доверие. При разработке автономных систем также необходимо учитывать другие требования, в том числе способность объяснять свои решения и иметь механизмы возмещения причиненного вреда, если все пойдет не так.
Когда делать хорошую работу недостаточно
За последние несколько лет произошли значительные успехи в развертывании автономных систем. Это, по сути, программные системы, которые принимают решения и действуют на их основании, взаимодействуя с окружающим миром. В первую очередь, это беспилотные автомобили, которые должны самостоятельно принимать решения каждую секунду в зависимости от складывающейся обстановки. В меньшей степени, это программные приложения - личные помощники и т.п.
Однако, недостаточно устройств, которые хорошо функционируют. Нам также необходимо рассмотреть, какие дополнительные функции люди должны внедрить в автономные системы, чтобы человечество могло доверять им.
Предположим, что персональный помощник хорошо работает. Но, доверяете ли вы ему, если он не может объяснить принятие своих решений?
Чтобы сделать систему надежной, нам необходимо определить ключевые предпосылки для доверия ей. Затем, нам необходимо убедиться, что система имеет возможность интегрировать этих функции.
Что заставляет нас доверять
В идеале мы бы ответили на этот вопрос, используя социологию. Мы могли бы спросить людей, готовы ли они доверять автономной системе, что дало бы нам возможность понять, от каких факторов зависит степень нашего доверия роботам. Например, существует ли гарантия безопасности поведения системы в жизненно важных ситуациях? Является ли возможность объяснить основания принятия решения важным для нас?
Предположим, что система принимает решения, которые имеют определяющее значение для правильного выбора, например, беспилотные автомобили, избегающие несчастных случаев. При каких условиях мы будем более осторожны в том, чтобы доверять системе, которая принимает такие важные решения?
Нужно объяснение
Во-первых, система должна быть способна объяснить, почему она приняла те или иные решения. Объяснения особенно важны, если поведение системы может быть неочевидным, но все же правильным.
Например, представьте себе программное обеспечение, которое координирует операции по оказанию помощи при бедствиях, определяя задачи и места нахождения пострадавших для спасателей. Такая система может предлагать выполнение задач, которые кажутся странными для отдельного спасателя, но являются правильными с точки зрения общей операции спасения. Без объяснений такое распределение задач вряд ли заслуживает доверия.
Предоставление объяснений позволяет людям понимать системы и может поддерживать доверие к неожиданным, на наш человеческий взгляд, решениям. Эти объяснения должны быть понятными и доступными, возможно, с использованием естественного языка. Они могут быть интерактивными, в форме беседы.
Сегодня одной из проблем такого элемента искусственного интеллекта, как нейронные сети, как раз является трудность понимания, как машина приходит к своим решениям, потому, что нейронная сеть слишком обширная и процесс принятия конкретного решения не очевиден.
Если все пойдет не так
Второй предпосылкой для доверия автономным системам является возможность получения компенсации за причиненный вред. Это означает, что вы можете получить компенсацию, если на вас оказывает неблагоприятное воздействие автономная система. Это необходимое условие, потому что оно позволяет нам доверять системе, в которой мы не уверены на все 100%. Так как на практике нет идеальных систем.
Механизм регресса может быть установлен законом или формой страхования от несчастных случаев с участием автономных систем, что-то типа действующего сегодня ОСАГО.
Однако, полагаться только на юридический механизм недостаточно. По крайней мере, некоторые автономные системы будут производиться крупными транснациональными корпорациями. Юридический механизм может превратиться в ситуацию "мышь против горы", поскольку соотношения сил человека и корпорации будут явно не в пользу пострадавшего.
В более широком смысле доверие также требует социальных общественных и государственных структур для регулирования таких ситуаций и возникающих правоотношений. Например, необходимо на международном уровне определить основные нормы и принципы в области регулирования отношений, связанных с использованием автономных систем и создать соответствующие институты арбитража.
Сертификация и доверие требуют проверки. В частности, это означает использование математических методов для обеспечения гарантий принятия правильных решений автономными системами. Например, гарантия, что автомобиль никогда не ускорится, когда перед ним будет находиться другой автомобиль или человек.
Учет человеческих ценностей
В некоторых областях процесс принятия решений должен учитывать соответствующие человеческие ценности. Они, например, могут включать конфиденциальность и безопасность человека.
Представьте себе систему, которая заботится о пожилом человеке с деменцией. Пожилой человек хочет прогуляться. Однако, по соображениям безопасности ему не разрешается покидать дом в одиночестве. Должна ли система: позволить ему уйти; не дать ему уйти; сообщите кому-нибудь?
Решение о том, как наилучшим образом реагировать, может потребовать рассмотрения соответствующих основных человеческих ценностей. Возможно, в этом сценарии вопрос безопасность отменяет действия АС, но, возможен вариант информирование опекуна.
Автономные системы должны стать более умными
Эти предпосылки - объяснения, возмещение вреда и учет человеческих ценностей - необходимы для создания надежных автономных систем. Они должны рассматриваться как часть процесса проектирования. Это позволило бы создать соответствующие функциональные возможности в системе.
Для решения этих предпосылок требуется междисциплинарное сотрудничество. Например, разработка соответствующих механизмов объяснения требует не только компьютерной науки, но и человеческой психологии. Точно так же разработка программного обеспечения, которое может учитывать человеческие ценности, требует философии и социологии. А вопросы управления и сертификации связаны с законом и этикой.
Наконец, есть более широкие вопросы. Во-первых, какие решения мы готовы передать программному обеспечению? Во-вторых, как общество должно готовить и реагировать на множество последствий, которые могут наступить в случае широкомасштабного развертывания автономных систем.
