Как мы можем предсказать возможное поведение AI? Наблюдая, как он спорит сам с собой.
Привет. Эксперты полагают, что использование систем искусственного интеллекта, которые пытаются перехитрить друг друга, может помочь человеку точней судить о его намерениях. Когда-нибудь, будет совершенно обычно наблюдать, как система AI сражается сама с собой.
Эта концепция исходит от исследователей из OpenAI, некоммерческой организации, основанной несколькими компаниями Силиконовой долины, в том числе с партнером Y Combinator Сэмом Альтманом, председателем LinkedIn Ридом Хоффманом, членом правления Facebook и основателем Palantir Питером Тилем, а также руководителем Tesla и SpaceX Илоном Маском.
Исследователи OpenAI ранее показали, что системы искусственного интеллекта, которые тренируются, могут иногда создавать неожиданные и нежелательные привычки. Например, в компьютерной игре агент может выяснить, как изменить свою стратегию для получения более высокого балла. В некоторых случаях человек может контролировать процесс обучения.
Но если программа AI делает что-то невероятно сложное, это может оказаться невыполнимым. Поэтому исследователи предполагают, чтобы две системы обсуждали одну конкретную задачу.
«Мы полагаем, что этот или подобный подход может в конечном итоге помочь нам обучить системы AI выполнять гораздо более познавательно сложные задачи, чем способны люди, оставаясь в рамках человеческих предпочтений», - пишут исследователи в блоге, в котором излагается концепция.
Взять, например, системы искусственного интеллекта, предназначенные для защиты от человека или AI хакеров. Чтобы система не делала ничего вредного или неэтичного, может возникнуть необходимость бросить ей вызов, чтобы понять логику конкретного действия.
Эта логика может быть слишком сложной для понимания человеком, поэтому исследователи предполагают, что другая система AI будет вести дискуссию с первой системой, используя естественный язык, пока человек наблюдает.
Наличие возможности программ AI спорить друг с другом требует более сложных технологий, чем существующие в настоящее время.
Таким образом, исследователи OpenAI изучили эту идею с помощью нескольких чрезвычайно простых примеров.
Один из них включает в себя две системы AI, которые пытаются рассказать человеку о скрытом персонаже, медленно раскрывая отдельные пиксели. Исследователи создали веб-сайт, где любые два человека могут попытаться сыграть роли дискуссионных систем AI, а третий - судьей. Эти два участника соревнуются, чтобы убедить судью в характере изображения, выделяя его части. В конце концов, наблюдателю становится проще понять, кто из них честен.
Винсент Конитцер, исследователь Университета Дьюка, изучающий этические проблемы, связанные с искусственным интеллектом, говорит, что работа находится на ранней стадии, но обещает.
«Создание систем AI, которые могут объяснить свои решения, является сложной исследовательской программой. В случае успеха это может значительно способствовать более ответственному использованию AI».
В своем нынешнем виде - и несмотря на некоторые диковинные заявления от таких людей, как Илон Маск (финансист OpenAI и до недавнего времени член его совета), мы все еще далеки от того, чтобы системы AI могли бы обманывать нас в типе сценария изображенного в фильмах, таких как "Из машины". Тем не менее, некоторые исследователи AI изучают способы обеспечения того, чтобы технология не вела себя непреднамеренно.
Это может стать более важным, поскольку программы AI становятся все более сложными и непостижимыми. "Я думаю, что идея выравнивания ценностей через дебаты очень интересна и потенциально полезна”, - говорит Ариэль Прокачча, профессор компьютерных наук, который изучает принятие решений автономными системами.
Однако, Прокачча отмечает, что работа находится на предварительной стадии, и что концепция может содержать фундаментальное противоречие. «Для того, чтобы обсуждать ценностные вопросы таким образом, который понятен человеческому судье, агенты AI, возможно, должны в первую очередь иметь твердое понимание человеческих ценностей».
Ияд Раван, исследователь лаборатории MIT Media, добавляет, что исследователям необходимо быть осторожными, чтобы пара AI не попала в круговую аргументацию (логическая ошибка). "Я думаю, что они очень быстро столкнутся с некоторыми очень сложными проблемами", - говорит он. "Во-первых, как автоматизировать аргументацию на естественном языке, которая до сих пор остается нерешенной проблемой”.
