Как искусственный интеллект повлияет на риск ядерной войны?
По мере развития технологии люди становятся все более могущественными. С этой силой приходят большие возможности и большой риск. Нигде это не показано более ясно, чем в потенциале искусственного интеллекта. Но новый отчет корпорации RAND предполагает, что наши неправильные представления о возможностях технологии могут быть столь же опасны, как и сама технология.
Если вы являетесь сторонником сингулярности, согласно докладу RAND, «Суперинтеллект сделает мир неузнаваемым и спасет или уничтожит человечество в этом процессе». Мир с AI человеческого уровня может быть невообразимо отличным от сегодняшнего мира - и каким он будет сегодня трудно предсказать.
Тем не менее, общество пытается приспособиться к умным алгоритмам (“слабому AI”), которые все больше влияют на нашу жизнь. В недавнем докладе были изложены потенциальные возможности использования AI с криминальными целями.
Ядерное оружие остается, пожалуй, как экзистенциальная угроза. В докладе основное внимание уделяется тому, как слабый AI может изменить шаткое ядерное равновесие, в котором мы живем с момента первого испытания ядерного оружия.
Для начала можно себе представить, что существует риск того, что кибератака, усиленная AI, может взломать ядерные военные объекты. Был тревожный момент в 2010 году, когда ВВС США “потеряли контакт” с ракетами ненадолго. Но это не является серьезной проблемой, по крайней мере пока. Хотя может показаться тревожным, что ядерный Арсенал США все еще работает на 40-летних компьютерах с дискетами, это означает, что структура управления имеет физическую изоляцию. Закрытую сеть, не имеющую доступа к интернету, гораздо сложнее взломать.
Стивен Шварц (Stephen Schwartz), эксперт по ядерной политике говорит: «Система, которая работает в настоящее время, является относительно неуязвимой для кибератаки напрямую». Но он поднял гораздо более пугающую озабоченность: «Имейте в виду, что ядерная система зависит от военных сообщений ... и они уязвимы. В той мере, в какой они могут подвергаться нападениям и манипуляциям, особенно во время кризиса, у нас могут возникнуть проблемы”.
Единственное, нужно помнить, что инфраструктура командования и управления ядерным оружием предназначена для использования в целях взаимно гарантированного уничтожения, рассматриваемого как необходимый для эффективного сдерживания, вы должны иметь возможность начать свое возмездие в течение нескольких минут. В противном случае тысячи ядерных ракет, направлявшихся к вам лишат вас такой возможности. У вас есть считанные минуты, чтобы принять решение. Времени на проверку сообщения о нападении не так уж много.
Учитывая, как быстро должны приниматься решения, у людей не так много времени, чтобы оценить ситуацию и отреагировать. Именно поэтому, как только это стало возможным, были использованы компьютерные системы раннего предупреждения. По мере развития AI ”умные советники" станут огромным соблазном для военных - алгоритмов, способных оценивать ядерную угрозу и автоматически планировать оптимальный ответ в те минуты, которые имеются. Но это принесет с собой и новые риски.
Компьютеры, которые фактически управляют ракетами, гораздо менее уязвимы для ошибок или нападений, чем сообщения людей принимающих решения. Самые страшные моменты холодной войны часто происходят из-за подобных недоразумений. В 1983 году Станислав Петров следил за советской системой раннего предупреждения, когда он увидел предупреждение: входящие ракеты были выпущены Соединенными Штатами. Если бы Петров точно следовал военному протоколу, он бы поднял тревогу. Но Петров считал маловероятным, что США будут атаковать только небольшим количеством ракет и не стал этого делать, потенциально предотвратив ядерную войну. Это всего лишь один случай: подобные истории повторялись снова и снова.
Нам невероятно повезло, что все эти ошибки были замечены еще до начала ядерной войны. Но что, если ошибки были бы более убедительным? Если, например, технология deepfake использовалась для имитации приказа президента о ядерном ударе? Над такими сценариями должны сейчас задумываться стратеги ядерных сил.
Неправильные представления о том, что может сделать искусственный интеллект, могут быть столь же опасны, как и сам AI. Если люди считают, что их связь может быть взломана-даже если она абсолютно безопасна-как они могут доверять приказам, которые они получают?
Аналогичная озабоченность была высказана в докладе по поводу гарантированного уничтожения: в докладе говорится: “как Россия, так и Китай, похоже, считают, что Соединенные Штаты пытаются использовать AI, чтобы угрожать выживаемости своих стратегических ядерных сил, разжигая взаимное недоверие, которое может оказаться катастрофическим в кризисе."Если умные алгоритмы могут сканировать спутниковые снимки для определения местоположения ядерных стартов или просто анализировать данные приложений для смартфонов - может ли сторона с лучшими технологиями быть в выигрыше, нарушая баланс сил?
Что делать, если одна сторона считает, что другая вскоре сможет надежно перехватывать ядерные ракеты?
Другие участники семинара были более спокойны в отношении этой перспективы. Они указали на то, что для борьбы с алгоритмом, который сканирует ответные силы, всегда можно использовать противоположные примеры - небольшие искажения входных данных, которые искусно подстроены для обмана машинного алгоритма.
Но это вызывает новую озабоченность: любой «советник AI» для военных по ядерному оружию также будет уязвим для такого нападения. Если ваш алгоритм машинного обучения, который сканирует небо для поиска ядерных запусков, можно одурачить, он может давать людям в структуре управления неправильную информацию. Человеческая ошибка может быть самым большим риском, но доверие к автоматизированным системам и алгоритмам тоже может оказаться катастрофическим.
С ускоряющейся скоростью важные социальные функции выполняются технологиями, которые понимают лишь немногие. Традиционные институты чувствуют необходимость реагировать на это ускорение, но могут перейти к опасным выводам. В новом обзоре ядерной стратегии США предлагается использовать ядерное оружие для реагирования и на кибератаки; но когда «кибератака» - это плохо определенный термин, и определение происхождения этих атак может занять много времени, чтобы проследить, реалистична ли эта политика?
Понятно, что государства не захотят разглашать свои военные тайны. Действительно, определенный уровень тайны о том, что уже достигнуто, вполне может помочь сдерживать атаки. Но мы все выиграем от более широкого понимания того, что возможно и что невозможно с искусственным интеллектом. Ядерная политика - это еще одна область, где черный ящик алгоритмов, которые мало кто понимает, может дестабилизировать шаткое равновесие. Сейчас, как никогда, нам нужны специалисты для общения с нашими государственными лидерами.
