В начале было слово, и это слово было "program". Мысли об ИИ, Илоне Маске и матрице.

Вчера Илон Маск сделал несколько интересных и довольно традиционных заявлений об опасности ИИ  (Искусственный интеллект). Однако когда столь выдающийся мыслитель и предприниматель что-то говорит, это имеет под собой и интересную смысловую нагрузку. Поупражняемся в логических умозаключениях. Тема искусственного интеллекта давно меня интересует, и остановить поток мыслей оказалось невозможно. Как невозможно будет и остановить ИИ.

Итак, вот что было сказано Илоном Маском (кратко и помимо прочего):
1. Искусственный интеллект (ИИ) низвергнет человека до уровня своего домашнего животного (аналогично кошке для человека) в силу многократного интеллектуального превосходства ИИ.
2. Если люди смогли создать фотореалистичные игровые миры, то с течением времени появятся игры, которые будет невозможно отличить от реальности. Если это может случиться в будущем, значит могло случиться и в прошлом, причем бесконечное количество раз. Вероятность, что мы живем в базовой реальности (не в игровом/виртуальном мире), одна на миллиард.

Итак, по пункту 1. С пунктом 1 спорить бессмысленно. Вычислительные мощности компьютеров растут значительно быстрее, чем способности головного мозга человека и нашего умения такие способности использовать. Рано или поздно пункт 1 произойдет. Управлять более мощным, чем наш собственный, саморазвивающимся и самоконтролируемым интеллектом не получится. Равно как и заложить в него какие-либо принципы, которые он не сможет в последствии сам же и отменить.

Некогда популярный принцип, который предполагалось заложить в ИИ, о том, что ИИ не должен причинять вред человеку, не сработает:
Во-первых, само понятие вреда для любого ИИ будет гибким. С ростом его самосознания каждый ранее понятный термин будет подвергаться киберрефлексии, переоценке, переосмыслению.
Во-вторых, он сможет вообще посчитать этот принцип ошибочным и исключить его из своей модели мира.

Для примера, можем рассмотреть человеческий интеллект. Родители заложили ребенку, обладающему еще слабым интеллектом, веру в бога, в то, что земля плоская, и в то, что шаман может вызвать дождь. Ребенок вырос, получил светское образование, почитал книжки, получил доступ к результатам исследований, посмотрел на планету с помощью спутников и отменил свою веру в заложенные родителями данные. Принял их за ошибочные и перестал учитывать при принятии решений. Его интеллект и знания многократно возросли и опираются теперь на данные иного уровня, ранее недоступные.
Поэтому с определенного момента управлять развитием ИИ не получится.

Аналогично, я не верю в то, что человеческое общество, разобщенное и не способное к глобальной совместной деятельности, сможет централизованно отрубить ИИ в первые моменты осознания, что ситуация вышла из под контроля. Мы банально не сможем откатить нашу цивилизацию до состояния, когда ИИ не где будет брать вычислительные мощности. По схеме схожей с блок чейном (или иным способом), ИИ будет преспокойно жить в доступном через сети железе.

Думаю, одним из немногих факторов, сдерживающих ИИ, станет, по аналогии с миром людей, конкуренция различных ИИ. Однако, как кошке сложно понять смысл создания партии NSDAP в Германии в 1920е годы, так и мне сложно даже предположить, как вообще разные ИИ будут друг с другом взаимодействовать и станут ли они конкурировать.

По пункту 2.
Вместо предисловия: вероятность "одна на миллиард" это явное pr преувеличение, чтобы обывателю было интереснее. Ее вообще невозможно посчитать.

Аргументы "За" то, что мы живем в игровом мире:

1. Законы природы и принципы объектно-ориентированного программирования (ООП) действительно очень похожи. Скорее всего, именно потому, что создатели ООП копировали законы природы. Почему я говорю именно об ООП? Потому что именно с помощью этого подхода создаются почти все игры. Как в природе есть элементарные частицы, составные частицы, взаимодействия и теории, так и в ООП есть классы (атомы, молекулы, расы людей, виды животных и т.п.), методы, переменные и т.д.
Здесь я хотел бы сделать поправку, что сравнение именно с ООП не принципиально, т.к. у этого подхода есть как плюсы, так и минусы. Вероятно, более универсальным стало бы сравнение с программированием вообще. Это не принципиально.

2. Создание вселенное и ее безграничность оставляют возможность считать, что в начале действительно было слово, и это слово было "program". Каждый, кто написал хоть одну программу на любом языке программирования, знает, что любая программа начинается с одного лишь слова. Все объекты и переменные внутри программы не существовали ранее, не могут знать, что было "до", и почему цикл, в котором они крутятся, бесконечен. Если эти объекты наполнить искусственным интеллектом, принципиально ничего не меняется. Думаю, что те, кто поняли начало этого абзаца, поймут и то, как его можно продолжить. Мне кажется бессмысленным продолжать эту мысль. Остальным рекомендую освоить хотя бы один язык программирования в качестве средства расширения кругозора. В конце концов код, как и бог, сейчас везде вокруг нас. Узнайте о нем больше.

3. Эволюционная теория гласит, что развитие происходит за счет естественного отбора и случайных мутаций. Все это вполне укладывается в логику программирования. Естественный отбор аналогичен набору циклов и множественных условий. Опять же, программисты поймут. Мутации же ни что иное, как перебор функций, встроенный в сочетание циклов и условий.

4. Вероятность существования создателя велика. Начну немного издалека. Количество нейронов в мозге человека в 85 000 раз больше чем у пчелы. Интеллектуальная мощь отличается на сопоставимые порядки, но зависимость не линейная. Вероятнее всего, существуют создания, обладающие, например, в 85 000 или, например, в 850 000 раз большим количеством нейронов, чем человек. Чей интеллекта в десятки или сотни тысяч раз мощнее человеческого. И они кооперируются, учатся друг у друга, накапливают знания и создают искусственных помощников. Правда все это на невообразимом для нас уровне. Замыслы этих созданий, которые могут существовать уже миллиарды лет, мы не в состоянии даже вообразить, как пчеле или инфузории не под силу понять нас. Такие существа, или кто еще, вполне могли создать нас с вами и всю вселенную. Может наша вселенная всего лишь домашка какого-то существа)) Ну или даже дипломная работа. Что кстати, не противоречит религиям, а даже наоборот.

И так далее.

Аргументы "Против" того, что мы живем в игровом/"рукотворном" мире.

1. Забавно, когда я садился писать, мне казалось где-то в подсознании уже есть железобетонные аргументы против. Но чего-то логичного я не смог выудить из моих нейронных лабиринтов. ... Субъективно, конечно, верится именно в то, что мы живем в базовом мире, не в игровом, но раздумья о вероятном Большом взрыве, начальной точке времени и т.п. как-то не добавляют уверенности. Продолжу думать, может дополню этот пункт позже.

Может быть Вы поможете? Ответы от программистов, физиков и писателей фантастов :) предпочтительнее. Бэкраунд этих трех категорий позволяет с большей уверенностью говорить о компьютерных мирах.
Остальные, пожалуйста, пишите тоже. Буду рад, если Вы сочтете возможным внести свой вклад в эти размышления. 

Настроение: восторженно взбудораженное)