Если бы у вас был сверхразум, который первоначально был копией человеческого мозга, а затем начал самосовершенствоваться и со временем отходил бы все дальше и дальше от оригинала, то такой разум действительно мог бы обернуться против человечества примерно по тем самым причинам, о которых вы говорили, — сказал Юдковски. — Но если говорить о синтетическом ИИ, созданном не на основе человеческого разума, то такого никогда не произойдет, потому что этот разум слишком чужд человеческому. Громадное большинство таких ИИ вполне могли бы вас убить, но не по названным причинам. Все, что вы вообразили, применимо лишь к сверхразуму, исходным материалом для которого послужил человеческий интеллект.
Мне еще предстояло узнать в ходе своих исследований, что многие специалисты оспаривают концепцию дружественного ИИ, исходя из других соображений. На следующий день после встречи с Юдковски я разговаривал по телефону с доктором Джеймсом Хьюзом, заведующим кафедрой философии Тринити-колледжа и исполнительным директором Института этики и новых технологий IEET. Хьюз пытался доказать слабость идеи о том, что функция полезности ИИ не может меняться.
Одна из аксиом для тех, кто говорит о дружественном ИИ, состоит в том, что при достаточно тщательном подходе можно сконструировать сверхразумное существо с набором целей, который затем меняться не будет. Они почему-то игнорируют тот факт, что у нас, людей, имеются фундаментальные цели — секс, пища, убежище, безопасность. Иногда они трансформируются в такие вещи, как желание стать террористом-смертником или жажда получить как можно больше денег, — в общем, в вещи, не имеющие ничего общего с изначальным набором целей, но построенные на его основе в результате серии последовательных шагов, которые мы можем пронаблюдать в собственной голове.
Таким образом, мы способны исследовать свои собственные цели и изменять их. К примеру, мы можем избрать для себя целибат, который полностью противоречит нашей генетической программе. Мысль о том, что сверхразумное существо с пластичным разумом (каким, собственно, и должен обладать ИИ) не будет меняться со временем, попросту абсурдна[14].
Веб-сайт лаборатории идей Хьюза, IEET, показывает, что их критика относится в равной степени ко всем; их тревожат не только опасности ИИ, но и опасности нанотехнологий, биотехнологий и других рискованных новинок. Хьюз считает, что сверхразум опасен, но шансы на его скорое появление невелики. Однако он
