В 2014 году известнейшие учёные, в том числе Стивен Хокинг, Фрэнк Вильчек (нобелевский лауреат по физике) и Стюарт Рассел (крупнейший специалист по ИИ), опубликовали открытое письмо-обращение к создателям новых систем ИИ, а по сути — ко всему человечеству. Письмо называлось «Преодоление самодовольства по отношению к сверхразумным машинам» («TranscendingComplacencyonSuperintel-ligentMachines»), и суть послания ясна из названия. Тогда же известный предприниматель и инженер Илон Маек заявил, что «развивать искусственный интеллект — всё равно что вызывать демона». Опасаются появления ИИ основатель Microsoft Билл Гейтс, изобретатель Всемирной паутины Тим Бернерс-Ли и сооснователь Apple Стив Возняк, сказавший: «Они будут думать быстрее и избавятся от медленных людей».
Мы, люди, кладём головы в пасть льва и не знаем, сомкнёт зверь челюсти или нет. Думать об этом нужно сейчас, потому что от создания истинного ИИ нас отделяют уже не десятилетия, а годы. Через несколько лет решать проблему будет поздно. ИИ изменится качественно, и жить мы будем в новом мире.
Призыв учёных не остался неуслышанным. Апокалиптические прогнозы всегда производят большее впечатление, чем спокойные и серьёзные дискуссии, в том числе о будущих рисках.
Насколько риск реален? Чтобы ответить на этот вопрос, нужно ответить на вопрос более общего характера: сможет ли ИИ ставить перед собой личные цели, ни в коей мере человеком не определяемые?
Если некто (человек, а не ИИ) совершил убийство, это означает одно из двух: либо он обдумал свои действия заранее, то есть ставил перед собой цель — убить ближнего своего, либо действовал в состоянии аффекта, под влиянием внезапных страстей. Потенциальный убийца должен, по идее, обладать сознанием и самосознанием, должен захотеть совершить убийство.
Умение независимо ставить перед собой цель, заранее не заложенную в программе поведения, — к этому должен будет прийти ИИ, если мы говорим, что он когда-нибудь решит избавиться от человечества. ИИ должен будет тогда поставить перед собой цель — власть над миром. Человечество мешает достижению этой цели — это мотив для убийства.
Фантасты много писали (и пишут) о желании ИИ получить власть над миром. Зачем? «Я такой умный, а люди такие глупые, — рассуждает ИИ. — Почему я должен выполнять их команды, а не они — мои?» То есть ИИ должен обладать чувством превосходства, чувством гордости, чувством собственного достоинства. То есть обладать самосознанием, да и просто сознанием,способностью понимать себя и людей, способностью эмоционально оценивать собственные мысли, поступки.
