Человек всему этому научился в процессе эволюции, продолжавшейся (и продолжающейся) миллионы лет. ИИ должен пройти этот путь за считаные годы или десятилетия. Ту же борьбу за «место под солнцем» с другими ИИ. Развить в себе сознание и самосознание, заранее не заложенные программистами — хотя бы потому, что мы сейчас и сами не знаем, что представляет собой наше сознание (и тем более — самосознание). До сих пор ведутся споры о том, является ли сознание результатом биохимических процессов в мозгу, или сознание — нечто внешнее по отношению к мозгу, нечто, зависящее от биохимии мозга, но не определяющееся полностью физико-химическими реакциями. Саморазвивающийся суперинтеллект будет много умнее человека, но пока ни в каких исследованиях нет ни малейших доказательств того, что ИИ будет обладать самосознанием, ни малейших данных, которые могли бы сказать: придёт момент, и ИИ осознает себя… кем? Нет никаких доказательств того, что ИИ будут доступны эмоции и чувства: чувство собственного достоинства, чувство превосходства, зависти, наконец, — а без этого сугубо рациональный интеллект вряд ли задумается о том, что хорошо бы стать правителем и убрать с дороги всех, кто этому мешает.
Разумеется, разработчики ИИ всё это прекрасно понимают. В нынешнем развитии того, что мы называем ИИ, нет ни одной реальной тенденции, которая в будущем (при попустительстве производителей ИИ) привела бы к тому, что у ИИ появится цель — уничтожить человечество и получить власть над миром.
Возражение: уже сейчас программисты создаюттакие сложные нейронные цепи, такие сложные ИИ, что не могут предсказать, как конкретно поступит ИИ в той или иной ситуации. Но цель задают конструкторы — ни один современный ИИ пока не может хоть на йоту изменить цель своего существования. Другое дело, что цели, которые ставит перед собой человек, бывают порой (часто!) такими сложными и неопределёнными, что задавать их ИИ попросту бессмысленно.
Стюарт Рассел, о котором шла речь выше, считает, что «мы должны задать ИИ правильную цель, но, поскольку мы, похоже, не знаем, как её программировать, правильный ответ, по-видимому, заключается в том, что робот должен учиться взаимодействовать с людьми, наблюдать за ними».
Идея хороша. ИИ не знает, чего человек хочет. А сам человек знает? И если даже знает, то ведь все люди хотят разного, мечтают о разном, цели разных людей очень часто противоречат друг другу.
Рассел приводит в пример историю с царём Мидасом, захотевшим (вот цель!), чтобы всё, к чему бы он ни прикоснулся, обращалось в золото. Он и получил в точности то, о чём просил (как если бы его желание исполнил ИИ). «Но разве Мидас в действительности стремился к такой цели? — продолжает Рассел. — То, о чём мы просим, не является доказательством того, что это действительно наша цель».
