Как может выглядеть удачный для Вселенной исход дела?
Вассар пристально смотрел за окно на оживленное по случаю часа пик движение; машины только-только начали скапливаться на железном мосту в Окленд. Где-то там, за водной поверхностью, лежало будущее. В его воображении сверхразум уже вышел из-под контроля своих создателей. Он колонизировал сначала Солнечную систему, а затем и Галактику; теперь он занимался переформатированием Вселенной и вырастал в нечто настолько необычное, что сложно поддается человеческому пониманию.
В этом будущем, сказал Вассар, вся Вселенная становится единым компьютером, или единым сознанием; это настолько же опережает наши сегодняшние представления о мире, насколько космический корабль опережает червя. Курцвейл пишет, что это судьба Вселенной. Другие соглашаются, но считают, что, бездумно развивая ИИ, мы сделаем неизбежным как наше собственное уничтожение, так и уничтожение других существ, возможно, обитающих где-то далеко. Если ИСИ не будет ни любить нас, ни ненавидеть, точно так же он не будет ни любить, ни ненавидеть всех остальных существ во Вселенной. Неужели наше стремление построить ИИ человеческого уровня знаменует собой начало галактической эпидемии?
Покидая квартиру Вассара, я размышлял о том, что может помешать этому антиутопическому сценарию осуществиться. Что сможет остановить всеразрушающий искусственный разум человеческого или более высокого уровня? Более того, есть ли в этой антиутопической гипотезе слабые места?
Ну, вообще-то создатели ИИ могли бы сделать его «дружелюбным», чтобы то, что разовьется из первых образцов УЧИ, не уничтожило нас и другие существа во Вселенной. С другой стороны, не исключено, что мы ошибаемся насчет способностей и побудительных мотивов УЧИ и напрасно боимся, что он будет завоевывать Вселенную. Возможно, это ложная дилемма.
Может быть, ИИ никогда не сможет развиться в УЧИ. Есть серьезные основания считать, что эволюция ИИ произойдет иначе и более управляемым способом, чем мы думаем. Короче говоря, мне хотелось знать, что могло бы направить нас по более безопасному пути в будущее.
Я собирался спросить об этом у автора эксперимента «ИИ в ящике» Елиезера Юдковски. Мне говорили, что он не только предложил тот мысленный эксперимент, но и вообще знает о «дружелюбном» ИИ больше, чем кто бы то ни было другой на всем белом свете.
