Конечно, такой вариант хорошо сработал бы на пропаганду и привлек бы немало сторонников. Но никаких уроков об обращении с ИИ в реальном мире из этой ситуации извлечь было бы невозможно.
Вернемся к дружественному ИИ. Если создание такого ИИ представляется маловероятным, означает ли это, что интеллектуальный взрыв неизбежен? Неужели ИИ обязательно окажется на свободе? Если вы, как и я, всегда считали, что компьютеры сами по себе инертны и не создают проблем, вас это удивит. Зачем, спрашивается, ИИ будет делать что бы то ни было, тем более умолять, угрожать или убегать?
Чтобы прояснить этот вопрос, я разыскал разработчика ИИ Стивена Омохундро, президента компании Self-Aware Systems.
Сам он физик, классный программист и занят разработкой научного подхода к пониманию интеллекта, превышающего человеческий. Он утверждает, что обладающие самосознанием самосовершенствующиеся ИИ-системы будут мотивированы на совершение неожиданных и даже странных действий. По мнению Омохундро, робот, разработанный для игры в шахматы, при достаточном уровне интеллекта может захотеть построить космический корабль
ГЛАВА 5
Программы, которые создают программы
…Мы начинаем зависеть от компьютеров, которые помогают нам разрабатывать новые компьютеры, позволяющие производить гораздо более сложные вещи. И все же мы не до конца понимаем этот процесс — не догоняем, как говорится. Мы используем программы для создания гораздо более быстрых компьютеров, чтобы процесс мог протекать намного быстрее. Именно это ставит в тупик — технологии начинают подпитывать себя сами, а мы отходим в сторону. Сегодняшние процессы аналогичны превращению одноклеточных: организмов в многоклеточные. Мы — амебы, и мы не в состоянии понять, что, черт возьми, мы создаем.
Дэнни Хиллис, основатель компании Thinking Machines, Inc.
Мы с вами живем в интересный и важный период истории человечества. Примерно к 2030 г., меньше чем через поколение, нам, возможно, придется делить Землю со сверхразумными машинами, и уцелеть будет совсем не просто. Теоретики ИИ вновь и вновь поднимают несколько тем, важнейшей из которых является следующая: чтобы понять их, нам необходима специальная наука.
Мы уже рассмотрели катастрофический сценарий под названием Busy Child, затрагивали тему замечательных возможностей, которые может получить ИИ, когда превзойдет человеческий разум в процессе рекурсивного самосовершенствования. Среди этих возможностей — самокопирование, мозговой штурм с привлечением множества копий самого себя, сверхскоростные вычисления, работа круглые сутки и без выходных, имитация дружелюбия, имитация собственной смерти и многое другое. Мы предположили, что искусственный сверхразум не удовлетворится существованием в изоляции; побуждения и разум толкнут его в наш мир и поставят наше существование под угрозу. Но почему у компьютера вообще должны возникнуть какие-то побуждения? И почему они будут угрожать нам?
