В русской литературе есть более знакомый пример: Золотой шар в фантастической повести Аркадия и Бориса Стругацких «Пикник на обочине». Идеальный ИИ, умеющий выполнять любые желания (наверное, те, что не противоречат законам природы?), но самосознанием не обладающий и, следовательно, собственных целей не имеющий.
«Счастье — для всех, даром!» Прекрасная цель, верно? Но в принципе недостижимая по той простой причине, что счастье — понятие сугубо индивидуальное. Счастье для одного может оказаться несчастьем для другого (в большинстве случаев так и будет!). Чтобы сделать счастливыми всех, нужно сначала сделать всех одинаковыми!
Наверняка ИИ и не станет такие цели выполнять — не из вредности, поскольку у него нет и вряд ли появится такое сугубо человеческое качество, мешающее, а не помогающее развитию интеллекта.
Великую и (или) неопределённую цель ИИ «разобьёт» на дерево «подцелей».
Говоря о том же царе Мидасе, Рассел приходит к выводу: «Если бы во времена Мидаса существовал ИИ, он объяснил бы царю, что в самой его просьбе есть ошибка, и на самом деле он не хочет, чтобы всё, чего он касается, превратилось в золото. Он сказал бы Мидасу: "Выбери конкретные объекты, которые ты хочешь сделать золотыми, и тогда твоя просьба будет выполнена"».
Понятие о цели — самое сложное в работе над ИИ. Если проектировщик задаст конечную цель так, чтобы ИИ ни при каких обстоятельствах не смог бы эту цель перепрограммировать, то ИИ в своём поведении будет подобен рабочему муравью. Истинным интеллектом тут и не пахнет.
Более вероятна ситуация, когда ИИ самостоятельно вырабатывает последовательные цели своих действий, учась на собственных ошибках. Именно о таких саморазвивающихся ИИ и говорят сейчас учёные и конструкторы, поскольку, по их мнению, высокоинтеллектуальный ИИ решит, что человек ему не нужен, и поставит себе цель — уничтожение нашей цивилизации.
Остановимся в своих рассуждениях и дадим слово тем самым писателям-фантастам, которые ещё полвека назад продумали возможные последствия.
Вот один из ранних рассказов Айзека Азимова — «Все грехи мира», 1952 год. Всем, что происходит на Земле, управляет единый огромный, чрезвычайно умный искусственный мозг — Мултивак. Он знает о людях всё, контролирует их поступки, управляет промышленностью, заводами, газетами, пароходами… Он учится на своих ошибках, сам себя достраивает, становится всё сложнее — ситуация именно такая, какой боятся сейчас создатели ИИ.
