Это высокий человек ростом около 180 см, склонный к эндоморфизму (это значит, что он округл, но не жирен). Мягкие обезоруживающие манеры производят приятное впечатление по контрасту с резкими короткими электронными письмами, с которых начиналось наше знакомство.
Мы сидели на кушетках напротив друг друга. Я сказал Юдковски, что основной мой страх относительно ИИ связан с тем, что в мире не существует методик программирования таких туманных и сложных вещей, как мораль или дружелюбие. Так что мы получим машину, которая будет прекрасно решать задачи, обучаться, адаптироваться к обстановке и оперировать понятиями в рамках здравого смысла. Мы будем считать ее похожей на человека. Но это будет нашей трагической ошибкой
Юдковски согласился со мной.
Если программисты окажутся хотя бы чуть-чуть некомпетентными и слегка небрежно отнесутся к конструированию ИИ, то получится, я уверен, нечто совершенно чуждое. И это по-настоящему пугает. Точно так же, если вы наберете правильно девять из десяти цифр моего телефонного номера, вас не обязательно соединят с человеком, который будет на 90 % похож на меня. Если при попытке сконструировать полноценный ИИ вы все сделаете на 90 % правильно, это не означает, что результат будет на 90 % хорош.
Мало того, он будет на 100 % плох. Автомобили существуют не для того, чтобы убить вас, провел аналогию Юдковски, но их потенциальная опасность — побочный продукт автоиндустрии. Точно так же будет с ИИ. Он вряд ли будет вас ненавидеть, но вы состоите из атомов, которым он, возможно, найдет иное применение, и он, как сказал Юдковски, «…будет, скорее всего, сопротивляться любым вашим действиям, направленным на то, чтобы сохранить эти атомы в своем владении». Так что побочным эффектом бездумного программирования станет то, что готовый ИИ не будет трепетно относиться к вашим атомам.
При этом ни общественность, ни разработчики ИИ не заметят опасности, пока не станет слишком поздно.
Есть тенденция считать, что благонамеренные люди создают хороший ИИ, а злонамеренные — плохой и злой ИИ. Но источник проблемы не в этом. Источник проблемы в том, что, когда даже самые благонамеренные люди работают над созданием ИИ, их не особенно заботит вопрос дружественности этого самого ИИ. Они уверены, что поскольку сами они питают исключительно добрые намерения, то и созданный ими ИИ автоматически получится благонамеренным, а это неверно. На самом деле создание такого ИИ — сложнейшая математическая и инженерная задача. Мне кажется, что большинство из них просто недостаточно хорошо умеют думать о неудобных и неприятных вещах. Они начали с того, что
