Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошенного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред – собака ведь тоже может увусить вас за ноги или перегрызть глотку. Я что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.
Расмотрим другую крайность – разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие-то из них будут уничтожены – ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенного полезным, если у вас такие машины есть, а у врага – нет.
Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.
