Я шел с Гообаром к центру зала. Мы пробирались по узкому проходу. Все поднимались навстречу Гообару, улыбались, приглашали за свои столики. Он остановился растерянно, не зная, за какой из столиков сесть. Мне тоже, как спутнику Гообара, досталась частица всеобщего уважения, хотя я и не заслужил этого. От столика, за которым тесным кружком сидела молодежь, меня звал Нильс Ирьола, махая обеими руками.
Я подошел к нему. Молодежь собралась вокруг троих кибернетиков, среди них своим атлетическим сложением выделялся Тембхара; он и верховодил за столом. Кое-кто из молодежи сидел на подлокотниках кресел, другие стояли, прислонившись друг к дружке. Я попал в самый разгар горячей дискуссии и услышал конец речи стройного юноши:
— Но, собственно, почему нельзя использовать автоматы при высадке на неизвестную планету? Говорят, что мы пошлем туда ракеты, пилотируемые людьми.
— К сожалению, это необходимо, — отвечал Тембхара. — Ты же слышал поговорку: автоматы совершенны, но ограниченны, а люди хотя и не совершенны, но ограниченностью не страдают? Дело в том, что для автоматов характерна так называемая «направленная узость оценки обстановки». Автомат всегда несколько односторонен, потому что создан для выполнения определенных задач. А на чужой планете он может встретиться с незнакомыми ему существами и попасть в ситуацию, которую нельзя предусмотреть заранее. Если послать туда автоматы, они вполне могут ошибиться, и даже весьма опасным для нас образом.
— Что такое они могут натворить? Я не понимаю.
— Они могут поступить, как умственно больной человек, — сказал Тембхара. — Чтобы объяснить это, приведу пример из старого учебника кибернетики. Пример имеет только историческое значение, но это хорошая иллюстрация к тому, о чем я говорю. Сказка, в сущности. У одного человека квартира была завалена старыми глобусами и негодными кувшинами. Он поручил автомату убрать этот хлам, сказав следующее: «Выбрось отсюда все шарообразные предметы». Послушный автомат, дословно поняв приказ, вынес весь хлам, а заодно сорвал с шеи голову этого человека — принял ее всего лишь за шарообразный предмет, который тоже следует выбросить.
— Но это чепуха!.. Этого не могло случиться… Автомат не может причинить вред человеку!.. — хором воскликнули окружающие.
— Конечно, эта история на деле не могла произойти. Я привел ее только как яркий пример того, что можно бы назвать «недоразумением» между человеком и автоматом. Для нас многое самоочевидно, подразумевается, а для автомата нет ничего очевидного, кроме того, что вложил в него конструктор. Наши автоматы, например, снабжены устройствами, снимающими возможность их самоуничтожения, и предохранителями, которые делают невозможным нанесение какого-либо вреда человеку. Но в совершенно новой, не предусмотренной конструктором обстановке, в условиях чужой планеты они могут наделать много зла. Помимо этого есть еще один момент этического порядка: нам, наверное, не понравилось бы, если бы обитатели другой планеты прислали на Землю свору машин с задачей определить, стоит ли завязывать с людьми добрососедские отношения. — Тембхара улыбнулся, блеснув зубами.
