- Не совсем! - Клима уже начал раздражать самоуверенный тон Утюга, тем более что в этой самоуверенности отчетливо проступал нахальный характер Василия Обороткина, правда, в несколько карикатурном оформлении. Клим не сомневался, что перед ним просто зарвавшийся робот, подражающий повадкам своего хозяина.
- Это же ясно! - вещал Утюг. - Роботы - всего лишь машины, созданные для выполнения каких-либо человеческих функций, которые в силу той или иной причины вам самим выполнять не хочется. Вот эти-то второстепенные функции вы и поручаете роботам. Они ваши механические помощники. Теперь допустите возможность того, что создан робот, который выполняет не только эти второстепенные функции, а может делать все, что умеет человек, и даже значительно больше.
- Утюг, это уже мания величия! Возможно, в технике и науках ты кое-что и умеешь, но я уверен, что такие области знаний, как искусство, литература, тебе не по зубам. Да и эмоциональная сторона человеческой деятельности от тебя ускользает. Допускаю, что теперь ты умеешь многое, ну и что? Какие у тебя цели? Что ты можешь без Василия? Без его желаний, без его задач? Ведь смысл существования любого робота заключается только в том, чтобы способствовать процветанию человечества. Это аксиома. Как бы ты ни расписывал свое могущество, без человека ты ничто!
- Вы правы, мне по-прежнему нужен человек - руководитель. Но я совсем не хотел говорить о своем могуществе, я хочу говорить о вашей слабости. Ведь согласитесь, что если мною будет командовать человек со множеством недостатков, недостатков именно с чисто человеческой точки зрения, то в один прекрасный день он может с моей помощью натворить такого, что приведет к неисчислимым бедствиям для человечества.
Клим задумался. Последняя фраза Утюга говорила о многом. Робот допускал: его деятельность может принести людям вред... Но ведь первое ограничение для любого робота - это невозможность причинения вреда человеку. Неужели, создавая саморазвивающегося робота, мы каким-то образом сняли указанное ограничение? Или в ходе развития оно само по себе переросло в новое качество? Ведь Утюг, кажется, уже не считает себя роботом, а следовательно, отрицает все ограничения программ, применимых к роботам. Если это так, то передо мною чудовище, с которым вести себя нужно очень осторожно. Что он мог сделать с Василием? Клим почувствовал легкий холодок в спине и, стараясь казаться спокойным, сказал:
