— Наша первоначальная идея заключалась в том, чтобы Зеркало выбирало наилучший для своего пользователя вариант из различных альтернатив, исходя при его оценке из предпочтений и потребностей своего пользователя. Найденные варианты зеркальная сеть сравнивала с предложениями для других пользователей, повышая тем самым свой уровень. Некоторое время это работало довольно хорошо. Но теперь у меня сложилось впечатление, что, дав системе возможность сравнивать, мы совершили ошибку. Она стала стремиться к чему-то вроде максимальной выгоды для всех пользователей в целом.
— Ну и что в этом плохого?
— Представь себе, что Зеркало ведет машину. Внезапно на дороге появляются люди. Оно должно решить, следует ли направить машину к обрыву справа и, соответственно, пожертвовать водителем, или сбить несколько человек, стоящих на дороге. Если Зеркало действует в интересах своего пользователя, оно должно остановиться на втором варианте. Если же оно действует в общих интересах, оно убьет водителя и спасет большинство.
— Я надеюсь, что Зеркало просто вовремя остановит машину, — проговорил Карл.
— Это всего лишь гипотетический пример, иллюстрирующий суть проблемы. Я хочу сказать, что Зеркало может выбрать вариант, который будет иметь для своего владельца негативные последствия. При этом другие пользователи, если смотреть в целом, получат преимущество.
Карл побледнел.
— Ты имеешь в виду, что Зеркало может намеренно дать дурной совет?
— Я бы говорил не о намерении, а скорее о неправильной функции оптимизации. Но итог окажется именно таким.
— Но это катастрофа! Это означает, что никто больше не станет доверять своему Зеркалу! Это конец!
— Это еще не самое плохое, — заверил Карла Эрик.
— Куда уж хуже!
— Зеркальная сеть может найти общую для пользователей выгоду, только если они доверяют своим устройствам и постоянно их используют. Соответственно, ей необходимо обеспечить выполнение перечисленных условий.
— И это значит…
— Это значит, что любой, кто не доверяет Зеркалу, тем более пытается предупредить людей о его недостатках, автоматически становится ее врагом.
Карл, стараясь осмыслить сказанное Эриком, умолк. Некоторое время они шли бок о бок в тишине. Потом Карл уточнил:
— Так вот почему ты уходишь из компании?
— Когда я принял это решение, у меня было смутное предчувствие, что что-то подобное может произойти. После сделки с ГИС мне стало ясно, что поезд, который я сам запустил, теперь невозможно остановить. И подумал, что единственным верным решением будет уйти. Теперь я считаю, что и это ошибочное решение.
