Возможно, кто-то сможет предоставить доказательства обратного. Работница, обозначенная бледным кружочком, может генерировать потрясающие идеи, но не делится ими в сети. Или, возможно, она раздает бесценные советы за обедом или умеет разрядить напряжение в офисе удачной шуткой. Возможно, все ее любят, и это само по себе – большая ценность с точки зрения рабочей атмосферы. Но компьютерные системы затрудняются найти цифровые оценки для подобных тонких талантов. Релевантная информация просто не собирается – и в любом случае ее сложно наделить определенной ценностью. Такие таланты обычно не попадают в компьютерную модель.
Таким образом, система находит якобы неудачников. И большое их число потеряло работу в ходе экономического кризиса. Это само по себе несправедливо. Но, что еще хуже, системы вроде Cataphora получают совсем мало ответных данных. Кто-то, определенный как неудачник и затем уволенный, возможно, позже нашел другую работу и получил целую кучу патентов на оригинальные идеи. Но такие данные обычно не собираются. Система понятия не имеет, что совершенно неверно оценила человека – или даже тысячу человек.
В этом заключается трудность, потому что ученым обязательно нужна обратная связь, сообщающая об их ошибках – в данном случае о наличии ложноотрицательных результатов, – чтобы провести ретроспективный анализ и определить, что же пошло не так, что было неверно интерпретировано, какая информация не была учтена. Только так система способна учиться и становиться умнее. Однако, как мы видим, масса ОМП, от моделей рецидивизма до оценки результативности учителей, с легкостью создает свои собственные реальности. Менеджеры делают допущения, что результаты достаточно правдивы, чтобы принимать их во внимание, а алгоритмы позволяют им принимать сложные решения на основе этих результатов. Компании могут увольнять сотрудников и сокращать расходы, перенося вину за свои решения на объективные цифры – и неважно, насколько они в результате точны.
Cataphora так и не смогла по-настоящему утвердиться на рынке, и к тому же ее алгоритм оценки сотрудников был побочным продуктом – гораздо больше внимания разработчики уделяли распознаванию паттернов мошенничества или торговли инсайдерской информацией в компаниях. Компания вышла из бизнеса в 2012 году, а ее программное обеспечение купил стартап Chenope. Тем не менее системы вроде Cataphora потенциально могут стать настоящим оружием математического поражения. Они могут неправильно интерпретировать людей – и наказывать их, – не приводя никаких доказательств того, что эта оценка хоть как-то коррелирует с подлинным качеством работы этих сотрудников.
