В этом тюремные администраторы не одиноки. Непрозрачные модели – это правило, а прозрачные – исключение. Нас моделируют как покупателей и домоседов, как пациентов и заемщиков, но практически никаких из этих результатов мы не видим – даже если сами радостно участвуем в опросах. Даже когда такие модели на самом деле «ведут себя» вполне прилично, их непрозрачность может породить ощущение несправедливости. Если распорядитель в концертном зале сказал вам, что садиться в креслах первых десяти рядов нельзя, вы можете счесть этот запрет необоснованным и несправедливым. Но, вероятно, вы измените свое мнение, если распорядитель объяснит вам, что эти места зарезервированы для людей в инвалидных креслах. Прозрачность имеет большое значение.
При этом многие компании делают все, чтобы скрыть результаты, которые дают их модели или даже само существование этих моделей. Одно из самых распространенных оправданий при этом – наличие в алгоритме некоего «секретного компонента», критически важного для данного бизнеса. Это интеллектуальная собственность, которую защищают легионы юристов и лоббистов. В случае интернет-гигантов, таких как Google, Amazon и Facebook, эти алгоритмы стоят сотни миллиардов долларов. Оружие математического поражения по определению представляет собой черный ящик, и в результате крайне сложно ответить на вопрос: работает ли модель против интересов человека? Иными словами, справедлива ли она? Не наносит ли она вред?
И здесь тоже модель LSI-R легко квалифицировать как один из видов ОМП. Люди, которые создали этот алгоритм оценки в 1990-е годы, несомненно, рассматривали его как орудие правосудия, укрепляющее эффективность юридической системы. Кроме того, этот алгоритм может помочь правонарушителям, не предоставляющим большой угрозы, получить более легкие приговоры. Это можно перевести в большее количество лет свободы для них и огромную экономию для американских налогоплательщиков, которые оплачивают ежегодный тюремный счет в 70 миллиардов долларов. Однако поскольку анкета делает заключение об осужденном на основании пунктов, которые нельзя предъявить как свидетельства на суде, она несправедлива. И пусть она многим принесет пользу, другие от нее пострадают.
Ключевой компонент этого страдания – губительная петля обратной связи. Как мы уже увидели, модели вынесения приговоров, которые оценивают человека по его или ее личным обстоятельствам, помогают создать окружение, которое оправдывает эти допущения. Эта деструктивная петля продолжает затягиваться, в результате модель становится все более несправедливой.
