Если суммировать все сказанное, вот три главных компонента ОМП: непрозрачность, масштабность и высочайшая степень ущерба. Все эти компоненты присутствуют в той или иной степени в примерах, которые мы будем рассматривать дальше. Разумеется, всегда есть место для возражений. Вы, например, можете сказать, что оценку степени риска рецидива нельзя назвать вполне непрозрачной, потому что она основана на результатах, с которыми заключенные в некоторых случаях могут ознакомиться. И тем не менее она непрозрачна – ведь заключенные не могут посмотреть, как именно их ответы перерабатываются в результат. Подсчитывающий алгоритм от них скрыт.
Есть несколько видов оружия математического поражения, которые, возможно, не вполне соответствуют критерию масштабности. Их распространение пока еще нельзя назвать повсеместным. Но они представляют собой опасные экземпляры, которые со временем неизбежно масштабируются – и, возможно, экспоненциально. Поэтому я включаю эти примеры в свой список.
Наконец, вы можете заметить, что не все виды ОМП приносят исключительно ущерб. В конце концов, они помогают кому-то попасть в Гарвард, кому-то – получить на хороших условиях кредиты или приличные рабочие места, а также сокращают тюремные сроки для некоторых заключенных – для тех, кому повезло. Но вопрос же не в том, что некоторые люди получают от этих моделей пользу, а в том, что столь многие из-за них страдают. Эти модели, усиленные алгоритмами, захлопывают двери перед носом у миллионов людей, зачастую по ничтожнейшим поводам, и не подразумевают возможности апелляции. Эти модели несправедливы.
И вот еще что можно сказать об алгоритмах: они могут переходить из одной области в другую, и это действительно зачастую происходит. Результаты эпидемиологических исследований могут использоваться для предсказаний кассовых сборов; программы, фильтрующие спам, модифицируются, чтобы идентифицировать ВИЧ.
Все это верно и для ОМП. Так что, если математические модели в тюрьмах продемонстрируют кажущийся успех – что на самом деле означает эффективное вмешательство со стороны человека, – они могут распространиться и на всю экономическую систему, наряду с другими ОМП, превратив нас всех просто в расходный материал.
Именно об этой опасности я говорю, именно эта опасность неумолимо возрастает. И следующую поучительную историю об этом может рассказать нам мир финансов.
