Конечно, хотелось бы, чтобы прогнозы в отношении всех людей с любым цветом кожи были одинаково точные. Логично также потребовать, чтобы термин “высокий риск” тоже трактовался для всех одинаково. Программа должна эффективно вылавливать потенциальных рецидивистов, невзирая на их расу и прочие социальные признаки. Кроме того, как писала ProPublica, частота и характер ошибок при расчетах не должны зависеть от расовой принадлежности.
Вроде пока мы не требуем ничего сверхвозможного. Однако не все так очевидно. К сожалению, некоторые условия объективности несовместимы с точки зрения математики.
Сейчас объясню. Предположим, вы останавливаете прохожих и с помощью своего алгоритма оцениваете вероятность того, что они кого-нибудь убьют. Поскольку подавляющее большинство убийц — мужчины (действительно, по всему миру 96 % убийств совершают мужчины>[118]), то при условии, что программа для выявления убийц работает хорошо, в группе высокого риска неизбежно окажется больше мужчин, чем женщин.
Предположим, точность прогнозов для нашего алгоритма составляет 75 %. Иначе говоря, три четверти тех, кому она присвоила высокие значения риска, действительно являются Дартами Вейдерами.
Рано или поздно, приставая к прохожим, вы наберете 100 потенциальных (с точки зрения программы) убийц. Согласно статистике, 96 из них должны быть мужчинами, а 4 — женщинами. Посмотрите на иллюстрацию справа. Черные кружки соответствуют мужчинам, светло-серые — женщинам.
Далее, поскольку программа дает прогнозы для мужчин и женщин с одинаковой точностью 75 %, то четверть всех женщин и четверть всех мужчин на самом деле окажутся Люками Скайуокерами — то есть опасности для общества они не представляют, а в возможные убийцы их записали на основании неверного расчета.
По второй диаграмме после несложных подсчетов вы можете увидеть, что против мужчин будет выдвинуто больше незаслуженных обвинений, чем против женщин — по той простой причине, что вообще среди убийц мужчин больше, чем женщин.
Это сухой математический факт, не имеющий никакого отношения ни к преступности, ни к компьютерным программам. Перекос в результате вытекает из перекоса в жизни. Убийства чаще совершают мужчины, поэтому мужчин чаще подозревают в том, что они могут совершить убийство>[119].
С математической точки зрения невозможно разработать тест, который будет одинаково точно работать для всех слоев общества и при этом выдавать одинаковый процент ложноположительных и ложноотрицательных прогнозов во всех группах обвиняемых, если только в каждой такой группе доля людей, совершивших преступление, не будет одной и той же.
