Здесь нет простого и ясного решения. Как убедить людей в том, что, работая с подобными программами, они должны включать здравый смысл? Но если нам и удастся это сделать, остается еще один вопрос. Пожалуй, наиболее дискуссионный.
Предвзятость машин
В 2016 году независимое онлайн-издание ProPublica, которое впервые рассказало о Дзилли, занялось подробным исследованием программы COMPAS и воспроизвело методику оценки потенциальных рисков для семи с лишним тысяч преступников, чьи дела слушались в период с 2013 по 2014 год во Флориде>[117]. Журналисты решили выяснить, кто из них совершал повторные правонарушения, чтобы проверить, насколько точен был прогноз. Но кроме того, их интересовало, различались ли оценки для белых и чернокожих обвиняемых.
Хотя в явном виде расовая принадлежность в алгоритме не учитывалась, журналисты обнаружили, что в процессе расчетов не все случаи воспринимались одинаково. В целом вероятность ошибки для чернокожих и белых подсудимых была приблизительно одной и той же, но, оценивая людей из разных расовых групп, программа ошибалась по-разному.
Для темнокожих обвиняемых из группы Люков Скайуокеров, у кого первый арест стал последним конфликтом с полицией, вероятность ошибочного включения в группу высокого риска возрастала вдвое по сравнению с такими же, но белыми правонарушителями. Ложноположительные результаты расчетов оказались смещены в черный сектор. И наоборот, белые Дарты Вейдеры, в течение двух лет после выхода на свободу совершившие новое преступление, имели в два раза больше шансов попасть по ошибке в группу низкого риска, чем чернокожие Вейдеры. Ложноотрицательные оценки преобладали в белом секторе.
Неудивительно, что статьи в ProPublica подняли волну негодования как в Америке, так и за ее пределами. В сотнях публикаций резко осуждалась равнодушная методика расчетов и звучали призывы прекратить использование в правосудии несовершенных и необъективных программ, ведь от вынесенного приговора зависит судьба человека. Трудно не согласиться с валом критики — каждый обвиняемый, независимо от того, кто или что рассматривает его дело, заслуживает честного и объективного суда, и в расследовании журналистов ProPublica складывается неблагоприятная для алгоритма картина.
Но остережемся пока списывать в утиль “несовершенную программу”. Прежде чем отринуть саму идею применения компьютеров в судействе, надо подумать о том, каким должен быть объективный алгоритм.
