.
Подобные ошибки неизбежно накапливаются в наших досье, путая и неправильно ориентируя алгоритмы, которые все больше управляют нашими жизнями. Эти ошибки, следствие автоматического сбора данных, делают токсичными предиктивные модели и усиливают деструктивное воздействие оружия математического поражения. Однако автоматический сбор продолжает развиваться. Компьютеры все более активно выходят за пределы письменного мира. Они обрабатывают устную информацию и изображения и используют их, чтобы собрать больше информации обо всем во вселенной – включая нас. Эти новые технологии соберут массу новой информации для наших досье – увеличив и риск появления новых ошибок.
Совсем недавно система распознавания образов компании Google обработала фотографии троицы счастливых молодых афроамериканцев, и автоматический сервис проставления тегов для изображений обозначил всех троих как горилл. Конечно, компания принесла глубокие извинения, но в системах, подобных Google, такие ошибки неизбежны. Скорее всего, это ошибка машины, а не каверзы расиста, затаившегося на просторах Googleplex: программное обеспечение просмотрело миллиарды изображений людей и приматов и научилось неплохо распознавать характерные черты – от оттенков цвета кожи до расстояния между глазами и формы ушей. Однако очевидно, что алгоритм не был достаточно хорошо протестирован перед выпуском. Подобные ошибки – это возможности для дальнейшего обучения машины, но только в том случае, если система получает обратную связь с сообщением о том, что она ошиблась. В данном случае эта обратная связь была получена. Но несправедливость продолжает существовать. Когда автоматические системы просматривают наши данные, чтобы на их основе составить наш электронный рейтинг, они явным образом проецируют прошлое в будущее. И, как мы видели в случае с моделями возможности рецидива, а также хищническими кредитными алгоритмами, они исходят из того, что бедные останутся бедными навсегда, и относятся к ним соответствующим образом: лишают их возможностей, чаще сажают в тюрьму, обманывают с сервисами и кредитами. Подобное отношение неизбежно, зачастую слишком глубоко спрятано и недостижимо для обжалования.
В то же время мы не можем рассчитывать на то, что автоматические системы решат проблему несправедливости. При всей их невероятной мощи они пока не могут делать поправки на справедливость – во всяком случае, не могут сделать этого самостоятельно. Обработка данных с приоритетом установления справедливости совершенно чужда машинам, и их невероятно сложно этому научить. Только человек может с таким справиться.
