.
Для начала Эппинк и его помощники попробовали разобраться в том, как именно работает алгоритм, однако люди, отвечавшие за программу медицинской помощи нуждающимся “Медикейд”, отказались пояснить расчеты. Они сослались на “коммерческую тайну” и запрет на открытый доступ к использованному программному обеспечению>[36]. К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel>[37].
По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл>[38]. Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм — если он вообще заслуживал такого названия — оказался настолько негодным, что суд признал его противоречащим Конституции>[39].
Тут надо выделить две линии неверных действий человека. Во-первых, кто-то заполнил эту бессмысленную таблицу, а во-вторых, кто-то другой наивно поверил в истинность данных. В сущности, “программа” выражала собой закодированный непрофессионализм. Но почему же люди, которые работали на государство, так рьяно защищали откровенно плохой продукт?
Вот что думает по этому поводу Эппинк:
Такая тенденция прослеживается всегда, когда дело касается результатов, полученных с помощью компьютера, — мы не подвергаем их сомнению. Если компьютер что-то рассчитывает — если есть статистик, который выводит некую формулу на основе неких данных, — мы просто верим его формуле и не спрашиваем: мол, погодите-ка, как это все работает?>[40]
Я отлично понимаю, что не все любят на досуге возиться с математическими формулами, вникая в их суть, — хотя я обожаю это занятие. Но, тем не менее, Эппинк поднимает вопрос первостепенной важности — о нашей готовности принимать выводы компьютера за чистую монету, не вникая в его тайную жизнь.
Я математик, и за годы работы с данными и программами я пришла к убеждению, что существует единственный путь объективно оценить надежность алгоритма — докопаться до принципиальных основ его работы. Мой опыт говорит, что алгоритмы во многом схожи с фокусами иллюзионистов. Сперва они и впрямь кажутся непостижимыми, но когда понимаешь, как это сделано, чары рассеиваются. Нередко за внешней сложностью скрывается что-то до смешного примитивное — или настораживающе легкомысленное. В следующих главах я постараюсь дать вам представление о невидимых глазу особенностях алгоритмов, которые мы будем обсуждать. Пусть этих знаний будет маловато для того, чтобы самостоятельно произвести расчеты, но для понимания процесса — достаточно.
