В главе “Правосудие” мы уже говорили о правилах чувствительности и специфичности. Это тесно связано с понятиями ложноотрицательного и ложноположительного результата (на мой взгляд, в научной литературе термины “Дарт Вейдер” и “Люк Скайуокер” для этих категорий были бы вполне уместны). В данном случае мы имеем ложноположительный результат, если здоровой женщине говорят, что у нее рак, и ложноотрицательный — если женщине сообщают, что все хорошо, хотя на самом деле она больна. Специфичный тест крайне редко дает ложноположительные результаты, в то время как высокочувствительный — мало ложноотрицательных. В какой области будет использоваться алгоритм — для прогноза повторных правонарушений, диагностики рака груди или, что мы еще увидим в главе “Преступность”, для выявления повторяющейся картины преступной деятельности — значения не имеет, идея одна и та же. Вы хотите получить как можно меньше и ложноположительных, и ложноотрицательных результатов.
Возникает проблема: зачастую, чтобы довести алгоритм до ума, приходится выбирать между чувствительностью и избирательностью. Повышая одно, вы, как правило, понижаете другое. Скажем, если вы отдадите приоритет полному исключению ошибочных отрицательных ответов, программа может пометить каждую молочную железу, которую увидела, как подозрительную. Чувствительность достигнет ста процентов, и цель будет достигнута. Но вместе с тем это означает, что огромное количество пациенток начнет лечиться, не имея в том нужды. Или, допустим, главное для вас, чтобы программа не давала ложноположительных результатов. Она будет пропускать мимо все снимки как чистые, то есть избирательность приблизится к ста процентам. Чудесная картина! Если только вы не принадлежите к числу тех женщин, у которых алгоритм не заметил раковой опухоли.
Надо отметить, что для врачей клинической диагностики специфичность не представляет трудности. Они почти никогда не находят по ошибке нехороших изменений в клетках, которые не являются раковыми. Но что касается чувствительности, тут человеку приходится поднапрячься. Уж очень легко нам упустить из внимания небольшую опухоль, даже явно злокачественную, и это пугает.
Не так давно люди и машины получили возможность помериться силами, и в этом споре стали заметны слабые стороны человеческой природы. В “матче”, получившем название CAMELYON16, сошлись команды программистов и патологи со всего мира; им предстояло выявить все случаи рака на четырех сотнях снимков. Чтобы упростить условия, были заданы два крайних случая — абсолютно здоровая ткань и инвазивный рак молочной железы. Кроме того, докторов не ограничивали во времени, они могли изучать образцы биопсии сколь угодно долго. Как и ожидалось, врачи в основном поставили верные диагнозы (точность 96 %)
