Жюри на крупных конкурсах наподобие Калифорнийской ярмарки дегустирует около 150 вин в день, которые сгруппированы в 4–6 «дегустационных сетов» по 30 вин в каждом. Все вина налиты в одинаковые стаканы и отмечены идентификационными кодами, так что ни один эксперт не знает названия вин, которые он дегустирует. Каждый эксперт индивидуально – обсуждение на этом этапе судейства не предусмотрено – оценивает каждое вино по 20-балльной шкале. (На самом деле жюри на Калифорнийской ярмарке использует 100-балльную шкалу, с которой можно встретиться в винных магазинах. Но любое более или менее приемлемое вино набирает не меньше 80 баллов, поэтому фактически шкала является 20-балльной.)
Ходжсон договорился с организаторами конкурса – разумеется, втайне от экспертов – что каждый день в один из сетов (как правило, во второй) будет включено по три идентичных образца, налитых из одной бутылки, но маркированных разными идентификационными кодами. Если оценки судей являются объективным отражением качества вина, то эти три идентичных образца должны получить одинаковые или по крайней мере очень похожие баллы, учитывая возможность небольших расхождений в оценках.
Результаты были совершенно поразительными. «Мы сделали все, чтобы облегчить дегустаторам задачу: один сет, вино из одной бутылки. И почти никто не оценил эти три образца одинаково», – говорит Ходжсон. Только 10 процентов членов жюри поставили им примерно равные баллы, что в сумме дало примерно одинаковый рейтинг. Еще 10 процентов оценили образцы настолько по-разному, что один из образцов мог претендовать на золотую медаль, а другой попал в нижнюю часть рейтинга. Остальные эксперты находились посередине между этими двумя группами. И дело было не в том, что одни участники были более квалифицированными и опытными, чем другие: последовательность в оценках в один год вовсе не гарантировала такой же последовательности на следующий год.
Но Ходжсон не был удовлетворен. На следующем этапе он сравнил результаты вин, которые участвовали не только в Калифорнийской ярмарке, но и в других крупных винных конкурсах, чтобы узнать, подтверждают ли вина свой статус лидера или аутсайдера. Как вы, наверное, догадываетесь, нет. Вина часто завоевывают золото в одном конкурсе и не получают даже бронзы в другом, и ни одно из более чем 2400 вин не завоевало золото несколько раз подряд. Ходжсон рассчитал, что точно такие же результаты могли бы быть получены в том случае, если бы жюри на винных конкурсах распределяло золотые медали случайным образом.
