Бетторы не слишком интересуются тем, какие факторы влияют на результат игры, – им гораздо важнее знать, насколько верны их предсказания. Казалось бы, проще всего проверить эффективность системы прогнозирования по итогам уже состоявшихся забегов. Но здесь возникают свои сложности.
Во время Второй мировой войны будущий исследователь теории хаоса Эдвард Лоренц работал в метеослужбе Воздушного корпуса армии США в Тихоокеанском регионе. Осенью 1944 года его команда выдала серию идеально точных прогнозов о погодных условиях для полетов между Сибирью и островом Гуам. Во всяком случае, по сообщениям летчиков, совершавших рейсы в указанных областях, прогнозы оправдались на все 100 %. Вскоре Лоренц выяснил истинную причину столь невероятной точности: поглощенные выполнением других задач, пилоты вообще не вели наблюдение за погодой и просто повторяли прогноз метеослужбы.
Та же проблема возникает, когда игровые синдикаты проверяют свои прогнозы при помощи данных, которые использовались для калибровки системы. Создать видимость идеальной модели легко. Достаточно выделить для каждого забега некий показатель, характеризующий победителя, а затем обобщить эти показатели в полном соответствии с данными выигравших лошадей. Вам кажется, что вы создали безупречную модель, но на самом деле вы лишь подогнали свой прогноз под заранее известные результаты.
Если игроки хотят узнать, сработают ли их стратегии в будущем, они должны проверять их на свежих данных. Поэтому синдикаты, собирая информацию о состоявшихся забегах, игнорируют часть результатов, строят систему прогнозов на оставшихся, а затем тестируют ее на прежде не использовавшихся данных. Это позволяет проверить, как модель ведет себя в реальных условиях.
Тестирование на свежих данных помогает убедиться, что модель удовлетворяет научному принципу «бритвы Оккама», суть которого состоит в следующем: если перед вами стоит выбор между несколькими объяснениями наблюдаемого события, лучше всего взять самое простое. Другими словами, если вы хотите построить модель реального процесса, вы должны отсечь от нее все, чему нет объяснения.
Проверка прогнозов на свежих данных позволяет бетторам не перегружать модель информацией, но этого мало: необходимо также определить степень ее точности. Это можно сделать при помощи статистического показателя под названием коэффициент детерминации. Коэффициент может иметь величину от 0 до 1 и применяется для измерения аналитического потенциала регрессионной модели. Показатель «0» говорит о том, что модель не работает вообще (игроки могли бы с тем же успехом выбирать победителя наугад); показатель «1» означает, что прогнозы точно совпадают с полученными результатами. Модель Болтон и Чэпмена имела показатель 0,09. Это было, конечно, лучше, чем выбор лошади наугад, однако множество факторов все же остались за рамками модели.
