Говоря статистически, в этих попытках освободить тесты от влияния дохода и расовой принадлежности администрация перешла от первичной ко вторичной модели. Вместо того чтобы основывать результаты на прямом оценивании учеников, они основывали их на так называемой величине погрешности, то есть на разрыве между результатами и ожиданиями. С точки зрения математики это гораздо менее точное предположение. Учитывая то, что сами ожидания происходят от статистических данных, это приводит к догадкам поверх догадок. Результатом становится модель со случайными результатами – то, что специалисты по статистике называют «шумом». Вы можете подумать, что большие числа могут дать более надежные результаты. В конце концов, в Нью-Йорке живет 1,1 миллиона учеников общественных школ, и это достаточно большие данные, чтобы делать осмысленные предположения. Если 80 тысяч восьмиклассников сдают тест – наверное, на основе этого количества вполне можно установить достоверные средние баллы для слабых, средних и успешных школ?
Да. И если бы Тим Клиффорд учил большое количество учеников – скажем, десять тысяч, – тогда было бы разумно сравнивать их результаты со средними показателями прошлого года и делать из этого какие-то выводы. Большие числа нейтрализуют исключения – и, теоретически, высвечивают тенденции. Но класс, состоящий из 25 или 30 человек, практически невозможно сравнить с большим количеством. Поэтому, если в классе есть определенный тип учеников, они будут улучшать показатели быстрее среднего уровня. Другие будут это делать медленнее. Клиффорду не дали практически никакой информации по непрозрачному ОМП, которое выдало ему такой дикий разброс в результатах, но он предположил, что дело было именно в этой вариации в его классах. В год, когда Клиффорд получил плохой результат, он, по собственным воспоминаниям, «обучал многих учеников по программе коррекции, как и многих лучших учеников. Думаю, обучение как особых, так и лучших учеников – или и тех и других – создает проблемы. Результаты особых учеников сложно изменить, потому что они испытывают трудности в учебе, тогда как результаты лучших учеников тоже сложно изменить, потому что они уже практически достигли максимума – и у них остается очень мало места для улучшения».
На следующий год ему достался другой набор учеников, в котором большее количество находилось примерно посередине между полюсами. В результате сложилось впечатление, что за год Клиффорд прогрессировал от бездарного до блистательного педагога. И такой результат не редкость. В результате анализа, проведенного блогером и преподавателем Гэри Рубинштейном, каждый из четырех учителей, преподающих один и тот же предмет, получил разброс в 40 баллов по результатам оценивания в течение двух лет подряд. Это заставляет предположить, что оценивание выдавало практически случайные данные. То есть не педагогические способности скачут туда-сюда, а результаты, которые выдает бракованное ОМП.
