Через семь лет после сопровождавшейся таким шумом публикации «Нации под угрозой» исследователи из Сандийских национальных лабораторий[14] еще раз взглянули на данные, собранные для отчета. Эти люди не были новичками в области статистики – они занимались созданием компонентов ядерного оружия, – и они быстро нашли ошибку. Да, результаты SAT действительно снизились. Однако число студентов, которые сдавали этот экзамен, резко подскочило за эти 17 лет. Университеты открыли свои двери более бедным студентам и представителям меньшинств. Возможности для таких людей стали шире, и это говорило о социальном успехе. Но, разумеется, такой приток новичков снизил средний балл. Однако когда специалисты по статистике разбили население по группам дохода, результаты для каждой группы, как оказалось, выросли везде, от бедных до богатых.
В статистике этот феномен известен как парадокс Симпсона[15]: когда данные в целом демонстрируют одну тенденцию, однако при разбитии на подгруппы в каждой из этих подгрупп проявляется противоположная тенденция. Неутешительный вывод отчета «Нация под угрозой», который запустил целое движение оценивания учителей, был основан на неправильной интерпретации данных.
Разброс в результатах Тима Клиффорда произошел в результате еще одного случая неверной интерпретации статистики, на этот раз повсеместно распространенной. Баллы учителя берутся из тестов, которые ничего не измеряют. Это может показаться гиперболой. В конце концов, дети ведь сдают тесты, от результатов которых зависит результат Клиффорда. Это действительно так. Но результаты Клиффорда, как унизительные 6 баллов, так и триумфальные 96, были основаны почти полностью на приближениях, причем столь слабых, что по сути своей случайных.
Проблема заключалась в том, что администраторы в своем стремлении к справедливости утратили точность. Они поняли, что было бы неправильно слишком сильно возносить учителей, которые преподают в богатых школах детям врачей и юристов, идущим прямой дорогой в элитные университеты. Равно как и несправедливо ждать от учителей в бедных районах, что они будут добиваться тех же результатов. Мы не можем ждать от них, что они станут творить чудеса.
Поэтому вместо того, чтобы оценивать учителей по абсолютной шкале, они попытались адаптировать свою модель под социальное неравенство. Вместо того чтобы сравнивать учеников Тома Клиффорда с учениками из других районов, они сравнивали их с прогнозируемыми моделями их самих. Каждому ученику присваивался определенный предсказанный результат. Если он превосходил это предсказание, учитель получал хороший балл. Если ученик недотягивал, учителю вменяли это в вину. Вам это кажется примитивным? Поверьте, так оно и есть.
