Большим плюсом уравнивания является то, что оно обеспечивает четкий контроль переменных, которые в противном случае привели бы к появлению систематических ошибок. Если IQ действительно связан с величиной нашей зависимой переменной, то совершенно необходимо предотвращение смешения IQ и экспериментальных условий. Уравнивание также имеет ряд статистических преимуществ. Так же как и внутрисубъектные планы, план уравненных групп снижает нежелательную дисперсию и таким образом повышает мощность статистических критериев.
Основные недостатки уравнивания так или иначе касаются следующего вопроса: стоит ли оно того? Отбор, как правило, требует от исследователя приложения больших усилий, особенно если он должен предварительно протестировать всех потенциальных испытуемых (при отсутствии возможности воспользоваться уже собранными данными). Если переменная, по которой проводилось уравнивание, в
действительности не связана с величиной зависимой переменной, тогда уравнивание нам ничего не дает. Если выборка достаточно велика и используется случайное приписывание, группы, по всей видимости, при любых условиях будут эквивалентными, поэтому вновь уравнивание нам ничего не дает. Суть состоит в том, чтобы оценить эффективность затрат. Я уже отмечал, что планирование любого исследования связано с отбором нескольких подходящих приемов из большого набора потенциально информативных процедур. Тратить свое ограниченное время и усилия на процедуры, не повышающие качества исследования, — просто непрофессионально.
Помимо риска пустой траты усилий уравнивание иногда создает специфические трудности. В некоторых случаях прохождение испытуемыми предварительного тестирования может повлиять на их ответы при тестировании, имеющем экспериментальное значение (то, что Кэмпбелл и Стэнли назвали переменной реактивности). Возможно, к примеру, что некоторые дети испытывают тревогу, когда их забирают из класса для проведения теста интеллекта, и поэтому подозрительно относятся к дружелюбному экспериментатору, который приглашает их «пойти поиграть». Попытка создать игровую атмосферу для проведения исследования поэтому может свестись к нулю, что отразится на валидности. Уравнивание иногда приводит к выбыванию испытуемых. Если испытуемых подбирать описанным выше способом, единицей измерения становится уравненная группа, а не отдельный ребенок — к примеру, тройки подобранных по IQ детей в исследовании с тремя экспериментальными условиями. Если кто-то из тройки по той или иной причине выбывает, то нужно исключать и двух оставшихся. Везде, где велика вероятность выпадений, произведение уравнивания может оказаться невыгодным.
