Исследования с не поддающимися манипуляциям переменными не соответствуют критериям «подлинного эксперимента», поскольку исключают возможность контролируемых манипуляций, составляющих суть эксперимента. По этой причине Кемпбелл и Стэнли (Campbell & Stanley, 1966), рассматривая экспериментальный план, назвали такие исследования доэкспериментальными. Из-за недостатка контроля мы не можем говорить об установленных причинно-следственных связях с той же долей уверенности, что и в классическом эксперименте.
Каковы конкретные минусы исследования с переменными, не поддающимися манипуляциям? Проблемы можно разделить на две основные категории. Во-первых, испытуемых нельзя произвольно распределять по группам. Поскольку случайное причисление невозможно, нельзя быть уверенными и в том, что изучаемые группы эквивалентны не только по интересующей нас переменной (например, наличие или отсутствие матери), но и по другим параметрам, и поэтому нельзя быть уверенными в том, что причиной различий между группами является именно эта переменная. Данное обстоятельство фактически и являлось поводом для критики исследований ранней материнской депривации. Отбор из популяции только тех малышей, которые воспитываются в приютах, не соответствует критерию случайности, и в результате формируется группа детей, в которой, как правило, выше процент генетических и органических нарушений. Поэтому отличие детей из приюта от остальных нельзя с какой-либо долей уверенности отнести на счет эффекта воспитания без матери. В хорошо спланированном эксперименте такое смешение должно было бы исключаться процедурой случайного причисления. Это, очевидно, проблема с внутренней валидностью: мы не можем утверждать, что наша независимая переменная действительно является причинным фактором.
Другая трудность связана с тем, что воздействие большинства субъектных переменных носит множественный и длительный характер. Воспитание в приюте, отсутствие отца, социальная изоляция, черный (или белый) цвет кожи, принадлежность к мужскому (или женскому) полу — все это факторы, которые способны оказывать значимое влияние на развитие человека. Поэтому, даже обнаружив значимый эффект, связанный с определенной субъектной переменной, мы все еще не
будем знать, каковы конкретные причинные факторы. Это еще одна слабая сторона исследований материнской депривации. Хотя пагубные последствия определенных аспектов воспитания в приюте не вызывают сомнений, уже долгое время ведутся споры о том, являются они результатом нехватки материнского тепла (как, например, утверждал Боулби (Bowlby, 1952)), или более общей когнитивно-перцептивной депривации (как утверждал, например, Кэслер, (Casler, 1961, 1961)). Даже если бы мы могли сделать вывод о значимости матери самой по себе, мы все еще не знали бы, отсутствие какого из факторов, связанных с наличием матери, обусловливает обнаруженные негативные последствия. Вновь имеет место смешение факторов, которые разграничиваются в хорошо спланированном эксперименте. Исследователь, держащий переменные под контролем, вряд ли выберет в качестве независимой такую глобальную переменную, которая не позволит интерпретировать возможные эффекты ее воздействия. Это, очевидно, проблема с конструктной валидностью: мы не знаем, правильно ли интерпретируем результаты.
