Как часто результаты медицинских исследований подтасовываются? Одно мерило, которое, несомненно, преуменьшает масштабы проблемы, — количество опубликованных и тут же опровергнутых статей. Retraction Watch, который следит за числом таких статей и причинами их появления в печати[111], оценивает их частотность как одна в день, но при этом отмечает, что число подобных публикаций растет. На удивление, те же журналы, которым врач может доверять[112], те, которые наиболее часто цитируют в научных работах, опровергают больше всего статей! Хороший доктор знает, что нельзя безоглядно доверять ни одному источнику, что вопрос, как правильно поступить в данных обстоятельствах, требует собрать всю информацию, которую можно найти, и, имея ее на руках, составить наиболее полную картину.
Наряду с недоступностью отрицательных результатов нередко также преувеличивается значение положительных. Материалы таких исследований, скорее всего, быстро увидят свет, вызовут многочисленные ответные статьи, их опубликуют «влиятельные» журналы, будут цитировать другие ученые, их переведут на иностранные языки[113]. Вот почему специалисты, взвешивая данные, особенно ценят положительные результаты. И так экспертные доказательства, выжимка из доступной информации, могут быть искажены неизвестными негативными и переоцененными положительными результатами.
Неужели это действительно происходит в реальном мире на границе известного и неизвестного, среди шума и гама научных открытий? Ответ, вероятно, «да», но вы не должны верить нам на слово.
«Опубликованные результаты научных исследований не являются характерным образцом результатов всех научных экспериментов», — писали сотрудники Школы информатики Университета Саймона Фрейзера т. д. Стерлинг, У. Л. Розенбаум и Дж. Дж. Уэйнкем в статье, напечатанной в 1995 г. в American Statistician[114]. Изучив содержание 11 ведущих журналов, они обнаружили, что те отдают предпочтение исследованиям, показавшим статистически значимые положительные результаты. Это приводит к двум негативным последствиям. Во-первых, ученые, не имея доступа к неопубликованным данным, продолжают работать над экспериментами, которые другие уже проводили, может быть даже не один раз, и доказали неэффективность испытуемых методов. То есть деньги и еще более ценные ресурсы — время, энергия и энтузиазм — тратятся впустую.
Второе последствие зиждется на представлении о «статистической значимости». Из-за этого требования не очень масштабные исследования или испытания с менее впечатляющим результатом (допустим, если
