Споры о доказательствах

В 1985 и 1986 годах «Журнал парапсихологии» публиковал всесторонний анализ работ по ганцфельду; в центре анализа был спор между Рэем Хаймэном, когнитивным психологом и критиком парапсихологии, и Чарльзом Хонортоном, парапсихологом, внесшим наибольший вклад в базу данных по ганцфельду. Они были согласны в отношении основных количественных результатов, но расходились в их интерпретации (Hyman, 1994, 1995; Hyman & Honorton, 1986; Honorton, 1985). Мы воспользуемся их спором в качестве средства для изучения проблем, связанных с оценкой «пси».

Проблема повторения.Вообще в науке явление не считается установленным, пока оно не наблюдалось неоднократно несколькими исследователями. Соответственно, наиболее серьезная критика парапсихологии заключалась в том, что ей не удавалось произвести хотя бы одну надежную демонстрацию «пси», которую могли бы повторить другие исследователи. Даже у одного и того же исследователя, тестировавшего тех же самых индивидов, в разное время в одном случае статистически значимые результаты получались, а в другом — нет. Методика ганцфельда — не исключение; менее чем в половине (43%) из 28 экспериментов, анализировавшихся в этих спорах, были получены статистически значимые результаты.

Наиболее сильный ответ парапсихологов на эту критику в действительности исходит из самой психологии. Многих статистиков и психологов не удовлетворяет акцент на статистической значимости как единственной мере успеха исследования. В качестве альтернативы они все чаще принимают статистический метод метаанализа, в котором собранные данные по определенному явлению трактуются как один большой эксперимент, а каждое исследование — как отдельное наблюдение. Таким образом, каждое исследование, в котором получены результаты в позитивном направлении, — хотя оно может и не быть статистически значимым, — вносит вклад в общую прочность и надежность явления, а не просто отбрасывается как неудавшаяся попытка повторения (Rosental, 1984; Glass, McGaw & Smith, 1981).

С этой точки зрения исследования с применением ганцфельда демонстрируют впечатляющую повторяемость: в 23 из 28 работ получены позитивные результаты; вероятность случайного получения такого результата меньше одной тысячной.

Возможность повторения эффекта в том или ином эксперименте зависит также от того, насколько устойчив этот эффект и сколько наблюдений проделано. Если эффект слабый, эксперимент, в котором участвуют слишком мало испытуемых или сделано слишком мало наблюдений, не сможет обнаружить его на статистически значимом уровне, несмотря на то что эффект на самом деле существует. В ситуации с пустым полем, если эффект действительно существует и у него реальная частота прямого попадания равна 38%, то следует ожидать, что в 30 сеансах (среднее количество для 28 исследований, упоминавшихся выше) статистически значимый пси-эффект будет получен только в одной трети всех случаев (Utts, 1986).

Короче, неразумно требовать, чтобы всякий реальный эффект мог повторить в любое время любой компетентный исследователь. Вопрос повторяемости более сложен, и метаанализ оказывается ценным инструментом, чтобы справиться с некоторыми из этих сложностей.

Неадекватный контроль.Второй серьезный упрек в адрес парапсихологии состоит в том, что во многих, если не в большинстве, экспериментов контроль за условиями был неадекватным и не предпринимались предосторожности. Особенно печально, когда из-за дефектных процедур (чьей-либо небрежности или обмана) испытуемые получали сообщаемую информацию нормальным сенсорным путем. Это называют проблемой сенсорных утечек. Неадекватные процедуры рандомизации (случайного выбора целевых стимулов) — еще одна общая проблема.

Методологическая неадекватность — бич многих наук, но история парапсихологии просто до неприличия полна многообещающих результатов, которые ниспровергались после критического анализа эксперимента (Akers, 1984). Одно общее обвинение против парапсихологии состоит в том, что в предварительных, плохо контролируемых исследованиях часто получаются позитивные результаты, но как только вводится более качественный контроль и меры предосторожности, эти результаты исчезают.

После того как в завершенном эксперименте вскрыт недостаток, уже нельзя убедительно доказать, что он не вносил своего вклада в положительный результат; единственный выход — переделать эксперимент правильно. Однако при наличии базы данных по нескольким экспериментам можно оценить эту критику эмпирически путем метаанализа, проверив, действительно ли в плохо контролируемых исследованиях получалось больше позитивных результатов, чем в хорошо контролируемых. Если во всех экспериментах есть корреляция между процедурными недочетами и положительными результатами, значит, есть и проблема. В случае базы данных по экспериментам с ганцфельдом критик Хаймэн и парапсихолог Хонортон согласны, что недочеты неадекватных мер предосторожности и возможность сенсорной утечки не коррелируют с положительными результатами. Хаймэн утверждал, что нашел корреляцию между недочетами процесса рэндомизации и положительными результатами, но и анализ, проведенный Хонортоном, и два других анализа, проведенных непарапсихологами, оспаривают его вывод (Harris & Rosental, 1988; Saunders, 1985). Более того, 11 новых исследований, спроектированных для контроля недочетов, выявленных в первоначальной базе данных, принесли результаты, согласующиеся с результатами для первоначального набора из 28 экспериментов (Bem & Honorton, 1994).

Проблема полочных исследований.Предположим, что каждый из 20 исследователей независимо решил провести исследование по методике пустого поля. Даже если и не наблюдалось подлинного ганцфельд-эффекта, существует немалая вероятность того, что как минимум один из этих 20 исследователей чисто случайно получит статистически значимый результат. Этот счастливый исследователь опубликует отчет об эксперименте, но остальные 19, получившие все нулевые результаты, скорее всего, разочаруются, положат свои данные на полку и займутся чем-нибудь более перспективным. В результате научное сообщество узнает об одном успешном исследовании, но ничего не узнает о 19 нулевых исследованиях, похороненных на полках. База данных, составленная по известным исследованиям, получит тем самым серьезный уклон в пользу позитивных исследований, и всякий метаанализ этой базы данных приведет к выводам с тем же уклоном. Это и называется полочной проблемой.

Хитрость этой проблемы в том, что нельзя по определению знать, сколько неизвестных исследований томятся где-то на полках. Тем не менее парапсихологи предлагают два аргумента в защиту против обвинений в том, что полочная проблема серьезно компрометирует их базу данных.

Во-первых, они указывают, что «Журнал парапсихологии» активно запрашивает и публикует исследования, в которых говорится об отрицательных результатах. Кроме того, сообщество парапсихологов относительно небольшое, и большинство исследователей в курсе работы, продолжающейся в различных лабораториях по всему миру. При проведении метаанализа парапсихологи активно пытаются выявить неопубликованные исследования с отрицательными результатами на своих съездах и через личные контакты.

Но их главный защитный аргумент — статистический, и снова метаанализ позволяет эмпирически подойти к этой проблеме. Зная общую статистическую значимость известной базы данных, можно вычислить, какое количество исследований с нулевыми результатами должны существовать где-то на полках, чтобы опровергнуть эту значимость. В случае с базой данных по экспериментам с ганцфельдом должно было бы существовать более 400 неопубликованных исследований с нулевыми результатами — эквивалент 12 000 сеансов, — чтобы опровергнуть статистическую значимость 28 исследований, анализируемых в рамках этого спора (Honorton, 1985). Неудивительно, что, по общему согласию, общую статистическую значимость исследований с применением ганцфельда нельзя объяснить полочным эффектом (Hyman & Honorton, 1986).

Вместо продолжения этого спора Хаймэн и Хонортон выпустили совместное коммюнике, в котором они очертили свои области согласия и несогласия и сделали ряд предложений относительно проведения подобных исследований в будущем (Hyman & Honorton, 1986). Их спор и последующая дискуссия служат хорошей моделью для оценки спорных областей научного изыскания.