ЗНАЧИМЫЕ РЕЗУЛЬТАТЫ

В любом эксперименте приходится делать одно из двух конкурирующих заключений: 1) подтверждена экспериментальная гипотеза о том, что зависимая переменная имеет более высокое значение для условия А, чем для условия Б; 2) подтверждена противоположная гипотеза о большем значении зависимой переменной для условия Б, чем для условия А. Каков же вывод, если ни одна из конкурирующих гипотез не подтвердилась?

В случае простых практических решений правило состоит в том, чтобы учитывать любые позитивные данные. Тогда в процессе решения для третьего заключения не остается места. Однако в экспериментах, где ложное заключение нанесет ущерб научному знанию, необходимо рассматривать третье возможное заключение, состоящее в том, что независимая переменная оказалась просто неэффективной. Так на основании результатов эксперимента, где изучался плач ребенка при уходе матери можно было сделать три заключения:

1. Подтвердилась гипотеза, что дети данной возрастной группы плачут больше, если уходит мать.

2. Подтвердилась гипотеза, что дети плачут больше, если уходит ассистентка.

3. Ни одна из приведенных гипотезне подтвердилась.

Мы понимаем, что в любом реальном ограниченном эксперименте как положительные результаты (плач сильнее, когда уходит мать), так и отрицательные результаты (плач сильнее, когда уходит ассистентка) могут быть чисто случайными. Поэтому только достаточно большое различие в интенсивности плача 3,40 при уходе матери по сравнению с уходом ассистентки могло бы рассматриваться как подтверждение экспериментальной гипотезы о том, что то же самое обнаружится в идеальном или бесконечном эксперименте. Меньшее различие 0,93 имело бы весьма высокую вероятность оказаться случайным. Но возникает вопрос: откуда экспериментаторы знают, какова должна быть разница между двумя условиями, чтобы ее можно было принять как значимую?

Нуль-гипотеза

Кажется не очень нужным проверять нуль-гипотезу о том, что интенсивность плача не различается в случаях, когда комнату покидает мать и когда уходит ассистентка. Ведь это противоречит тому, что предполагает экспериментатор. Экспериментальная гипотеза состоит как раз в том, что плач сильнее, когда уходит мать.

Существуют два основания для такого «хода от противного». Первое состоит в том, что любой реальный эксперимент (который не является ни идеальным, ни бесконечным) не может быть абсолютно доказательным. Мы никогда не сможем сказать, что безусловно и навсегда доказали, что наши условия различные. Мы не в состоянии «доказать» экспериментальную гипотезу. Самое большее, что мы можем сделать,–это показать, что альтернативные объяснения неправильны, что приводит нас ко второму основанию обращения к нуль-гипотезе. Это специфическая гипотеза, и ее отвержение имеет большой смысл. Так как она специфическая (разница между условиями равна нулю) в отличие от экспериментальной гипотезы (для одного условия показатель больше), она доступна стандартной статистической проверке. Это и составляет ее смысл. Ведь если неверно, что данные условия не различаются, значит, мы точно знаем, что они в чем-то различны.

Смысл нуль-гипотезы состоит в том, что экспериментальные условия по своему влиянию не различаются. Термин «нуль» в данном случае означает нулевое различие влияния разных условий независимой переменной на зависимую переменную. В случае со старшими детьми экспериментаторы отвергли нуль-гипотезу, в случае с более младшими – нет. Такое действие называется проверкой на значимость или на статистическую значимость. Когда нуль-гипотеза отвергается, то говорят, что различие статистически значимо; когда нуль-гипотеза не отвергается, то говорят, что различие (статистически) незначимо.

Статистическое решение, принять или отвергнуть нуль-гипотезу, всегда таит в себе двоякий риск. Подобные статистические решения приводят к различным выводам относительно экспериментальной гипотезы. У проверки на значимость более широкий смысл. Конечно, она является средством получения валидных выводов об экспериментальной гипотезе, но это еще далеко не все.

Влияние правила решения.

Вероятность, используемая для отвержения нуль-гипотезы, называется альфа-уровнем. Правило решения бывают разными. Пока фигурировало только одно правило решения: нуль-гипотеза отвергается, если вероятность получения различия, при котором нуль-гипотеза верна, меньше 0,05 (5% из 100% (или 1 эксперимент из 20 экспериментов) дают результаты противоречащие нашей экспериментальной гипотезе). Если применяется более строгий критерий, это означает, что нуль-гипотеза отвергается, если подтверждающая ее разница встречается в меньшей доле случаев. Наиболее часто это 0,01 (1 эксперимент из 100) вместо 0,05.

Статистическое решение

Нуль-гипотеза отвергается (р=0,025)	Нуль-гипотеза не отвергается (р=0,95)	Нуль-гипотеза отвергается (р=0,025)
-5 -4 -3 -2 -1 0 +1 +2 +3 +4 +5   (а) N=15, σ = ± 3
Нуль-гипотеза отвергается (р=0,025)	Нуль-гипотеза не отвергается (р=0,95)	Нуль-гипотеза отвергается (р=0,025)
-5 -4 -3 -2 -1 0 +1 +2 +3 +4 +5   (б) N= 60, σ = ± 1,5
Нуль-гипотеза отвергается (р=0,001)	Нуль-гипотеза не отвергается (р=0,99)	Нуль-гипотеза отвергается (р=0,001)
-5 -4 -3 -2 -1 0 +1 +2 +3 +4 +5   (в) N=15, σ = ± 4

Рис. 1. Исходное статистическое решение (а), результат повышения надежности (б) и величина различия, необходимая для отвержения нуль-гипотезы (в). На числовых осях: интенсивность плача после ухода матери минус интенсивность плача после ухода ассистентки.

Результат использования в правиле решения альфа-уровня 0,01 вместо прежнего 0,05 виден на нижней диаграмме (в) рис 1. (Первоначальная выборка из 15 детей и стандартное отклонение ± 4). При альфа-уровне 0,01 для отвержения нуль-гипотезы требуется различие, большее ±4. При этом более строгом критерии уже нельзя сделать заключение в пользу гипотезы о более сильном плаче с уходом матери.

Способ, каким в большинстве статей сообщается о статистически значимом различии, выглядит так: «р<0,05» или «р<0,01». Это означает, что вероятность случаев, когда нуль-гипотеза верна, меньше 0,05 или меньше 0,01. Незначимое различие представляется как «р>0,05» или «р>0,01».

Люди, которые не любят статистику, считают, что все эти модные проверки статистической значимости не имеют особого смысла. Они не правы. С другой стороны, люди, поклоняющиеся статистике, считают, что за каждым статистическим решением автоматически следует экспериментальный вывод. Они тоже не правы. Истина находится между этими крайностями.

Игнорирование проверки на значимость.Предположим, что мы не стали бы рассматривать нуль-гипотезу. Тогда можно расценивать любое различие в пользу ухода матери как подтверждающее экспериментальную гипотезу. В таком случае можно принять различие 0,93 для младшей группы тоже как значимое. Это было бы довольно рискованно. Выбирая тактику постоянного игнорирования нуль-гипотезы, экспериментаторы вынуждены прийти к подтверждению противоположной гипотезы, которая в данном случае выглядит довольно бессмысленно (плач сильнее, когда уходит ассистентка).

Мы можем сразу увидеть, к каким последствиям приведет противоположная тактика, при которой нуль-гипотеза никогда не отвергается. Польза от проверки нуль-гипотезы всегда видна сразу. Если нуль-гипотеза окажется верной, экспериментальные выводы, не учитывающие ее, всегда будут ложными: будет считаться, что получила подтверждение либо экспериментальная гипотеза, либо противоположная ей гипотеза. Более того, когда нуль-гипотеза неверна и существует некоторое действительное различие в пользу того или иного условия, выводы тоже зачастую могут оказаться ложными. Таким образом, в научных экспериментах мы не можем обойтись без проверки на значимость.