Обобщение, репрезентативность, валидность

Обобщение. Цель любого экспериментального исследования сделать так, чтобы выводы, основанные на ограниченном количестве данных, оставались достоверными за пределами эксперимента. Это называется обобщением. Достоверность экспериментальных выводов определяется, по крайней мере, двумя требованиями, от которых же зависит и правомерность возможных обобщений:

1. Чтобы найденное в эксперименте отношение между независимой и зависимой переменными было свободным от влияния других переменных.

2. Чтобы постоянный уровень дополнительной переменной, задействованной в эксперименте, соответствовал ее уровню в более широкой области практики.

Репрезентативность. При правильном планировании реальных экспериментов нужно определить, насколько успешно реально проведенный эксперимент репрезентирует (представляет) эксперимент безупречный. Прежде всего, в какой мере исключена в реальных экспериментах возможность посторонних влияний на зависимую переменную.

В исследовании, проведенном в ткацком цехе, схема чередования недель приближается к идеальному эксперименту в большей степени. Чередование двух условий, или АБАБАБАБ… и т.д., более репрезентативно для их одновременного предъявления, чем последовательность, состоящая только из АААААА… и ББББББББ…. Ясно, что к бесконечности ближе 26 недель, а, например, не 4 недели. Первоначальный план лучше репрезентирует бесконечный эксперимент, чем план измененный.

Эксперимент полного соответствия лучше представлен в исследовании Джека, чем, если бы он проводил эксперимент с вальсами, хотя гипотеза была о сонатах. Вариант с вальсами оказывается «неадекватным», поскольку по своему уровню эти пьесы отличаются от тех (пьесы-сонаты), которые Джек разучивал бы в эксперименте полного соответствия.

Подводя итоги, можно сказать, что более надежную информацию об отношении между независимой и зависимой переменными дают те эксперименты, которые лучше представляют идеальный и бесконечный эксперименты. А чем ближе уровень значимой дополнительной переменной в проведенном эксперименте к ее уровню в эксперименте полного соответствия, тем лучше представлена в нем изучаемая реальная ситуация.

Валидность. Говоря о валидности эксперимента, вы оцениваете качество той работы, которую предполагаете провести для определения справедливости одной из конкурирующих гипотез. При определении валидности реальных экспериментов мы должны сравнивать сами процедуры их проведения с процедурами «проведения» безупречного эксперимента. Валидный эксперимент представляет безупречный эксперимент лучше, чем невалидный. Следовательно, в валидном эксперименте мы с большей вероятностью можем получить такие результаты, которых могли бы достичь в безупречном эксперименте. При этом важно помнить, что обобщение ограниченных – и всегда несовершенных – экспериментальных данных связано с риском. Даже самый высоковалидный эксперимент может дать неточную информацию о правильности экспериментальной гипотезы, а информация, полученная в невалидном эксперименте, может оказаться точной.

Внутренняя валидность. Всем «неудачным» экспериментам недостает внутренней валидности. Это значит, что они не позволяют рассматривать полученную картину отношений между независимой и зависимой переменными как достоверную. Виноваты в этом всевозможные посторонние влияния. Эксперимент, которому недостает внутренней валидности не может быть использован для выяснения того, какая гипотеза о связи независимой и зависимой переменных истинна, а какая ложна.

Термин «внутренний» подчеркивает существо данного вида валидности. Можно сказать, что эксперимент, лишенный внутренней валидности, неудачен, так сказать, изнутри, по самой своей сути. Действительно, если он не позволяет убедиться в достоверности найденного отношения независимой и зависимой переменных, он просто бесполезен.

Внешняя валидность. Термин «внешний» относится к определению тематики проводимого эксперимента – чему именно он посвящен. Заучивая вальсы, эксперименту Джека недоставало бы внешней валидности, т. к. он не обеспечивает достаточных оснований для определения верной и неверной гипотез о лучшем методе заучивания сонат. В данном случае эксперимент не был внешне валидным потому, что «сонаты» – такая же необходимая составная часть проверяемой гипотезы, как независимая и зависимая переменные.

Общие определения. Понятия внешней и внутренней валидности являются центральными. Для общего понимания и дальнейшего уточнения того, что такое валидность начнем со схематического изображения экспериментальной гипотезы: независимая переменная ... отношение ... зависимая переменная ... уровни дополнительных переменных. Итак, гипотеза включает в себя само отношение и обозначения обеих его сторон.

Определение валидности эксперимента, как внутренней, так и внешней, состоит в следующем. Это степень правомерности вывода об экспериментальной гипотезе, которую обеспечивают результаты данного эксперимента по сравнению с результатами эксперимента, безупречного во всех трех аспектах.

Понятие внутренней валидности эксперимента касается только самого отношения и не затрагивает того, что именно соотносится. Отсюда внутренняя валидность – это степень правомерности вывода об экспериментальной гипотезе, основанного на результатах данного эксперимента, по сравнению с тем выводом, в основе которого лежат результаты идеального и бесконечного экспериментов, где изменения независимой и зависимой переменных происходят в одних и тех же условиях, a все другие, побочные факторы остаются неизменными. Любой эксперимент сталкивается также с проблемой соответствия исследуемой ситуации – реальной. Понятно, что вопросы о соответствии касаются содержания того, что стоит по обе стороны изучаемого отношения. Это и есть вопросы внешней валидности. Ее можно определить как степень правомерности данного вывода об экспериментальной гипотезе по сравнению с тем выводом, который основан на результатах эксперимента с полным соответствием независимой, зависимой и уровнями всех дополнительных переменных.

Если внутренняя валидность не достигнута, рассматривать внешнюю не имеет смысла.