Способы «улучшения» реальности

Первый способ — устранение систематического смешения

Эксперимент с ночными посадками самолетов. Предположим, что исследователи ночных посадок самолетов решили провести свой эксперимент не на тренажере, а просто дублируя реальный мир, то они выбрали бы два аэропорта, различных по относительному подъему находящихся рядом городов, похожие поверхности, будь то вода или земля, над которыми будут совершать посадку самолеты, города, примерно равные по площади, с похожим расположением огней, должны были бы уравнять условия видимости и т. п. Но найти два аэропорта, полностью подобных по всем указанным параметрам, просто невозможно. Даже там, где в обоих аэропортах все побочные переменные в принципе одинаковы, они никогда не будут такими же идентичными, как на тренажере, «улучшающем» реальный мир. Другими словами, эксперимент, который дублирует реальный мир, в данном случае не обладает достаточной, внутренней валидностью, поскольку не исключает систематического смешения независимой переменной (угла наклона), с различными побочными факторами. Эксперимент, «улучшающий» реальный мир необходим тогда, когда эксперимент, дублирующий реальность, не может достичь высокой внутренней валидности из-за систематического вмешательства побочных переменных. Это достигается посредством искусственной стабилизации побочных переменных.

Второй способ: больше данных — выше надежность

Эксперимент с поиском на море. В искусственном эксперименте гораздо большая часть факторов, влияющих на успешность поиска, поддается точному измерению. По сравнению с экспериментом, дублирующим реальный мир, который мог бы включать лишь несколько проб (едва ли можно рассчитывать на постоянство таких побочных переменных, как размер, и цвет цели, осведомленность испытуемого о месте ее появления, условия видимости, высота волн и т. п., собственный опыт участника эксперимента), искусственный эксперимент ближе к бесконечному эксперименту, т. к. дает большую уверенность в том, что результаты полученные на 48 пробах будут правдивы. Экспериментаторы старались проконтролировать и другие дополнительные переменные: время года, погодные условия, размер цели и расстояние до нее, судно и сам экипаж с его командиром оставались в течение времени стабильными. Надежность эксперимента повышалась также благодаря возможности опускать муляжи в заданном временном режиме. Размеры муляжа тоже можнобыло изменять по желанию. Правда, нужную погодузаказать нельзя, но все же можно было проводить опыты с биноклем и без него в одинаковых погодных условиях, равно как и в одинаковое время дня.

В итоге экспериментаторы могли сравнивать эффективность наблюдения невооруженным глазом и с помощью бинокля при каждом конкретном наборе перечисленных условий. А если бы эксперимент проводился во время настоящих спасательных операций такие тонкости и не могли бы обсуждаться.

Третий способ — высокая надежность за счет сокращения несистематической изменчивости

Эксперимент с выбором высотомера. Предположим, что Лендбург получил возможность испытать каждый высотомер в реальном полете. Ему пришлось совершить бы несколько полетов с разными высотомерами, но оценить качество работы с высотомером было бы довольно трудно. Ведь ему нужно было бы не только считывать показания шкал, но и контролировать истинность этих показаний, оценивая высоту своего полета визуально, наблюдая территорию, над которой он летал. Поэтому несистематическая изменчивость в поведении испытуемого была бы очень большой, т. к. влияли бы особенность восприятия территории, степень сосредоточенности и, наконец, просто умение вести самолет на нужной высоте. В искусственном эксперименте требовались ясные ответы, которые полностью определялись считыванием показаний высотомера. Ошибки в этих ответах можно вычислить совершенно точно. Благодаря сокращению несистематической изменчивости этих оценок искусственный эксперимент достигает более высокой надежности по сравнению с экспериментом, дублирующим реальность.

Внутреннюю валидность эксперимента можно улучшить, не только повышая надежность, но и устраняя систематическое смешение. Надежность эксперимента можно повысить двумя путями: с помощью увеличения числа проб и благодаря сокращению несистематической изменчивости.