Выявление экспертных оценок

Экспертом признается респондент, компетентный в проблемах, непосредственно связанных с предметом исследования. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления – экспертными оценками.

Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях он выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную (дискуссионную, нерешенную наукой) ситуацию, б) терминологию экспертных оценок (путем операционализации общих понятий), в) гипотезы, выносимые на экспертизу, г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности), д) индикаторы, позволяющие измерять суждения экспертов, е) инструментарий этих замеров и первичной обработки данных, ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.

Последний компонент нуждается в пояснении. Речь идет не о тех общих правилах, которые используются социологами при количественном анализе данных исследования, не о приемах математического и статистического анализа информации, а о специальных процедурах, которые будут охарактеризованы в разделе 5 следующей главы.

При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от монитора, т.е. исследователя, организующего экспертный опрос и проводящего экспертизу.

Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный – склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в стороны нейтральной середины, а часть экспертов заинтересована в преднамеренном искажении информации. Все это, конечно, должно учитываться монитором.

Но еще более важно иметь в виду то, что расхождение между компетентностью и валидностью экспертных оценок – неизбежное следствие нарушения следующих правил организации и проведения экспертизы:

1. Понятийная строгость, однозначность используемых категорий, подготовка в сложных случаях специальных словарей, растолковывающих значение некоторых понятий, использование им всеми экспертами в ходе экспертизы.
2. Четкое определение цели всех аспектов экспертизы и каждого из них в отдельности, их соответствие исследовательским задачам и гипотезам.
3. Тщательный подбор экспертов на основе продуманно сконструированной модели идеального эксперта и критериев, вытекающих из этой модели.
4. Соблюдение правила оптимума численности экспертов, т.е. учет того, что ограничение состава экспертов ведет к росту веса оценки каждого эксперта, и расширение их состава затрудняет интегрирование экспертных оценок, (то и другое увеличивает риск принятия монитором ошибочных выводов).
5. Апробация всего инструментария как экспертного опроса, так и последующих процедур сопоставления и согласования оценок экспертов.
6. Информационная изоляция экспертов друг от друга на первом этапе (туре) экспертного опроса.
7. Налаживание теснейшего творческого взаимодействия экспертов на последующих этапах экспертизы (после установления меры валидности полученных оценок).
8. Безупречное знание монитором и практическое применение им конкретных методик интенсивного группового взаимодействия экспертов на завершающем этапе экспертизы.

В следующей главе мы вернемся к этим правилам согласования экспертных оценок, покажем их эвристическую и практическую значимость, а также технологию их интегрирования.