Интеграция экспертных оценок

Продолжим начатый в предыдущей главе разговор об экспертных опросах и завершим характеристику качественных методик социальных исследований.

Интеграция экспертных оценок есть, по сути дела, совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой – принципиально отличен от их традиционно количественной интерпретации, а с третьей – свидетельствует о надуманности и некорректности утверждений, согласно которым качественная методология лучше (или хуже) количественной. Реально лучшим оказываются исследовательские методы, в наибольшей степени соответствующие задачам исследования.

Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно: 1) выработать научно обоснованное управленческое решение; 2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования. Как уже отмечалось, без этого невозможно в полной мере реализовать эвристические и практико-ориентированные возможности фокус-группы, БОУ и "проблемного колеса". Иначе говоря, интеграция оценок экспертов, являясь вполне самостоятельным способом качественного анализа информации, вплетается в другие качественные методики и в этом смысле выступает их составной частью.

Реализация характеризуемого метода предполагает выполнение ряда исследовательских операций в следующей последовательности:

1. Установление мнений экспертов по исследуемой проблеме в заочной форме, т.е. путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором докладных записок и иных материалов экспертного характера (об этом говорилось в п. 5 предыдущей главы).
2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал.
3. Согласование мнений экспертов по технике Дельфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирований их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартелей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок.
4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Последняя может проводиться не только по вышеизложенным методам (фокус-группы, БОУ, "проблемного колеса"), но и на основе иных способов активизации творческого мышления в группе ("мозговой штурм", синектика, ИПИД и т.п.).

Методика "мозгового штурма" предполагает устранение субординационных границ между участниками дискуссии, запрет критики любых идей, прозвучавших из уст экспертов, поощрение свободного выражения любых мнений и комбинирования идей друг друга, выдвижение необычных, даже несбыточных положений, снижение уровня самокритичности участников дискуссии, расковывание творческого мышления участников дискуссии. Благодаря этому удается выяснить оригинальные подходы к изучаемой проблеме, разнообразие ее возможных решений, определить наиболее оптимальный вариант, сблизить мнения экспертов, добиться их определенного консенсуса в понимании обсуждаемой проблемы.

Синектическая методика дискутирования и согласования мнений экспертов применяется тогда, когда обсуждаемая проблема характеризуется особой трудностью решения, а эксперты – повышенной компетентностью. Она позволяет выявить наибольшее число оригинальных идей и детально проанализировать каждую из них. Ценность этой методики проявляется и в другом. Участникам "синектической группы" ставятся задачи: 1) четко высказывать свое понимание проблемы; 2) внимательно выслушать мнения других; 3) поставить себя в положение тех участников дискуссии, которые выражают противоположную точку зрения, и постараться понять, почему их мнение таково, какое есть (т.е. проявить эмпатию); 4) скорректировать свою позицию с учетом резонности позиций других. Если эти условия выполняются, то на пути интегрирования оценок экспертов делается значительный шаг вперед.

Эту задачу можно решить и с помощью ИПИД – специальной методики проведения дискуссии, делающей акцент на "индуцировании психоинтеллектуальной деятельности". Ее следует применять не для выявления разных позиций дискутеров, а в условиях, когда эти позиции уже установлены другими методами. Цель ИПИД – выработка единого понимания проблемы, обеспечение единства действий участников дискуссии по решению обсужденного вопроса. Для этого используются разнообразные техники выработки консенсуса, как те, которые применяются в "синектической группе" (проявления эмпатии), так и многие другие. Речь идет, прежде всего, о "Стоп-технике", "Да-технике", "Чем-тем-технике", "формуле неконфликтного общения", "пароля для друзей" и т.п.

Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочение по трем, как минимум, основаниям:

1. степени популярности, т.е. представленности в коллективном мнении экспертов;
2. мере реализуемости, возможности практического выполнения;
3. последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема.

Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов.

1. Синтезирование экспертных оценок в форме минитеории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка минитеории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины.

Разработка такой миниконцепции необходима в двух отношениях: во-первых, в качестве "кирпичика", из которых строятся социологические теории "среднего", а затем и "большего" уровней; во-вторых, – для завершения процедуры интегрирования экспертных оценок.

1. Комплексирование экспертных оценок – последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат – комплексная программа решения изученной проблемы (или нескольких вариантов такой программы). Она должна логично вытекать из вышеохарактеризованной минитеории и содержать перечень мер, реализация которых обеспечит решение исследованного вопроса. Предлагаемые меры дифференцируются:
• на стратегические (важные и долговременные) и тактические (детализирующие первые);
• по времени исполнения (первоочередные, второочередные и т.п.);
• по затратам разнообразных ресурсов;
• по ожидаемому эффекту от этих затрат;
• по адресатам (организациям, персонам), могущим реализовать рекомендации;
• по другим основаниям, зависящим от характера проблемы и способов ее решения.

Все сказанное можно выразить в виде следующей схемы:

Схема 4. Последовательность операций интегрирования экспертных оценок (см. снизу)

Контрольно-обучающие вопросы и задания

1. Исследование каких проблем следует осуществлять:
• качественными методами;
• количественными методами;
• совокупностью количественных и качественных методов?
2. Почему нельзя однозначно признавать лучшими ни количественные, ни качественные методы социологических исследований?
3. Назовите существенные отличия качественных методов от количественных.
4. Сравните и охарактеризуйте предназначение методов:
• фокус-группы;
• БОУ;
• "проблемного колеса";
• интеграции экспертных оценок.
5. Выделите общие и специфические компоненты каждого из вышеназванных методов:
6. Какие количественные методы сбора и анализа информации играют роль составляющих методов:
• фокус-группы;
• БОУ;
• "проблемного колеса";
• интеграции экспертных оценок?
7. Охарактеризуйте технологию, т.е. последовательность реализуемых исследовательских операций:
• фокус-группы;
• БОУ;
• "проблемного колеса";
• интеграции экспертных оценок.
8. Какие методы, кроме означенных в предыдущих заданиях, относятся к категории качественных?
9. При нарушении каких условий исследования, проведенные качественными методами, могут быть менее качественными, чем исследования, основанные на количественных методах?
10. Зафиксируйте все совокупности требований, соблюдение которых гарантирует качественность исследований по методам:
• фокус-группы;
• БОУ;
• "проблемного колеса";
• интеграции экспертных оценок.

Рекомендуемая литература

1. Алексеев А.Н. Драматическая социология: эксперимент социолога-рабочег. М.; СПб., 1997. Кн. 1-2.
2. Белановский С.А. Метод "фокус-групп". М., 1996.
3. Биографический метод в социологии: история, методология, практика / Под ред. Е.Ю. Мещеркина, В.В. Семеновой. М., 1994.
4. Волков А.М. и др. Экспертные системы: структурно-функциональный подход к извлечению экспертного опыта. М., 1991.
5. Григорьев С.И., Гуслякова Л.Г. Социальная работа в регионе экологического неблагополучия. Барнаул, 1997.
6. Григорьев С.И., Демина Л.Д. Профессиональный психолог в регионе экологического неблагополучия. Барнаул, 1996.
7. Григорьев С.И., Демина Л.Д. Социолог в регионе экологического неблагополучия. Барнаул, 1996.
8. Дебюс М. Качественные методы в социальных исследованиях. Фокус-группа: Учеб. пособие / Пер. с англ. Барнаул, 1996.
9. Девятко И.Ф. Методы социологического исследования: Учеб. пособие. Екатеринбург, 1996. С. 44-56.
10. Китаев Н.Н. Групповые экспертные оценки. М., 1975.
11. Крюгер А. Фокусные группы: Практическое руководство для прикладного исследования / Пер. с англ. М., 1995.
12. Ларичев О.Н. и др. Выявление экспертных знаний (процедуры и реализация). М., 1989.
13. Макаревич В.А. Игровые методы в социологии: теория и алгоритмы. М., 1994.
14. Масленников Е.М. Метод интеграции концепций экспертов в социологическом исследовании. М., 1992.
15. Основы социологического знания / Под ред. С.И. Григорьева. Барнаул, 1994. Ч. 3.
16. Попкова Т.В. Социология. Новосибирск, 1997.
17. Семенова В. Качественное исследование в социологии. М., 1999.
18. Федотова Л.Н. Контент-аналитические исследования средств массовой информации и пропаганды: Учеб. пособие. М., 1988.
19. Ядов В.А. Стратегия социологического исследования: Описание, объяснение, понимание социальной реальности. М., 1998. С. 387-449.