Практическое использование методов экспертных оценок

Проблемы, для решения которых приходится применять методы экспертных оценок, принято разделять на два класса, каждый из которых придает своеобразную окраску отдельным этапам процедуры использования этого метода.

Проблемы первого класса характеризуются тем, что о них в целом имеется достаточная информация, но она может косить качественный характер или их решение требует учета многих критериев, что вызывает необходимость привлечения экспертов.

Основные задачи, которые в данном случае приходится решать при использовании методов экспертных оценок первого класса, состоят в поиске хороших экспертов и правильной организации процедуры экспертизы.

Проблемы, составляющие второй класс, не характеризуются достаточным информационным потенциалом. К ним относятся проблемы, возникающие при решении большинства задач прогнозирования. Обработка мнений экспертов для получения обобщенных оценок не может состоять в простом усреднении индивидуальных оценок. Ведь может оказаться, что мнение какого-либо эксперта, плохо сочетающееся со «среднеарифметическим» мнением, окажется истинным. Поэтому важнейшую роль здесь приобретают процедуры качественной обработки оценок экспертов.

Методы экспертных оценок применяют в рамках определенной процедуры, этапы которой нацелены на решение тех или иных вопросов организации экспертизы. Процедура проведения экспертизы состоит в следующем:

— на первом этапе создается группа управления, назначается ее руководитель и разрабатывается руководящий документ экспертизы;

— на втором этапе осуществляется подбор и формирование экспертной группы;

— на третьем этапе проводится разработка способа организации и методики проведения опроса экспертов;

— на четвертом этапе определяется способ организации и методики обработки данных опроса экспертов, цель обработки — получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы;

— пятый и шестой этапы — это проведение опроса и обработка его результатов, включающая их анализ, утверждение и оформление в виде отчета.

Использование методов экспертных оценок не ограничивается прогнозированием развития социально-экономических явлений. Эти методы можно использовать, например, в педагогике для решения следующих задач:

а) анализ сложных педагогических процессов, характеризующихся в основном качественными, неформализуемыми признаками;

б) прогнозирование развития отрасли знания, процессов обучения
и воспитания и их взаимодействие с внешней средой;

в) оценка альтернативных решений и выделение наиболее предпочтительных вариантов организации учебно-воспитательного процесса.

Индивидуальная экспертная оценка используется для изучения личности учащихся, рецензирования учебной и методической литературы, оценки качества знаний учащихся. Она включает беседу исследователя с экспертом, который отвечает на заранее сформулированные вопросы или анкету.

Метод групповых экспертных оценок может быть использован при выборе оптимальной структуры учебного материала, поурочном и тематическом планировании, отборе дидактического материала для различных видов занятий, для оценки качества преподавания, при формировании обобщенных, характеристик ученических коллективов.

Методика обработки результатов экспертного опроса. Для обработки количественных экспертных оценок используются статистические методы и рассчитываются показатели среднего значения и разброса вариационного ряда экспертных оценок. Показатели разброса служат базой для расчета степени согласованности мнений экспертов, надежности экспертов. При регулярном привлечении экспертов или возможности сравнения оценок с фактическими значениями исследуемых параметров показатели разброса могут быть использованы и для вычисления точности и надежности оценок.

Бывают такие ситуации, когда мнения экспертов расходятся. В основе идей согласования мнений экспертов лежит утверждение, по меньшей мере спорное, о том, что согласованное мнение многих людей достовернее, чем мнение одного человека. В простых вопросах, вероятно, подобная гипотеза близка к истине, но в сложных ситуациях применять ее опасно. Особенно это касается научно-технических прогнозов. Надо просто считаться с тем, что у экспертов мнения расходятся, и фиксировать существование неопределенности суждений и оценок. Экспертизы и прогнозы нужны не сами по себе, а для принятия определенных решений. Таким образом, используя экспертные оценки, можно поставить типичные задачи принятия решений в условиях неопределенности. Опираясь на традиционные идеи оценки результатов экспертного опроса, предложен новый теоретико-игровой подход к обработке результатов экспертиз в условиях рассогласованности мнений экспертов. Этот подход целесообразно использовать в условиях существования разовой информации для получения усредненной оценки, максимально надежной в рамках имеющейся информации.

Общие недостатки методов экспертных оценок (кроме метода «Дельфи»):

1) часть специалистов экспертной группы или даже один наиболее активный член группы могут оказывать давление на всех членов, и, если такое мнение ошибочно, может быть получен неправильный прогноз;

2) в отдельных случаях на решения членов экспертной группы может оказать отрицательное влияние не глубина доводов, а количество замечаний «за» и «против»;

3) возможно также, что проблема достижения соглашения между членами экспертной группы будет иметь более важное значение, чем тщательно разработанный прогноз.

Спектр экспертных методов, используемых в прогнозировании, достаточно широк. Используются такие традиционные методы, как собственно индивидуальные оценки руководителей прогнозных разработок, групповые оценки коллектива разработчиков, групповые оценки, уточненные при консультациях у специалистов, оценки, подтвержденные ответами от научно-исследовательских и других компетентных организаций, полученные в результате официальных запросов.