Влияние состава экспертов на результат экспертизы.

Коэффициент конкордации

При проведении процедуры оценивания важно сколько и кто является экспертами. Если экспертов недостаточно, то возможно получение субъективных оценок, что может исказить результаты и выводы. Не менее важны и личностные и профессиональные характеристики экспертов. Специалисты с диаметрально противоположными взглядами, вкусами и пр., безусловно, также могут дать не достоверную суммарную оценку. Поэтому разработаны способы расчета оптимального количества необходимых экспертов и методики подбора состава экспертных групп. Другой способ проверки достоверности результатов экспертной группы - определения степени согласованности, использование специальной меры - коэффициента конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить.) Коэффициент получил имя ученного предложившего данный алгоритм расчетов.

Коэффициент конкордации изменяется в диапазоне 0<W<1, причем 0 – полная несогласованность, 1 - полное единодушие.

Приведем пример определения степени согласованности мнения экспертов.

В данном примере определяется степень согласованности мнения пяти экспертов по результатам ранжирования семи объектов.

Таблица 7.6.3 Данные для оценки согласованности мнений пяти экспертов

Оцениваем среднеарифметическое число рангов:

Qср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:

где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;

n - число экспертов;

m - число объектов экспертизы.

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Следовательно, данной экспертной группе и полученным результатам можно полностью доверять.

Опросные методы

Опрос – метод сбора первичных данных от самого индивида или группы людей. Это один из самых простых доступных и поэтому распространенных методов оценки. В этой связи, рассмотрим данный метод более глубоко.

В процессе сбора информации могут возникать какие-либо погрешности, поэтому специалисты в области экспертных методов большое внимание уделяют разработке правил подготовки и проведения экспертиз.

Для подготовки экспертизы (опроса) должна быть сформирована группа специалистов-организаторов, она обеспечивает условия для эффективной деятельности, разрабатывает процедуру экспертизы.

В задачу группы входят:

· постановка проблемы, определение целей и задач экспертизы, ее основных этапов;

· разработка процедуры экспертизы;

· отбор экспертов;

· проведение опроса;

· формализация полученной информации, ее обработка и анализ.

Численность группы-организаторов не должна быть малой, иначе теряется смысл экспертных оценок.

Перед экспертным опросом должны быть разработаны правила его проведения и организации. Они обеспечивают соблюдение условий благоприятствующих формированию экспертами объективного мнения.

К таким условиям относятся:

ü независимость формирования экспертами собственного мнения об оцениваемых событиях;

ü сохранение анонимности ответов;

ü возможность коллективного обсуждения оцениваемого события;

ü предоставление экспертам требуемой информации.

Подготовку экспертизы начинают с постановки проблемы. Здесь знакомятся с предысторией и состоянием проблемы. После этого проводится анализ проблемы, для этого организаторы экспертизы выдвигают центральный вопрос, который составляет существо проблемы, а затем расщепляют его на подвопросы.

Методы опроса:

· индивидуальный или коллективный;

· личный или заочный;

· устный или письменный.

В основе любого опроса лежит вопросник, с помощью которого и осуществляется сбор требуемой информации.

Данные, полученные от экспертов, можно разделить на:

· жесткие - если результаты измерения можно оценить с помощью физических или денежных единиц;

· мягкие - когда используются качественные оценки или суждения.

По форме и условиям общения исследователя с респондентом различают письменный (анкетирование) и устный (интервьюирование) опросы.

Главное различие между анкетированием и интервьюированием состоит в форме контакта исследователя и опрашиваемого. Причём при анкетировании их общение опосредуется анкетой, где фиксируются ответы респондентов. Содержащиеся в ней вопросы и их смысл респондент интерпретирует самостоятельно, в пределах имеющихся у него знаний. Он формулирует ответ и фиксирует его в анкете тем способом, который либо указан в тексте анкеты, либо объяснен анкетером. При интервьюировании контакт между исследователем и респондентом осуществляется при помощи интервьюера, который задает вопросы, предусмотренные исследователем, организует и направляет беседу с каждым отдельным человеком, фиксируя полученные ответы согласно инструкции в бланке интервью. Специфика интервью заключается в целенаправленности процесса общения интервьюера с респондентом согласно программе исследования.

Анкетирование

В зависимости от способа доставки анкет к респонденту, выделяют четыре основных вида анкетного опроса:

1. раздаточный анкетный опрос;

2. почтовый анкетный опрос;

3. прессовый анкетный опрос;

4. телефонный анкетный опрос.

1.Раздаточный анкетный опрос – это вид анкетного опроса, который проводится по месту нахождения отвечающего посредством непосредственного общения с ним. Такой вид анкетного опроса в профессиональной среде ещё называют ≪фэйс-ту-фэйс≫ опрос (“fase-to-fase”). При таком виде анкетного опроса анкетёр отдаёт анкету из рук в руки. По численности респондентов различают два вида раздаточного анкетного опроса: индивидуальный раздаточный анкетный опрос и групповой раздаточный анкетный опрос.

v Индивидуальный раздаточный анкетный опрос – это вид раздаточного анкетного опроса, который проводится по месту нахождения единственного отвечающего посредством непосредственного общения с ним с помощью анкеты. Он может применяться для исследования влияния отдельных граждан на продукцию фирмы, всевозможные события общества.

В зависимости от места проведения выделяют три вида индивидуального раздаточного анкетного опроса: квартирный опрос, производственный анкетный опрос и уличный анкетный опрос.

v Квартирный индивидуальный раздаточный анкетный опрос – это вид индивидуального раздаточного анкетного опроса, который проводится по месту жительства опрашиваемого (респондента).

v Производственный индивидуальный раздаточный анкетный опрос – это вид индивидуального раздаточного анкетного опроса, который проводится по месту работы опрашиваемого. Такой вид опроса позволяет собирать информацию относительно изучения влияния производственных факторов.

v Уличный индивидуальный раздаточный анкетный опрос – это вид индивидуального раздаточного анкетного опроса, когда поиск отвечающего и опрос проходит на улице. Такой вид анкетного опроса позволяет собирать информацию о восприятии населением животрепещущих проблем российского общества: ЖКХ, собственность на землю, охрана окружающей среды и рациональное, в интересах людей, использование природных богатств и т.д.

v Групповой раздаточный анкетный опрос (групповое анкетирование) – это единовременное индивидуальное анкетирование респондентов, собранных в одном помещении. Его преимущества заключаются в следующем: большая экономичность ресурсов: временные, человеческие, финансовые ресурсы, оперативность. Ограничения связаны со сложностью организации опроса, т.к. требует тщательной организации (времени, помещения, подготовки респондентов и др.), психологическими особенностями группового раздаточного анкетного опроса (эффект группового давления и проч.).

В групповом раздаточном анкетном опросе величина группы не должна превышать 20 человек, так как группа должна быть обозрима и доступна для индивидуальных консультаций.

Пример:Анкета с вопросами закрытого типа

Анкета (фрагмент) для соискателей работы

1. Сколько хотите зарабатывать?

до 10 000 рублей

от 10 000 до 15 000 рублей

от 15 000 до 20 000 рублей

более 20 000 рублей

2. Какой режим работы вас устраивает больше всего?

свободный график

полный рабочий день

первая половина дня

вторая половина дня

3. Вам комфортнее работать

одному (одной)

в паре с коллегой (другом)

в небольшом коллективе (примерно 5-7 человек)

в большом коллективе?

4. Считаете ли вы себя профессионалом своего дела?

да

нет

5. Как вы оцениваете уровень своего мастерства?

высокий;

средний;

низкий;

6. Хотите ли вы повысить свою квалификацию?

да

нет

7. Какие варианты повышения уровня образования являются для вас более привлекательными?

самообразование;

участие в семинарах, конференциях, тренингах;

обучение на курсах.

Пример:Анкета с применением шкалы оценки