и методов экспертного оценивания

Окончание табл. 1.20

Известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации (ДКК и ЭКК).

Дисперсионный коэффициент конкордации. ДКК оценивается формулой (8). Для ее вывода проведем ряд рассуждений [9]. Пусть имеется матрица результатов ранжировки и объектов группой из m экспертов ||r_ij|| (j = 1, …, m; i = 1, …, n), где r_ij – ранг, присваиваемый j-м экспертом i-му объекту.

Найдем вектор

(1)

Определим оценку дисперсии найденной последовательности в предположении, что она случайная величина

(2)

где

(3)

ДКК определяется как отношение оценки дисперсии D к максимальному значению этой оценки:

(4)

Значение W изменяется от нуля до единицы, так как 0 £ D £ D_max.

Найдем D_max для случая отсутствия связанных рангов (все объекты различны), предварительно показав, что D зависит только от n и m (числа объектов и количества экспертов). Подставив (1) в (3), получим

(5)

Если j = const, найдем сумму рангов для j-го эксперта. Поскольку для ранжирования используются натуральные числа от 1 до n, можно записать сумму натуральных чисел от 1 до n:

(6)

Подставив (6) в (5), получим:

(7)

Из (7) видно, что величина зависит только от n и m (числа объектов и количества экспертов). Осуществив ряд последовательных преобразований [9], можно получить

Введя обозначение можно записать выражение для оценки D в виде

Тогда окончательное выражение для коэффициента конкордации (для случая отсутствия связи рангов) запишется как

(8)

максимальное значение дисперсии достигается в случае полного совпадения мнений экспертов. Минимальное значение дисперсии, которое равно нулю, достигается в случае, если эксперты дают несовпадающие мнения. Доказательство этого утверждения здесь не приводится, оно дано в [9]. При наличии связанных рангов коэффициент конкордации вычисляется по формуле

где Здесь Т_j – показатель связанных рангов в j-й ранжировке, H_j – число групп равных рангов в j-й ранжировке,
h_k – число равных рангов в k-й группе связанных рангов в ранжировке j-го эксперта.

ДКК = 1, если все ранжировки одинаковы (имеется явный сговор [7]).

ДКК = 0, если все ранжировки различны (некомпетентность [7]).

ДКК можно считать случайной величиной. В таком случае необходимо дать оценку значимости значения ДКК. Для больших значений n и m (при n > 7) можно использовать критерий .

Доказано, что величина w = m(n – 1) имеет распределение с степенями свободы.

При наличии связанных рангов (более общего случая)

Определение взаимосвязи ранжировок. Для решения задачи определения зависимости между ранжировками двух экспертов или связи между достижением двух различных целей при решении одной и той же совокупности проблем или взаимосвязи между двумя признаками используют меру, называемую коэффициентом ранговой корреляции (КРК).

Характеристикой взаимосвязи множества ранжировок или целей будет являться матрица КРК. Известны КРК Спирмена и Кендалла.

КРК Спирмена определяется формулой

где К₁₂ – взаимный корреляционный момент первой и второй ранжировок, D₁, D₂ – дисперсии этих ранжировок. Для определения взаимовлияния двух ранжировок К₁₂ , D₁ и D₂ вычисляются по формулам:

где n – число ранжируемых объектов; – ранги в первой и второй ранжировках соответственно; – оценки средних рангов.

Оценки средних рангов определяются как

Проведя ряд преобразований, можно получить удобную для расчетов формулу КРК Спирмена для несвязанных рангов:

КРК Спирмена изменяется от –1 до +1. КРК = 1 при одинаковых ранжировках, т.е. при . Значение r = –1 имеет место при противоположных ранжировках (прямой и обратной). Если КРК=1, то ранжировки считаются линейно независимыми.

Определить значимость случайной величины r можно с помощью следующих формул и рассуждений.

Если |r| < e, где e – пороговое значение случайной величины r для вероятности b, то оценка КРК Спирмена считается значимой. e определяется как

где n – количество объектов;

y(х) – функция, обратная функции

Значения функции табулированы [11].

Для определения значимости оценки КРК Спирмена можно воспользоваться критерием Стьюдента, поскольку величина приближенно распределена по закону Стьюдента
с n – 2 степенями свободы.

Для связанных рангов КРК Спирмена имеет вид:

где r – оценка КРК Спирмена,

здесь k₁ и k₂ – количество связанных рангов в первой и второй ранжировках соответственно.

КРК Кендалла при отсутствии связанных рангов определяется формулой:

где n – количество объектов; r_ij – ранги объектов; sign х

.

Сравнение (из опыта использования) обоих КРК показывает, что КРК Спирмена дает более точный результат и рассчитывается по более простой формуле, т.е. при практических расчетах он более предпочтителен.

Пример. Два эксперта провели ранжирование пяти объектов. Результаты ранжировки приведены в таблице.

КРК Спирмена .

Определим порог e при b = 0,05:

.

Поскольку r = 0,5 < e = 0,98, оценка КРК является значимой.

Энтропийный коэффициент конкордации (ЭКК) определяется формулой из [9]:

где Н – энтропия, вычисляемая как

Н_max – максимальное значение энтропии, Р_ij – оценки вероятностей j-го ранга, присваиваемые i-му объекту; – отношение количества экспертов m_ij, приписавших объекту О_i ранг j, к общему числу объектов m.

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда тогда Подставив Р_ij в выражение для определения Н, получим:

Значение ЭКК изменяется от нуля до единицы. При W_э = 0 расположение объектов по рангам равновероятно, поскольку
Н = H_max. Данный случай может быть обусловлен либо невозможностью ранжировки объектов по заданным показателям, либо полной несогласованностью мнений экспертов. При W_э = 1 (при Н = 0) все эксперты дают одинаковую ранжировку.

ЭКК и ДКК дают примерно одинаковую оценку согласованности мнений экспертов при различных ранжировках. Но ЭКК позволяет обнаружить факт разделения мнений экспертов на две противоположные группы (в таком случае ЭКК = 0,7, а ДКК = 0). Однако объем вычислений для ЭКК несколько больше, чем для ДКК.

В настоящее время для сбора и обработки эвристической информации применяют новые теории, например, теорию нечетких множеств. В работе [17] приводятся примеры использования возможностей, параметрическое представление управленческих оценок в виде нечетких интервалов, сравнение нечетких интервалов и др.

Литература

1. Моисеева Н.К. Выбор технических решений при создании новых изде-лий. – М.: Машиностроение, 1980. –181 с.

2. Анискин Ю.П. и др. Новая техника: повышение эффективности создания и освоения.– М.: Машиностроение, 1984. – 192 с.

3. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. – М.: Финансы и статистика, 2000.

4. Голибардов Е.И., Кудрявцев А.В., Синенко М.И. Техника ФСА. – Киев: Тэхника, 1989.

5. Маклаков С.В. BPwin и ERwin. CASE-средства разработки информационных систем. – 2-е изд., испр. и доп. – М.: ДИАЛОГ–МИФИ, 2001.

6. Денисов А.А., Колесников Д.Н. Теория больших систем управления: Учеб. пособие для вузов. – Л.: Энергоиздат, 1982.

7. Лбов Г.С. Методы обработки разнотипных экспериментальных данных. – Новосибирск: Наука, 1981.

8. Шрейдер Ю.А., Шаров А.А. Системы и модели. – М.: Радио и связь,
1982. – 152 с.

9. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. – М.: Экономика, 1978.

10. Голубков Е.П. Маркетинговые исследования – теория, методы, практи-
ка. – М., 2000.

11. Рабочая книга социолога. – М.: Наука, 1977.

16. Курчеева Г.И., Милехина О.В., Преображенская Т.В. Экономическое обоснование к выполнению дипломных проектов: метод. указания. – Новосибирск: Изд-во НГТУ, 2001.

17. Секретарев Ю.А. Получение и использование эвристической информации при принятии решений: Учеб. пособие. – Новосибирск: Изд-во НГТУ, 2002.

18. Наумова Н.А. Управленческий учет: Учеб. пособие. – Новосибирск: Изд-во НГТУ, 2002. – Ч. III. – 47 с.

19. Низовкина Н.Г. Анализ и диагностика финансово-хозяйственной деятельности предприятия: Учеб. пособие. – Новосибирск: Изд-во НГТУ, 2002. – 120 с.