Критерии и способы проверки надежности

<8 9 10 111213 14 >

Критерий надежности шкалы	Содержание критерия	Способы проверки надежности по данному критерию
Правильность	Достаточная чувствительность шкалы, обладающей опти-мальной дробностью и не имеющей систематической ошибки	1. Устранение явных погрешностей: – скошенности данных; – выявление работающей части шкалы; – выявление выпадения каких-либо пунктов шкалы. 2. Испытание нескольких шкал разной дробности с расчетом и сравнением абсолютных и относительных ошибок
Устойчивость	Однозначность повто-ряемых результатов измерения с мини-мальной ошибкой	– повторное измерение; – разделение выборки на две части; – включение эквивалентных вопросов
Обоснованность	Уверенность в том, что фиксируется (измеряется) запланированное свойство, а не какое-либо другое	– конструирование типологии; – использование параллельных данных; – судейские процедуры

Методы измерений

Первичная формализация наблюдаемых объектов начинается с измерений. К осуществлению измерений привлекают экспертов. При экспертном оценивании наиболее часто используются методы: ранжирование, парное сравнение, непосредственное оценивание. Все методы можно разделить на две группы: прямые и косвенные. Прямые методы измерения реализуются на уже готовых шкалах: эксперты осуществляют прямой выбор из предлагаемого множества альтернатив или баллов (рангов). Косвенные методы предполагают вначале построение шкалы, а затем реализацию процедуры оценивания по шкале [9 – 11].

Ранжирование – это процедура упорядочения объектов по какому-либо предпочтительному признаку (критерию, показателю). Ранжирование объектов проводится в шкале порядков. Упорядоченному множеству объектов ставится в соответствие натуральный ряд чисел, которые, в отличие от действительных, называются рангами. При ранжировании объектов, между которыми допускаются отношения как строгого порядка так и эквивалентности, числовое представление эквивалентности объектов удобно вычислять как среднеарифметическое рангов эквивалентных объектов (случай наличия связанных рангов).

Ранги дают информацию лишь о том, что некоторые объекты имеют предпочтение перед другими (выявляют сам факт наличия упорядоченности), и не дают возможность сделать вывод о том, насколько предпочтительнее один объект относительно другого.

Недостатком процедуры ранжирования является невозможность упорядочения большого числа объектов. Если объектов больше 15, эксперты затрудняются в построении строго ранжированного ряда и могут допускать существенные ошибки, т.е. данные ранжирования могут быть очень неустойчивыми. После нескольких опросов неустойчивые ранги (смещенные) можно объединить в одну группу (ранг), например, 15-ранговую шкалу преобразовать в более устойчивую 7-ранговую.

Парное сравнение. Один из самых простых методов измерения, осуществляемых в шкале порядка. Парное сравнение реализуется в различных модификациях в зависимости от числового представления функции отображения. Пример реализации процедуры парного сравнения дан в табл. 1.14 – 1.16. Результатом измерений по методу парного сравнения являются частоты появления сравниваемых объектов, преобразованные затем в числа на шкале интервалов (вероятностные оценки сравниваемых объектов).

Непосредственная оценка – это процедура приписывания объектам числовых значений в какой-либо шкале:

– в шкале интервалов (например, в интервале [0,1]);

– в ранговой шкале (например, выбор баллов);

– в номинальной шкале (например, «да», «нет») и др.

При измерениях качественной (призначной) информации используют не только числовые значения признаков. Часто используют логические квадраты и матрицы. Примером логического квадрата может служить всем известная матрица БКГ (Бостонской консультационной группы). Примером нечисловой шкалы является семантическая дифференциальная шкала. Она содержит серию биполярных определений, характеризующих различные свойства изучаемого объекта. Такая шкала может быть таблицей из 3 столбцов, в крайних столбцах которой содержатся полярные (противоположные) утверждения, а в среднем против каждого утверждения ставят точку, смещенную в ту или другую сторону. Соединяют точки ломаной линией, по ее виду судят об оцениваемом объекте. Такого рода шкалы позволяют выявить качественный образ объекта в нечисловом виде (графическом, семантическом и т.д.). Пример использования семантической шкалы дан на рис. 1.13 [10]. В крайних колонках перемешаны положительные и отрицательные оценки с целью устранить привыкание экспертов к типу оценки.

Высокие цены	___ ___ ___ ___ ___ ___	Низкие цены
Неудобное месторасположение	___ ___ ___ ___ ___ ___	Удобное месторасположение
Теплая атмосфера	___ ___ ___ ___ ___ ___	Холодная атмосфера
Ограниченное меню	___ ___ ___ ___ ___ ___	Разнообразное меню
Пища низкого качества	___ ___ ___ ___ ___ ___ ___	Пища высокого ка-чества
Посещение в особых случаях	___ ___ ___ ___ ___ ___	Ежедневное посещение