Определение основных понятий

Объективность задания (задачи, пункта, вопроса) теста - задание признается объективным, если оно оценивается группой независимых экспертов-психологов как соответствующее измеряемому признаку.

Эмпирическая валидность - статистический показатель соответствия разрабатываемого теста апробированной методике измерения данного признака. Оценивается по величине коэффициента корреляции между последними.

Математический аппарат. Коэффициент корреляции Пирсона (1). При численности группы менее 20 человек следует применять коэффициент корреляции Спирмена (2).

r = (1)

r = 1- (2)

Порядок работы. Предлагаемый для измерения признак - личностная тревожность.

В процессе совместного обсуждения группа формирует общее представление о понятии «личностная тревожность».

1. Студенты предлагают пункты теста для измерения уровня тревожности. Каждый пункт оценивается группой путем голосования. Пункты, набравшие менее 50%, отклоняются. Задания могут предполагать как положительные, так и отрицательные ответы, соответствующие измеряемому признаку. Преподаватель записывает отобранный пункт теста, отмечая соответствующим знаком («+», «-»), эта запись будет служить ключом для получения «сырых» оценок. Таким образом отбирают 18-20 заданий. Студенты отвечают на сформированный опросник по схеме «да-нет» (дихотомические ответы).

2. Студентам предлагается «банк вопросов» (см. прил. 10.1.1). Группа отбирает из «банка» 18-20 вопросов, соответствующих измеряемому признаку. Проводится тестирование группы сформированным вопросником.

Обработка данных. Для обоих случаев тестирования по разработанным ключам вычисляются «сырые» оценки. Затем преподаватель предлагает «истинный» ключ (см. прил. 10.1.2). Используя этот ключ, студенты вычисляют свои «сырые» оценки по результатам второго тестирования. Оценки сводятся в таблицу (табл. 10.1.1).

Таблица 10.1.1

Сводная таблица результатов

Примечание. Здесь Х₁, Х₂, Х₃ – «сырые» оценки каждого студента для 1-ого, 2-го, 3-го тестирования, соответственно.

В результате получаются три случайные величины Х₁, Х₂, Х₃ (1...n), n - количество студентов в группе.

Примечание. Очевидно, что «сырые» оценки по результатам 2-го тестирования могут быть несколько занижены по сравнению с «истинными», но это не может сказаться на величине коэффициента корреляции.

Анализ результатов. Вычисляются коэффициенты корреляции r(Х₁,Х₂) и r(Х₂,Xз).

Смотря по обстоятельствам вычисляется или коэффициент Пирсона или Спирмена.

Статистически значимые значения коэффициентов корреляции представляют оценки эмпирической валидности сформированных первичных форм теста.

Выводы. В группе проводится обсуждение проведенной работы. Рассматриваются преимущества и недостатки двух отработанных методой формирования первичной формы опросника, у какого из методов оказалась более высокая эмпирическая валидность.

Приложение 10.1.1

1. Бывает ли у вас так, что вы настолько взволнованы какими-то мыслями, что не можете усидеть на одном месте?

2. Вас когда-нибудь тревожила «бесполезная мысль», которая все время вертелась в голове?

3. Быстро ли вас можно переубедить в чем-либо?

4. Считаете ли вы, что на ваше слово можно положиться?

5. Можете ли вы забыть обо всех делах и пойти повеселиться в хорошей компании?

6. Бывает ли у вас часто так, что вы приняли решение слишком поздно?

7. Считаете ли вы свою работу как нечто само собой разумеющееся?

8. Любите ли вы работу, требующую значительной сосредоточенности?

9. Любите ли вы вести разговоры о вашем прошлом?

10. Трудно ли вам забыть о ваших делах, обо всем даже на оживленной вечеринке?

11. Преследуют ли вас иногда мысли и образы так, что вы не можете спать?

12. Когда вы заняты своей основной работой, то интересуетесь ли в то же время и работой своих товарищей?

13. Часто ли бывают случаи, когда вам необходимо остаться одному?

14. Считаете ли вы себя счастливым человеком?

15. Смущаетесь ли вы в присутствии лиц другого пола?

16. Тревожит ли вас чувство вины?

17. Вы опаздывали когда-нибудь на занятия или свидания?

18. Трудно ли вам переключиться с одного экзамена на другой?

19. Часто ли вы ощущаете свое одиночество?

20. Много ли времени вы проводите в воспоминаниях о лучшем временах своего прошлого?

21. Предпочитаете ли вы оставаться незаметным на вечерах, в гостях?

22. Верно ли, что вас довольно трудно задеть?

23. Часто ли вы чувствуете неудовлетворенность?

24. Склонны ли вы довести до конца предыдущую работу, если вам предстоит другая, более интересная?

25. Бывает ли у вас такое ощущение, что ваша работа для вас дело жизни и смерти?

26. Трудно ли вам отказаться от привычек, которые вам не по душе?

27. Любите ли вы размышлять о своем прошлом?

28. Считаете ли вы себя счастливым человеком, которому в жизни все легко удается?

29. Легко ли вас задеть за живое по различным поводам?

30. Склонны ли вы к быстрым и решительным действиям?

31. Всегда ли вам думается после кого-либо поступка, что вам следовало сделать иначе?

33. Бывает ли у вас время от времени ощущение одиночества?

34. Работаете ли вы иногда так, будто от этого зависит ваша жизнь?

35. Можете ли вы быстро прервать начатое дело и тут же приступить к выполнению другого задания?

Приложение 10.1.2

Тревожность: «да» - 1, 2, 4, 10, 11, 16, 23, 25, 29, 31, 34; «нет» - 5, 7, 14, 15, 17, 22, 28;

ЛТ = «да» + «нет».

Ригидность: «да» - 18, 24, 26; «нет» - 3, 12, 32, 35;

Р = «да» = «нет».

Экстраверсия: «да» - 6, 8, 9, 13, 19, 20, 21, 27, 33; «нет» - 30

Э = «да» + «нет».

Занятие 10.2 ПЕРВИЧНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ

Цель работы. Расчет индексов трудности и коэффициентов дискриминативности заданий теста.

Определение основных понятий. Статистическая трудность задания теста - доля лиц репрезентативной выборки, правильно решивших задачу.

Дискриминативность задания - способность этого задания дифференцировать испытуемых по отношению к «минимальным» и «максимальным» результатам.

Первичным («сырым») результатом Х одного испытуемого будем называть количество правильно решенных им задач.

Математический аппарат. Оценкой трудности задачи служит измеряемый в процентах индекс трудности

I = . (1)

Л. Ф. Бурлачук и С. М. Морозов определяют индекс трудности как

I = , (2)

где T - количество испытуемых, правильно решивших задачу, N - объем репрезентативной выборки.

Слишком сложные, как и слишком простые задачи искажают информацию об испытуемых данной выборки. Оптимальное значение индекса трудности равно 50%.

Сравнить трудности двух задач можно при помощи критерия c², который при условии, что р₁ (вероятность решения первой задачи) и р₂ (вероятность решения второй задачи) равны примет следующий вид:

c² = , (3)

где п - количество испытуемых, х₁ - количество испытуемых, правильно решивших первую задачу, у₁ - количество испытуемых, неправильно решивших первую задачу; х₁+ у₁= п; п, х₂, у₂, х₂+у₂=п - аналогичные характеристики второй задачи; число степеней свободы при этом равно 1.

Табличные значения c² при различных значениях уровня значимости а.

а 5% 1% 0.1%

c² 3,84 6,63 10,8

Если вычисленное значение превышает табличное, то нулевая гипотеза отклоняется, т. е. задачи считаются разными по трудности.

Показателем дискриминативности задания служит мера соответствия его успешного решения успешному решению всех заданий теста. Он называется коэффициентом дискриминации и вычисляется как коэффициент точечно-бисериальной корреляции между средним первичным результатом задания и средним первичным результатом по всем заданиям теста (случай, когда все испытуемые решили все задачи без пропусков).

-1 £ r £ 1

r = (4)

åX_n - сумма всех правильных ответов Х_n = X,

åХ - сумма всех ответов N_n = N₁

где r - коэффициент детерминации, Х₁ - первичный результат испытуемого, правильно решившего задачу, N₁ - количество испытуемых, правильно решивших задачу, Х - первичный результат произвольного испытуемого, N - объем выборки испытуемых.

Чем ближе значение r к 1, тем более соответствует данная задача всему тесту. При отрицательных значениях r задача должна быть исключена. Отсутствие зависимости между отдельным заданием и всем тестом (значение r меньше критического) может говорить или о том, что задача намного трудней остальных, или - намного легче. В первом случае это задание будет служить «фильтром», который завышает оценки теста у «сильных» испытуемых и занижает у «средних» и «слабых», т. е. искажает результаты тестирования. Во втором случае это задание будет служить излишним балластом, не дающим никакой информации. В этом заключается смысл коэффициента дискриминативности.

Порядок работы. Студентам предлагаются 44 задания теста «Домино» Равена. Время решения задач не ограничивается, чтобы избежать пропусков.