Тесты как форма проверки знаний.

В наши дни намечены две основные тенденциями развития теории и практики образования. Первая – это разработка тестов для проведения объективного итогового и текущего контроля знаний учащихся. Вторая тенденция – использование обучающего потенциала заданий в тестовой форме для организации самоконтроля.

Для проверки знаний обучаемых используются различные формы контроля. Традиционные формы контроля - устный опрос либо экзамен - весьма привлекательны. Простота и универсальность - отличительные черты устного опроса - дают ему некоторые преимущества, но он выборочен и не дает возможность выслушать всех студентов, а в случае слабых ответов полностью убивает интерес сильных студентов к теме обсуждения. Более совершенны в этом отношении экзамены. На первый взгляд они производит впечатление достаточно честного творческого соревнования, но из-за ряда причин и условий итог их не удовлетворяет какую-либо из сторон. И общеизвестно, что на качество учебного процесса прямым образом влияет внедрение новых элементов в преподавании, приводящих к разнообразию, активизирующих учебный процесс и повышающих мотивация к обучению. Выигрывает тот преподаватель, который в процессе обучения использует тестовый контроль. Тест является главным средством педагогического измерения. Под тестом обычно понимается достаточно краткое, строго стандартизированное испытание, которое позволяет количественно выразить результат и, следовательно, дает возможность осуществить его математическую обработку.

Как и любую форму контроля, тест, можно охарактеризовать по тому или иному критерию, характеризующему его с определённой стороны.

Различны методы оценки критериев теста. Классическая теория тестов опирается на теорию корреляции, главными параметрами которой являются надежность и валидность. Надежность - устойчивость результатов теста, получаемых при его применении. Валидность - пригодность теста, т. е. способность качественно измерять то, для чего он создан по замыслу авторов (своеобразный КПД теста).

Существует строгая научная теория тестов, позволяющая методологически и методически обосновать их применение и обработку результатов тестирования. Научно обоснованный тест – это метод, соответствующий установленным стандартам надежности и валидности (величина от 0 до 1; чем ближе к 1, тем качественнее тест)[1]

Стандартизированные тесты – это тесты, измеряющие уровень знаний, умений и навыков учащегося в различных предметных областях путем сопоставления его тестовых показателей с показателями учащихся определенной обобщенной контрольной группы. Такие тесты проходят этап стандартизации, в ходе которого осуществляется не только экспертный анализ содержания тестовых заданий, но и с применением методов математической статистики определяются качественные характеристики тестов, определяется сложность каждого задания, строится обоснованная тестовая шкала, позволяющая интерпретировать результаты тестирования. Разработка стандартизированного теста – длительный и сложный процесс. К его реализации привлекаются, как правило, не только специалисты-предметники, но и профессионалы в области тестирования, психологи, программисты и пр. Так, национальные тесты, применяемые в рамках всей Республики Беларусь, должны быть стандартизированы. Например, этому требованию должны обязательно соответствовать тесты, применяемые при централизированном тестировании.

Наряду со стандартизированными, в педагогике выделяют нестандартизированные тесты. Эти тесты создаются преподавателями-практиками и используются для организации учебного процесса. Сфера применения нестрандартизированных тестов ограничена. Результаты, полученные с их помощью, малонадежны и требуют подтвержденя. Поэтому специалисты-тестологи не считают возможным рассматривать такого рода тесты как вид тестов. По их мнению, стандартизированность – необходимая особенность, определяющая сущность теста как диагностической методики. Это его характеристика и инструмент, не обладающий этой характеристикой, не может называться тестом.

По мнению Аванесова В.С., задания теста представляют собой не вопросы и не задачи, и не загадки, с которыми их часто путают, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания. Это утверждение может показаться спорным особенно тем, кто слишком привык к основной в нашем педагогическом мышлении, вопросной форме.

Тесты по классификации можно разделить как ориентированные на норму, т. е. рейтинг по сильным - слабым студентам, и тесты, ориентированные на критерий, т. е. сортировка по трудным - легким заданиям. В зависимости от того, какую цель преследует тест, по характеру действий его можно характеризовать как вербальный (выраженный словами) и невербальные (представленный образами). Тестовый контроль можно проводить как по одной дисциплине, так и по нескольким. В этом проявляется такая характеристика теста, как его гомогенность или гетерогенность. Тест позволяет контролировать знания на всех этапах образовательного процесса: начало обучения, прогресс и трудности в процессе обучения, достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения тесты.

Выделяется несколько критериев оценки теста. Оценка тестовых заданий может быть политамическая (если из 10 элементов (альтернатив) задания одно сделано неправильно, то сумма баллов равна 9); дихотомическая (сделал все элементы задания – 1 балл, не сделал - 0 баллов). Тест даёт такую возможность как составление многоуровневых заданий, которые позволяют более глубоко оценить знания тестируемого, проверить его ориентацию в предложенном материале. В этом случае в критерии оценки теста вводиться понятие весового коэффициента. Одноуровневые задания имеют весовой коэффициент, равным единице, многоуровневые же - от 0 до N.

Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее тест, тем он надежнее. Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание. Практически длину теста следует определять опытным путем, с учетом валидности, времени тестирования и др. на основании. Оптимальная длина теста, как показала теория и практика – 30-60 заданий.

Каждый тест имеет оптимальное время тестирования – время от начала процедуры тестирования до момента наступления утомления. Утомление – естественный для человека процесс, и нет ничего удивительного в том, что результаты теста оставляют желать лучшего, если тест слишком велик. Разброс по характеристикам порога наступления утомления довольно большой – от 20 до 100 минут в одной возрастной группе Причины утомления разные .Это может быть возраст, мотивация, монотонность выполняемой работы, индивидуальные особенности испытуемых. Следовательно, мы должны поддерживать мотивацию на нужном уровне, максимально разнообразить работу за счет введения в оборот всех форм заданий и невербальной поддержки, а также адаптировать программный продукт согласно индивидуальным особенностям испытуемых. Среднее ориентировочное время до момента утомления для студентов – 50 - 80 минут (максимальная продолжительность). А по минимальной зависит от форм, количества и трудности заданий, элементов в задании. Например, для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки должны быть уточнены.

Соотношение форм заданий в тесте должно чётко соответствовать тем характеристикам, ради которых тест составлялся. Выбор формы тестового задания зависит от содержания курса, цели создания теста, умения разработчика. К примеру, если в тесте используется 60 заданий, рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 на соотношение и последовательность, остальные 30 заданий целесообразнее давать в закрытой форме (в процентном отношении это 17:17:17:50 )[2]

По критерию содержания можно выделить три вида педагогических тестов:

Гомогенный тест измеряет знание по одной учебной дисциплине. Задания такого теста охватывают содержание только этой дисциплины;

Гетерогенный включает в себя несколько гомогенных тестов (иногда говорят шкал). Содержание гетерогенного теста охватывает содержание нескольких дисциплин;

Интегративный тест состоит из таких заданий, что ответы на каждое из них требует знания нескольких учебных дисциплин.

В процессе итоговой аттестации выпускников образовательных учреждений лучше было бы использовать интегративные тесты. Но таких тестов пока нет, либо о них нет информации.

Для достижения качества педагогических измерений всю работу по созданию педагогических тестов желательно вести в три этапа. Предполагается, что, приступая к структурированию учебного материала по конкретной дисциплине, преподаватель-разработчик теста проводит исследование, связанное с поиском ответа на вопрос «Что такое знание предмета?». Известный ученый–тестолог В. С. Аванесов при ответе на этот вопрос рекомендует давать такие определения, которые были бы достаточно общими, но в то же время позволяли бы наметить переход к другим, частным понятиям, которые, взятые в совокупности, раскрывали бы содержание данного исходного понятия. Далее, частные понятия, называемые иногда понятийными индикаторами, сами в свою очередь раскрываются через совокупность так называемых эмпирических индикаторов. В качестве последних обычно выступают тестовые задания

Первым этапом является разработка заданий в тестовой форме и определения целей его применения. Это один из самых сложных этапов в создании теста. Здесь требуется подготовка в области преподаваемого предмета, знание тестовых форм, владение логикой и умение трансформировать фрагменты содержания учебной дисциплины в содержание заданий. Одна из классификаций тестов разделяет их на тесты, ориентированные на статистические нормы (нормативно-ориентированные тесты), и тесты, ориентированные на критерии достижения учебных целей (критериально-ориентированные тесты). Нормативно-ориертированные тесты специально составлены, чтобы получить возможность сравнивать испытуемых в той области содержания, для которой тест предназначен.

Критериально-ориентированные тесты составлены для того, чтобы аттестовать результаты испытуемого в соответствии с областью определения знаний, умений, навыков. Результаты тестирования могут быть использованы для:

· оценки итогового уровня обученности испытуемого;

· соответствия этого уровня государственным образовательным стандартам или программе обучения;

· отбора студентов, достигших необходимого уровня обученности;

· профессиональной компетенции.

Следует сказать, что в зарубежной литературе спорными считаются вышеназванные понятия: нормативно-ориентированный и критериально-ориентированный тест. Там они относятся не к тестам, а к способу интерпретации результатов педагогического теста.

На втором этапе разрабатываются тестовые задания. Сами задания, входящие в тест, могут быть разнообразны как по форме предъявления, так и по содержанию.

Основной частью теста, его структурным элементом является тестовое задание. Тестовые задания отбирают из подходящих заданий в тестовой форме. Тестовые задания включают в себя:

а) констатирующую часть, описывающую ситуацию, которая не требует от тестируемого каких-либо активных действий;

б) процедурную часть, содержащую предложения обучаемому выполнить какие-либо конкретные действия – выбрать правильный элемент из предложенного набора, установить соответствие или правильную последовательность, т.е. от тестируемого требуется произвести активные действия посредством составления и ввода ответа;

в) элементы самого выбора – варианты для правильных ответов. Все тесты можно разделить на две большие группы: тесты стандартизированные и нестандартизированные.

Вообще говоря, существуют различные подходы к классификации тестовых заданий. Наиболее распространенным является следующее деление тестовых заданий.

Задания закрытые (с множественным выбором), в которых тестируемый выбирает правильный ответ из данного набора ответов, т.е. выбор ответа из нескольких предложенных вариантов. Вообще, закрытое тестовое задание с выбором ответа считается «хорошо работающим», если знающие учебный материал респонденты выполняют его правильно, а незнающие выбирают любой из ответов с одинаковой вероятностью. Задания открытые (задания на дополнение), требующие от тестируемого самостоятельно сформулировать ответ. В заданиях открытой формы готовые ответы не даются, их необходимо получить. При ответе на открытое задание респондент дописывает пропущенное слово, формулу или число на месте прочерка или в специально отведенном месте на бланке ответов.

Задания на установление соответствия (с множественным выбором), выполнение которых связано с выявлением соответствия между элементами двух множеств. В отличие от распространенной в России на Западе вопросно-ответной формы заданий, в качестве новой основы используется логика высказываний. Преимущества этой основы вытекают из отличия высказываний от вопросов: истинность или ложность высказывания легко определяется по логическим правилам, в то время как вопросы сами по себе ни истинны, ни ложны. Для успешной деятельности на втором этапе от разработчиков потребуется, дополнительно, некоторая подготовка в области применения статистических методов, обработки и интерпретации данных.

На третьем этапе отбираются задания и создают тесты, повышают качество и эффективность теста. Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой. Путь к достижению этого идеала лежит через трудности создания качественных тестов. Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов – их эффективность, проистекающая из теоретической и эмпирической обоснованности.

Главная задача третьего этапа разработки теста – это проверка качества и эффективности каждого задания. Подготовленные задачи необходимо проверить на объективность и корректность их формулировки. Задача является корректно сформулированной, а вопрос – объективным в том случае, если мнения ряда экспертов об их назначении, о правильности формулировки и пригодности вариантов ответов совпадают между собой. Экспертам необходимо оценить по трех- или пятибалльной шкале каждую задачу с точки зрения соответствия целям тестирования (отвечает – частично отвечает – не отвечает), однозначности формулировки (однозначна, не совсем однозначна, неоднозначна), и пригодности вариантов ответа (подходят, частично подходят, не подходят).

Создавая тест, разработчик обращает внимание на трудность отдельных тестовых заданий. В тесте должны быть представлены задания различного уровня сложности. Это соответствует требованиям действующей в настоящее время десятибалльной системы оценивания знаний, умений и навыков учащихся. Основным показателем трудности задач является индекс трудности, который рассчитывается по следующей формуле:

n

U = 100(1 - – ),

N

где U – индекс трудности в процентах; n – число испытуемых, правильно решивших задачу; N – общее число испытуемых. Задания, которые имеют значения показателя трудности больше 80 или меньше 20, как правило, в тест не включаются. Логика этого исключения достаточна проста – задания, с которыми справляются все или не справляется никто, являются низкоинформативными. Вообще проблема трудности заданий теста – одна из ключевых в дидактическом тестировании и требует исследования и анализа получаемых данных.

Недоверие к тестовому контролю знаний у студентов у преподавателей вызывает, прежде всего, возможность угадывания правильного ответа. Воспользуемся математическими подсчетами Хабулашвили и докажем возможность угадывания ответа на тестовое задание с разным количеством вариантов ответа. При вопросе с двумя ответами, вероятность угадывания правильного ответа составит 0,5, вероятность ошибки тоже 0,5. При трех ответах 0,33 и 0,67. При четырех –0,25 и 0,75, при пяти -- 0,20 и 0,80, шести - 0,17 и 0,83 и т.д.

Если при увеличении количества ответов с двух до трех вероятность угадывания правильного ответа снижается на 0,17, то при увеличении количества ответов с 5 до 6 снижение лишь на 0,03. Дальнейшее увеличение количества ответов еще более незначительно снижает разницу в вероятности угадывания правильного ответа и, видимо, нецелесообразно. А если еще учесть, что на чтение и обдумывание каждого ответа учащемуся необходимо определенное время, то можно утверждать, что должна быть какая-то оптимальная величина количества ответов, которые следует использовать.

Допустим у студента тестовое задание с 5-10 вопросами. При пяти вопросах студент, не знающий материала, может угадать ответ на один вопрос (точнее 1,25, так как 0,25×5=1,25), при 10 –2 ответа (точнее 2,5). И если оценочный балл равен 1, при 5 вопросах и 0,5, при 10, то естественно опрашиваемый получит неудовлетворительную оценку. Что касается недостатков, то, если тест применяется при контроле, но не при обучении, их можно обойти с некоторыми оговорками. Так, одной из форм преодоления недостатков является компьютерная генерация заданий. Например, если нужно проверить умение решать дифференциальное уравнение, то, закладывая в компьютер пределы и шаг изменения значений параметра, можно получить одно и тоже уравнение с различными значениями параметра, задаваемыми в случайном порядке. При этом студенты решают однотипную задачу, но с разными значениями параметра и, соответственно, с разными ответами, что одновременно устраняет возможность списывания, подсказки и т.п. нарушений. Но такие задания возможны только по математике, физике, химии, экономике, но никак не по социально-гуманитарным дисциплинам.

Понятно, что тест является не единственной формой отображения содержания учебных дисциплин. Он является только одним из наиболее технологичных методов проведения контроля. Педагогические измерения проводятся посредством различных шкал, рейтинга, мониторинга. Педагогические или как их еще называют, дидактические тесты или тесты учебных достижений, предназначены для педагогического контроля. Их цель – объективная оценка объема и структуры знаний студентов. Таким образом, объектом измерения являются конкретные носители интересующих свойств – студенты и другие испытуемые. Получаемые при измерении числа позволяют глубже проникнуть в суть изучаемых явлений, что особенно важно для научно-обоснованной постановки тестового контроля. Предметом педагогических измерений часто бывает подготовленность испытуемых, которая представляет собой единство знаний, умений, навыков, представлений. Основной предмет педагогических измерений – разработка качественных тестов для измерения уровня подготовленности учащихся. Такие тесты используются не только для измерения уровня подготовленности, но и во всех современных образовательных технологиях.

СУЩНОСТЬ И СОДЕРЖАНИЕ ПРОЦЕССА ВОСПИТАНИЯ

Вопросы: