Результатов исследования

Критерии достоверности результатов исследования. Когда определена цель исследования, т.е. когда становится ясным, какого рода результаты могут быть получены в дан-ном исследовании и какова их возможная структура, исс-ледователь начинает подбирать, определять (намечать) критерии оценки достоверности будущих результатов. Критерий оценки — самый сложный и острый вопрос для любого педагогического исследования — по каким крите- риям производится оценка педагогических инноваций или педагогических теорий. Критерии — важнейшая проблема вообще для любой деятельности. Из-за ошибочного выбо- ра критериев неоднократно происходили крушения целых социальных институтов и экономических систем.

Поэтому, приступая к исследованию, необходимо са- мым серьезным образом подойти к подбору критериев оценки достоверности его результатов. Следует заметить, что критерии оценки результатов теоретического исследо-вания, в общем-то, вполне однозначны, они выработаны многолетним опытом исследований.

Критерии же оценки достоверности результатов эмпи-рического исследования индивидуальны для каждого кон-кретного исследования, поскольку зависят целиком от его содержания. Хотя, конечно, какие-то общие рекоменда- ции в отношении их выбора существуют. Они будут при-ведены ниже.

Критерии оценки теоретического исследования. Результат теоретического исследования — теория, концеп- ция или какие-либо теоретические построения — конструк-ции должны отвечать следующим принципам-критериям, сформулированным в [102] для любых отраслей научного знания: 1) предметностью; 2) полнотой; 3) непротиворе-чивостью; 4) интерпретируемостью; 5) проверяемостью; 6) достоверностью.

Предметность как признак научной теории означает, что вся совокупность понятий и утверждений научной те- ории должна относиться к одной и той же предметной об-ласти. Признак предметности не исключает того, что для объяснения одних и тех же явлений, процессов могут су-ществовать несколько теорий (что соответствует принципу дополнительности — см. выше).

Полнота как признак теории означает, что эта теория должна охватывать (описывать) все явления, процессы из ее предметной области.

Непротиворечивость как признак теории означает, что все постулаты, идеи, принципы, модели, условия и другие структурные элементы данной теории логически не долж- ны противоречить друг другу*. Как известно, обнаружение противоречий в научных теориях и их разрешение высту- пает в качестве стимула их усовершенствования, развития или построения новых теорий.

Интерпретируемость как признак научной теории (в первую очередь это относиться к формальным теориям) означает, что теория должна обладать эмпирическим со-держанием, должна предусматривать содержательную ин-терпретацию формальных результатов — без эмпириче- ской интерпретации нет теории, поскольку в противном случае она превращается в простой набор знаков, формул.

Признак проверяемости научной теории характеризует ее с точки зрения содержательной истинности и способно- сти ее к развитию, усовершенствованию. Проверяемость выступает как установление соответствия содержания по-ложений теории свойствам, отношениям реальных объек- тов. Во многих случаях решающим способом такого установления является эксперимент.

Признак достоверности научной теории означает, что в научной теории истинность ее основных положений достоверно установлена. В этом отношении научная теория отличается от научной гипотезы, где истина устанавливается с той или иной степенью достоверности.

К сожалению, значительная часть, если не большинство научных работников в области педагогики на всех уровнях научной иерархии даже и не подозревают о существовании этих признаков и требований, предъявляемых к научной теории, концепции. В публикациях вводятся многочислен- ные принципы, условия, технологии и т.д. и т.п. в виде совершенно произвольных перечислизмов: целенаправлен- ность, фундаментальность, технологичность, динамичность, открытость и т.д. и т.п. Ведь на любом научном заседании, любой конференции и т.п. большинство докладчиков очень просто можно «посадить в лужу», задав им простой невинный вопрос: докажите полноту Вашей концепции. Или: докажите ее непротиворечивость. И так далее.

Естественно, вышеприведенные признаки — критерии научной теории, концепции являются первоначальны- ми. Они позволяют предварительно оценить результаты теоретического исследования по его завершении. Оконча-тельным критерием достоверности научной теории явля- ется ее реализация в массовой практике. Как говорится, ничего нет практичнее, чем хорошая теория. Но для про- явления этого критерия требуется время. И зачастую до-вольно длительное.

Критерии достоверности результатовэмпирического исследования. Критерии достоверности результатов эмпи-рического исследования должны удовлетворять, в частно- сти, следующим признакам:

1. Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оцени- вать исследуемый признак однозначно, не допускать спор- ных оценок разными людьми.

2. Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и ут-верждением педагогики развития личности это требование тем более актуально, что мы весьма посредственно умеем оценивать уровень знаний и умений учащихся, но практи-чески совершенно не умеем оценивать уровень развития у них тех или иных способностей, их личностных качеств, а часто даже и не знаем, какие способности, качества надо оценивать. Особенно остро требование адекватности кри-териев стоит перед исследователями, занимающимися про-блемами воспитания молодежи.

3. Критерии должны быть нейтральными по отношению к исследуемым явлением. Так, если в ходе эксперимента в одних классах, допустим, изучается какая-то новая тема, а в других — нет, то в качестве критерия сравнения нельзя брать знание учащимися материала этой темы.

Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса. Для педагогики это требование особенно актуально, поскольку любая педагогическая, любая учебная деятельность — чрезвычайно сложный многоплановый процесс, который, как правило, нельзя оценить каким-то одним показателем. Для многих педагогических исследований этот момент оставляет желать лучшего. Так, в связи с введением аттестации учителей некоторые специалисты предлагают для учителей математики, физики разработать систему тестов, позволяющих оценивать их умение решать математические и физические задачи — это и будет якобы критерием ква-лификации учителя. Наверное, это должен быть лишь один из многих критериев, поскольку, помимо профессионально-математической подготовки, подготовки по физике учитель в том числе должен еще владеть и педагогическим, методи-ческим мастерством, что в данном случае остается без вни-мания.*

Рассмотрим теперь некоторые типичные ошибки в вы-боре критериев оценки достоверности результатов педаго-гических исследований. Характерно, что грамотно и отно-сительно строго построенные критерии в разных работах весьма разнообразны, исследователи нередко проявляют большую изобретательность в этом деле. В то же время во многих работах встречаются практически одни и те же не-достатки в выборе критериев оценки.

В частности, вполне очевидно, что оценить уровень сфор-мированности тех или иных знаний, умений, каких-то ка- честв личности учащихся, студентов, слушателей можно лишь в процессе каких-либо определенных действий, совер-шаемых этими учащимися, студентами, слушателями, когда они могут активно проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий», как резуль-таты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше — эстрадная или клас-сическая?» (изучалось воспитание эстетического вкуса у студентов) вряд ли может о чем-то говорить. Ведь студенты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» — ответы школьников на вопрос «Понравились ли занятия по основам информатики и вычислительной тех-ники?». Ведь, во-первых, школьники опять же могут «подыграть» спрашивающему, а во-вторых, наверное, не всегда учение может и должно нравиться — так же, как горькое, но необходимое лекарство для больного.

Еще один типичный случай — в одной работе изучалась подготовка студентов педагогического вуза к ведению профориентационной работы со школьниками — уровень готовности студентов к этой работе оценивался препода-вателями кафедры педагогики по итогам теоретических за-нятий. Это оценка чисто умозрительная. Автор мог бы, на-верное, попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школе, которая предполагала бы какие-то их практиче- ские действия в этом направлении.

Или же «критерий» — ответ на вопрос, нередко обраща-емый к учителям — участникам опытно-эксперименталь- ной работы: «Надо ли применять такие занятия?» Положи-тельный ответ на него позволяет, возможно, судить о го-товности тех или иных разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать ос-новным критерием достоверности результатов научного исследования.

Наиболее часто встречаются случаи, когда авторы в ка-честве критерия выделяют определенные уровни сформи-рованности каких-то качеств личности учащихся (напри- мер, моральной ответственности, эстетической культуры, гуманистических отношений и т.п.), или уровни овладения какой-либо деятельностью (профессионального мастерст- ва, управления педагогическим коллективом и т.д.). Как правило, выделяется три таких уровня: низкий, средний и высокий. Или выделяется большее число градаций, допу- стим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явле- ний, процессов выделение каких-то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что, выделяя чисто умозрительно, субъективно подобным об- разом уровни: низкий, средний, высокий, — эксперимен- татор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом, ни о какой объ-ективности критерия и достоверности результатов здесь речь идти не может.

Другое дело, если вводятся уровни качественно, прин-ципиально отличные один от другого. Например, для оцен- ки овладения учащимися знаниями нередко используются 4 уровня, предложенные В.П. Беспалько [12]: I уровень — знания-знакомства — узнавание объектов, явлений, про-цессов, свойств при повторном восприятии ранее усвоен- ной информации; II уровень — знания-копии — предпо- лагает репродуктивное воспроизведение и применение полученной информации; III уровень предполагает про-дуктивные действия по применению полученной инфор- мации в процессе самостоятельной деятельности; IV уро- вень — знания-трансформации — предполагает возмож- ность творческого применения полученной информации посредством самостоятельного проектирования собствен- ной деятельности.

При грамотном построении оценочных процедур в этом случае знания каждого учащегося вполне однозначно могут быть отнесены к тому или иному определенному уровню.

Критерии оценки педагогических явлений могут быть качественными и количественными. Они, естественно, до-полняют друг друга. Исследователь, как правило, не огра-ничивается только качественными критериями и стремит- ся использовать в целях объективности получаемых ре-зультатов какие-то количественные критерии оценки, используя тем самым определенные величины.

О величинах и шкалах их измерения стоит поговорить особо. Понятие «величина» определяется следующим об-разом: величина есть мера некоторого множества, от-носительно элементов которого имеют смысл утверж- дения — больше, меньше или равно. Естественно, не на всяких множествах может быть задана величина, мера. Например, утверждение, что ученик Иванов равен ученице Петровой (не путать с равноправием!) смысла не имеет, так как каждый человек — неповторимая личность. Но, например, утверждение, что рост, вес ученика Иванова больше (меньше, равен) роста, веса ученицы Петровой, имеет уже вполне определенный смысл; рост и вес здесь выступают величинами.

Величина задается той или иной шкалой измерений, оценки. Шкала измерения — это числовая система, в ко- торой отношения между различными свойствами изучае- мых явлений, процессов переведены в свойства того или иного числового ряда.

Шкалы измерений делятся на 4 основных класса [145]:

— шкала отношений — самая мощная шкала. Она позволяет оценивать, во сколько раз один измеряемый объ- ект больше (меньше) другого объекта, принимаемого за эталон, единицу. Одновременно здесь возможно и сравне- ние: на сколько один объект больше (меньше) другого. Шкалами отношений измеряются почти все физические величины — время, линейные размеры, площади, объемы, сила тока, мощность и т.д. В педагогических измерениях шкала отношений будет иметь место, например, когда из-меряется время выполнения того или иного задания, коли-чество ошибок или количество правильно решенных задач. В последнем случае, естественно, можно говорить о том, что ученик Иванов правильно решил, к примеру, в два раза больше задач, чем ученик Петров, но утверждение, что знания ученика Иванова в два раза больше знаний ученика Петрова, будет неправомерным.

В отдельных случаях, в том числе в исследованиях по трудовому и профессиональному обучению, применяются оценки и в мерах физических величин — величина допу-скаемых ошибок в миллиметрах при, допустим, токарной обработке деталей, величина силы нажатия учащимся на слесарный инструмент в ньютонах (килограммах), вели- чина электрической активности мышц в милливольтах и т.п. На шкалы отношений распространяется весь основной аппарат математической статистики. Здесь не возникает никаких проблем с обоснованием достоверности различий между контрольными и экспериментальными группами, классами;

— шкала интервалов — довольно редко применяюща-яся и менее мощная. Примером ее является шкала темпе- ратур по Цельсию, Реомюру или Фаренгейту. Шкала Цельсия, как известно, была установлена следующим об-разом: за ноль была принята точка замерзания воды, за 100^о — точка ее кипения, и, соответственно, интервал тем-ператур между замерзанием и кипением воды поделен на 100 равных частей — градусов. Здесь уже утверждение, что температура в 30^оС в три раза больше, чем 10^оС, будет неверным. Справедливо говорить лишь об интервалах тем-ператур — температура в 30^оС на 20^оС больше, чем тем-пература в 10^оС. В педагогических исследованиях, в част-ности, к таким шкалам интервалов можно условно отнести дихотомическую шкалу, которая содержит только два зна-чения: да — нет, лучше — хуже, мальчик — девочка и т.д. В такой шкале имеется только один интервал деления (0—1 или 1—2, плюс—минус и т.д.), поэтому ее можно рассмат-ривать как предельный случай интервальной равномерной шкалы, просто «равномерность» не с чем сравнивать;

— шкала порядка или шкала рангов — самая слабая шкала — шкала, относительно значений которой уже нель- зя говорить ни о том, во сколько раз измеряемая величина одного объекта больше (меньше) другого, ни на сколько она больше (меньше). Такая шкала только упорядочивает расположение объектов, приписывая им те или иные ранги. Например, так построена шкала твердости минералов Мо- оса: взят набор 10 эталонных минералов для определения относительной твердости методом царапания. За 1 принят тальк, за 2 — гипс, за 3 — кальцит и так далее до 10 — алмаз. Любому минералу соответственно однозначно может быть приписана определенная твердость. Если исследуемый ми-нерал, допустим, царапает кварц (7), но не царапает топаз (8) — его твердость будет равна 7. Аналогично построены шкалы силы ветра Бофорта и землетрясений Рихтера. Шкалы порядка широко используются в педагогике, пси-хологии, медицине и других науках, не столь «точных», как, скажем, физика и химия. В частности, повсеместно распространенная шкала школьных отметок в баллах (пя-тибалльная, двенадцатибалльная и т.д.) условно может быть отнесена к шкале порядка. Именно условно, посколь- ку оценка знаний, умений в баллах обладает определенной субъективностью. Если в шкале Мооса тому или иному ми-нералу может быть однозначно приписано строго опреде-ленное значение твердости, то оценка знаний одного и того же учащегося у разных учителей (экзаменаторов) может быть разной. Разная «цена» отметок будет и в разных шко- лах, в разных регионах — в зависимости от уровня предъ-являемых требований и, соответственно, возможностей учителей школы, контингента учащихся и т.п. В школах некоторых стран применяется и другая оценка успеваемо- сти учащихся (как итоговая): порядковое место, которое данный ученик занимает в данном классе (выпуске). Это тоже шкала порядка;

— шкала наименований. Она фактически уже не связа- на с понятием «величина» и используется только с целью отличить один объект от другого: номера автомобилей, те-лефонов, применение цифр или букв алфавита для пере-числения пунктов в законах, положениях и т.п.

Теперь, когда мы совершили небольшой экскурс в тео-рию измерений, рассмотрим вопрос о применении шкал измерений в педагогических исследованиях.

Наиболее распространенная мера педагогических оце- нок шкала оценки знаний и умений учащихся в баллах. Школьные оценки (отметки) — удобный аппарат для практики обучения, который выполняет не только оцени-вающие, но и определенные воспитательные функции сти-мулирования одних учащихся, определенного «наказа- ния» других и т.д.

В педагогических исследованиях используются также и другие шкалы балльных оценок. Например, выделив ка- кие-либо уровни сформированности у учащихся опреде-ленных качеств личности или овладения той или иной де-ятельностью, исследователь приписывает этим уровням соответствующие значения баллов: «1», «2», «3» и т.д., или «0», «1», «2»..., что принципиально безразлично. Но ис-пользование балльной шкалы оценок как критерия оценки для педагогических исследований нежелательно, хотя и не исключено. И дело здесь не только в известной необъек-тивности отметок, о чем уже говорилось, но и в свойствах самой шкалы порядка. В этой шкале ничего нельзя сказать о равномерности или неравномерности интервалов между соседними значениями оценок. Мы не вправе, к примеру, сказать о том, что знания учащегося, оцененные на «5», настолько же отличаются от знаний, оцененных на «4», как знания, оцененные на «4», отличаются от знаний, оценен- ных на «3». С тем же успехом можно было бы приписывать баллам значения не «1», «2», «3», «4», «5», а, допустим «1», «10», «100», «1000», «10 000». И поэтому совершенно не-правильно использование так широко применяемой в педа-гогических исследованиях величины среднего балла (по классу, группе учащихся и т.д.), поскольку усреднение предполагает сложение значений величины, а операция суммы на таком множестве (шкале) не может быть корректно (грамот-но) определена. Соответственно не могут быть определены и все остальные арифметические и алгебраические действия.

Поэтому, например, утверждение о том, что знания уча-щихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных, будет неправомочным, некорректным. Тем более некорректно утверждение, встреченное автором в одной из диссертаций, что эффективность экспериментальной методики в 2,6 раза выше контрольной (была произведена оценка по 10-балльной шкале).

Чтобы продемонстрировать, что может получиться с использованием «среднего» балла, приведем такой гипотети-ческий пример. Пусть исследовалась сравнительная эф-фективность двух каких-либо методов обучения, А и В. В обеих группах учащихся — контрольной и эксперимен-тальной — было по 80 человек. Оценки проводились по двум шкалам — пятибалльной и десятибалльной (ведь ко-личество баллов в шкале устанавливается произвольно). При этом будем предполагать, что оценки по десятибалль- ной шкале могут быть пересчитаны в оценки по шкале пя-тибалльной: оценки «10» и «9» будут отнесены к «5», «8» и «7» — к «4» и так далее. Пусть оценки по десятибалльной шкале распределились следующим образом (в числителе будет указано количество учащихся, получивших соответ-ствующую оценку в группе, обучавшейся методом А, в зна-менателе — методом В:

20 0 30 0 20 0 10

«10» ¾ ; «9» ¾ ; «8» ¾ ; «7» ¾ ; «6» ¾ ; «5» ¾ ; «4» ¾ ;

0 30 0 30 0 30 0

оценки «3», «2», «1» не получил никто. Соответственно «средний балл» составит 7,50 (метод А) и 7,25 (метод В). Казалось бы, можно сделать вывод, что метод А лучше ме-тода В. Соответственно оценки по пятибалльной шкале, в

20 30 20 10 0

том же порядке: «5» ¾ ; «4» ¾ ; «3» ¾ ; «2» ¾ ; «1» ¾ .

30 30 20 0 0

«Средний балл» в этом случае составит 3,750 в группе, обучавшейся методом А, и 4,125 в группе, обучавшейся методом В. Таким образом мы получили противополож- ный «результат» — метод В лучше метода А.

Заметим, что этот «парадокс» никак не связан со стати-стической достоверностью различий — он будет иметь ме- сто и при очень больших выборках данных (числе учащих- ся). Просто это свойство слабой шкалы измерений. Ска- занное будет относиться и к любым другим критериям оценки, использующим шкалу порядка.

Шкалу балльных оценок так же, как и другие шкалы порядка, можно использовать в педагогических исследо-ваниях, если исследователь убежден в объективности вы-ставляемых оценок. Но в этом случае необходимо исполь-зовать специальные непараметрические критерии разли- чий, например критерий знаков (о статистических критериях достоверности различий мы поговорим немного ниже.) Но эти критерии слабые и для установления досто-верных различий необходимо получение значительно больших массивов данных.

По этим соображениям целесообразно использовать та-кие способы оценки, которые позволяют применить шкалу отношений или шкалу интервалов, а не шкалу порядка. Например, использовать тесты — серии коротко и точно сформулированных вопросов, заданий, на которые уча- щийся должен дать краткие и однозначные ответы, в пра-вильности (или неправильности) которых нельзя сомне- ваться. Точно так же могут быть построены письменные контрольные работы, результаты обработки анкет (про- цент учащихся, давших положительные ответы на тот или иной вопрос) и т.д.

Необходимо сделать еще одно предупреждение об использовании дихотомической шкалы (т.е. шкалы, имею- щей всего 2 значения: да — нет, 1—0 и т.д.), а также любых дискретных шкал с ограниченным числом градаций (три-хотомических и т.д.). Их можно успешно использовать для установления различий в результатах каких-либо педаго-гических воздействий в диагностических, констатирую- щих, «срезовых» целях. Но если исследуется динамика раз- вития какого-то педагогического процесса, например про-цесса становления у учащихся того или иного навыка, то такие шкалы в этом случае принципиально не годятся, так как они существенно искажают динамику процесса. К при-меру, на так называемых кривых обучения — графиках, показывающих изменение того или иного параметра в за-висимости от времени обучения, появляются своеобраз- ные ступени, «этапы», которых нет в действительности, при использовании шкалы отношений, выраженной в мерах физических величин (время и т.п.) см., например: [8]. По крайней мере, для изучения динамики развития каких- то педагогических процессов во времени необходимо ис-пользовать дискретные шкалы измерения с достаточно большим числом градаций.

Формирование критериев достоверности будущих ре-зультатов исследования завершается концептуальная ста- дия его проектирования. Следующая стадия проектирова- ния научного исследования — построение гипотезы.