Глава 3. ФОРМУЛИРОВКА ВОПРОСОВ И КАЧЕСТВО АНКЕТЫ
Для потребителя социологической информации, например местных органов власти, методика не имеет никакого значения. Ее качество и эффективность важны для разработчика социологического инструмента, который, применив этот инструмент в «поле», обязан представить заказчику истинные данные. Таким образом, правильная формулировка анкетных вопросов, их распределение на анкетном листе и редактирование — дела сугубо профессиональные. Можно сказать, что речь здесь идет о научной «кухне» эмпирического исследования.
3.1. Основные правила формулировки вопросов1
В литературе высказывается немало советов, правил и требований к разработке вопросов анкеты. Принципы логического анализа вопросов анкеты, предложенные, в частности, О.М. Масло-вой, позволяют отбраковать, исключить грубые логические ошибки и оставить доброкачественные вопросы. Ведь если социолог допускает ошибки на этапе составления анкеты, то они добавляются к тем неизбежным ошибкам, которые сопровождают процессы формирования выборки, операционализации понятий, сбора и анализа данных.
Хотя составление анкет до сих пор является в большей степени искусством, чем наукой, можно сформулировать ряд простых общих правил, следование которым позволит вам быть уверенными в том, что анкета будет понятна участникам опросов. Стоит, на наш взгляд, прислушаться к тем советам, которые дает опыт-338
ный маркетолог, руководитель отдела Института маркетинговых исследований, ГфК МР А. Кутлалиев2:
♦ вопросы в анкете должны быть ясными;
♦ форма ответов, которые предполагает вопрос, должна быть удобной для записи;
♦ в анкете необходим правильный порядок размещения вопросов;
♦ анкета должна быть организована так, чтобы с ней было удобно работать;
♦ всегда необходимо осуществлять «пилотаж» анкет, прежде чем будет начато основное исследование;
♦ вопрос должен задаваться только об одном предмете;
♦ вопрос должен быть коротким и несложным, поскольку длинные вопросы приводят к тому, что респондент не улавливает сути;
♦ вопросы должны вызывать правдивый и точный ответ. Обобщив многочисленную литературу, как отечественную, так
и зарубежную, а также собственный опыт полевой работы с анкетным инструментарием, сделаем следующие выводы, напрямую касающиеся искусства и науки составления анкетных вопросов.
1. Прежде всего вопросы должны быть недвусмысленными. Двусмысленный вопрос предполагает наличие у респондента не одного ответа на него, а больше. Двусмысленные вопросы — это, по сути, два вопроса в одном: «Согласны ли вы с утверждением, что зубная паста «Аквафреш» предпочтительнее по вкусу, чем «Пепсодент», и что фирме «Пепсодент» следует подумать о том, как улучшить вкус своей продукции?» Как ответить на него человеку, который убежден, что паста «Аквафреш» лучше «Пепсо-дента» по вкусу, но ему все равно, что именно следует предпринять фирме, выпускающей последнюю? И как намеревается исследователь интерпретировать ответ на такой вопрос? Ведь можно только гадать, собирался ли респондент отнести свой ответ к обоим компонентам, или какому-то компоненту было отдано преимущество перед другим. Вопрос должен быть только об одном предмете. Кроме того, нельзя втискивать два вопроса в один, как, например: «Что Вы думаете о телевидении и его влиянии на детей?»
Иногда, вопреки сознательным усилиям исследователей определить и пояснить понятия, в вопросы могут вкрасться слова с множественными значениями или интерпретациями. При-
мер двусмысленного вопроса: «Каков размер Вашего дохода?» Подразумевает ли этот вопрос доход всей семьи или только личный доход респондента (и за какой период)? Касается вопрос заработанного дохода (жалованье или заработная плата) или же исследователь проявляет интерес также к другим источникам — к дивидендам от акций и процентам от банковских вкладов и т.п.? Подобно этому, достаточно двусмысленно выглядит вопрос: «Предпочитаете вы автомобили марки А или марки В?» Должен ли респондент ответить нам, какую из марок он намерен реально приобрести или какую марку купил бы, если бы между ними не было разницы в цене? А ответ на вопрос: «Сколько вы покупаете хлеба в день?» — будет зависеть от того, как подумает респондент о поступающем ему хлебе — в виде количества буханок или же в сумме денежных затрат на соответствующую покупку.
Функцию «слов-ловушек» очень часто выполняет местоимение «Вы». Так, на вопрос анкетера «Сколько сахара вы купили за год?» может последовать встречный вопрос респондента: «Лично я или вся семья?» Другим примером ловушек являются слова типа «все», «какой», «никто», «только один», «каждый», «никогда», «всякий». Многие люди негативно реагируют на такого рода обобщающие слова. На вопрос: «На каком компьютере вы работаете?», можно получить такие ответы, как «на старом», «IBM PC», «на Интел инсайд», «Пентиум-два 266, ОЗУ 64 Мегабайт, HDD 4 Гига, 15-дюймовый монитор, звуковая карта Creative»... А можно получить встречный вопрос: «Дома или на работе?» К этому же разряду относится вопрос «Как вы относитесь к женщинам?». Один герой анекдотов ответил: «Я к ним не отношусь», и был совершенно прав3. И такие формулировки анкетных вопросов следует признать двусмысленными.
2. Каждый вопрос должен быть, насколько это возможно, коротким и простым. Старайтесь избегать усложненных, закрученных в спираль формулировок, таких, например: «Как Вы думаете, что бы Вы предпочли в том, что касается пенистости при стирке: низкую пенистость, которая покажет и низкую очищающую способность, но зато ее легко будет смыть, или сильную пену, которая покажет большую очищающую способность, но смыть которую будет труднее?» Оптимальная длина анкетного вопроса должна размещаться в пределах от 11 до 26 слов.
3. В формулировке вопросов следует использовать только те слова, которые заведомо хорошо известны респондентам. Исполь-340
зуйте те слова, которые известны членам данной выборки. Помните, что большая часть населения России имеет среднее, а не высшее образование. Не нужно использовать специальных и трудных для понимания большинством респондентом слов, таких, например, как: «Что Вы считаете более позитивным или более негативным фактором: хлорирование, фторирование или озонирование водоснабжения?» Следует вообще избегать технических терминов, сленга и особенно необычной лексики, поскольку их значения могут быть неправильно истолкованы респондентами. Подумайте над тем, как заменить такие слова на более простые и понятные всем, не искажая смысла.
4. В вопросах нужно избегать двойного отрицания. Прозрачность смысла в вопросе настолько важна, что необходимо предпринять все возможные усилия, чтобы эту ясность ничто не затуманивало, как в таком, к примеру, вопросе: «Вы бы скорее не стали пользоваться шампунем, который не рекомендован медиками?»
5. Еще один очень важный момент: следует всячески избегать предубежденности в формулировке вопросов. Нельзя использовать «пристрастные» вопросы, которые подсказывают определенный, заранее заданный ответ и могут подталкивать респондента к неточному ответу (нередко — именно к тому, который предпочитает получить сам исследователь). Тем самым заведомо создается систематическая ошибка или пристрастность ответов. Наводящий вопрос «Не кажется ли вам, что в нашем регионе имеет место топливно-энергетический кризис?» подразумевает, что думать иначе было бы необычно. Другие примеры предубежденности можно обнаружить в формулировке вопросов: «На самом ли деле реклама всегда заставляет Вас покупать тот или иной товар?»; «Согласны ли Вы с тем, что современная молодежь получила слишком много свободы?». Здесь, конечно, подсказка проступает даже слишком явно. Особую разновидность подсказки создает использование в вопросе слов, заведомо несущих в себе негативную окраску: «Не считаете ли Вы, что угроза распространения наркотиков требует ужесточения законодательства?»; «Что нам следует предпринять в связи с футбольным хулиганством"}'». Выделенные слова фактически указывают респонденту, как относится к обозначаемым понятиям сам исследователь, и тем самым невольно подталкивают отвечающего к желательному (для исследователя) ответу. К столь же предубежденному результату могут привести формулировки вопросов, содержащие такие речевые обороты: «Принято считать, что... А каково Ваше
мнение по этому поводу?» Необходимо учитывать эффект так называемой "спирали молчания"»4.
6. При составлении анкеты и формулировке вопросов нужно позаботиться о том, чтобы помочь респонденту полностью понять вопрос и выразить свое мнение. Вряд ли многие из опрашиваемых окажутся способными дать точный ответ на вопросы типа: «Какой вкус у шоколада этой марки?» Или: «Что вы, прежде всего, делаете, когда приходите домой?» Необходимо помочь респонденту, сопроводив вопрос перечнем всех (или максимально возможного числа) вариантов ответов.
7. Подумайте, не превышает ли заданный вопрос возможностей памяти респондента. Необходимо помочь респонденту вспомнить интересующие исследователя события. Вряд ли кто-то в состоянии точно ответить на вопрос: «Сколько конфет (в кг) Вы купили за последний год?» Исследователь мог бы в таком случае предложить разбивку по времени:
Сколько конфет(в кг) Вы покупали:
1. за последние 4 недели _____
2. за последние 1—3 мес. _____
3. за последние 3—6 мес. _____
Ученые давно заметили, что способность человека запоминать события зависит от того, насколько они значимы для него. Другая опасность в вопросах-запоминалках — склонность людей помнить событие так, словно оно произошло значительно ближе к настоящему времени, чем это было в действительности: женщина сказала, что купила стиральный порошок месяц назад, и только после уточняющего вопроса вспомнила, что это было два месяца назад.
8. Иногда бывает так, что респонденты просто затрудняются ответить на тот или иной вопрос (либо по тем причинам, что не сталкивались с соответствующей ситуацией на практике, либо потому, что не задумывались над причиной ее возникновения, или просто хотят сохранить в тайне имеющуюся у них информацию). Значит, нужно предусмотреть возможности отступления, чтобы не загонять своего собеседника (респондента) «в угол». Дайте ему (или ей) возможность, в случае необходимости, уклониться от любого ответа, предусмотрев такие варианты, как: «затрудняюсь ответить», «не знаю», «не думал(а) об этом».
9. Не следует переоценивать своих возможностей в предвидении всех возможных вариантов ответов на тот или иной вопрос — жизнь многообразна и неисчерпаема. Поэтому подумайте, не стоит ли добавить кперечню вариантов ответов на некоторые закрытые вопросы такой позиции, как «другие варианты...» («что еще...»), зарезервировав место для того, чтобы респондент мог дать свою версию ответа и превратив тем самым закрытый вопрос в полузакрытый.
10. Следует учитывать, что некоторые вопросы ориентированы не на всех, а лишь на определенную категорию опрашиваемых. Когда вопрос рассчитан не на всех респондентов, а только на некоторых из них, следует предусмотреть фильтр. Чаще всего это делается в виде некого условия, предваряющего вопрос. Например, если далее в анкете последует серия вопросов об оценке каких-то качеств женской косметики, вы могли бы ввести в анкете дополнительную инструктивную строку: «На вопросы с 12-го по 18-й отвечают только женщины. Мужчины переходят сразу к вопросу 19». А перед 19-м вопросом (с которого начинается ряд вопросов об оценке мужской косметики) поставить новый фильтр: «На вопросы с 19-го по 26-й отвечают только мужчины. Женщины сразу переходят к вопросу 27». При композиционном оформлении анкеты это можно обозначить также соответствующими стрелками.
11. Иногда следует подумать о том, не заденет ли вопрос самолюбия респондента, его достоинства, не вызовет ли он отрицательных эмоций. Дело в том, что иногда вопросы анкеты могут потребовать от респондента критического отношения не только к окружающим, но и к себе. В результате у него может возникнуть внутреннее предубеждение к самому процессу опроса и его инициаторам, что вызовет нежелание вообще участвовать в опросе (или побудит его сообщить неточную информацию). Например, изучая проблемы поиска рыночной ниши для конкретной марки зубной пасты, обладающей определенными антикариесными и дезодорирующими свойствами, скорее всего не стоит задавать респонденту прямой вопрос о том, как воспринимают окружающие дурной запах из его (или ее) рта. Вряд ли кому-то из тех, кто является потенциальными клиентами вашего заказчика, будет приятно сознаться в том, что окружающие стремятся держаться на расстоянии, беседуя с ними. В этом случае не стоит придавать вопросу столь личностную окраску. Нам в конечном счете нужна обобщенная статистическая картина, а вовсе не индивидуальная исповедь конкретного человека. В этом случае следует прибегнуть к косвенной форме подачи вопроса, такой, например, как: «Когда мне приходится сталкиваться с собеседником, у которого не очень
свежее дыхание, я обычно думаю, что...» (далее могут следовать варианты ответов). Так или иначе, респондент, выбирая нужный вариант ответа, прибегнет при этом к собственному опыту. Косвенные вопросы достигают своей цели как бы вскользь, преодолевая сопротивление или нежелание респондента. Они могут иметь также такие формы:
«Удалось ли Вам за последний месяц прочесть какую-нибудь книгу или нет?»
«Некоторые люди стремятся чистить зубы после каждого приема пищи, другие — нет, а Вы?»
«Одна женщина, с которой я разговаривал, сказала, что она никогда не покупает готовые смеси для кексов, поскольку ее муж сочтет, что она никудышная хозяйка, а что Вы думаете по этому поводу?»
Иногда люди не желают давать правдивые ответы, чтобы «не потерять лица». Не каждому респонденту понравится вопрос типа «Вы боитесь летать на самолете?», и не каждый человек признается, что он боится подниматься в воздух. В качестве причин он может выдвинуть некие соображения, не отражающие истинных чувств, например, дороговизну билетов или невозможность отдохнуть в самолете в отличие от поезда. «Вы принимаете ванну каждый день?» Если респондент считает это социальной нормой, но не придерживается ее, он, скорее всего, даст социально приемлемый ответ.
12. Наконец, следует подумать о валидности5 шкалы, на которой размещены варианты ответов. Шкальные вопросы сами по себе хороши для измерения отношений, ожиданий, восприятий и предпочтений. Такие вопросы достаточно просты для понимания и позволяют собирать большое количество информации от респондента за относительно небольшое время. Кроме того, шкальные вопросы позволяют довольно легко осуществлять многомерный статистический анализ данных. Однако составителю анкеты надо хорошенько оценить логическое соответствие между смыслом формулировки вопроса и характером шкалы, по которой будут измеряться ответы. Типичный пример невалидной шкалы таков:
Часто ли Ваше внимание привлекает реклама моющих средств:
1 — в газетах
2 — по радио
3 — по телевидению
Обратите внимание: вопрос был задан о частоте обращения к рекламным материалам, а не об источниках, из которых они исходят. И если уж вас так интересует и то, и другое (т.е. вы хотите увидеть различия по частоте обращения к различным источникам рекламы), то лучше использовать комбинированную — в данном случае табличную — форму размещения шкалы вариантов ответов, такую, например:
Источник рекламы | Постоянно | Периодически | Редко | Не пользуюсь этим источником |
11. В газетах | ||||
12. По радио | ||||
13. По телевидению |
(Обратите внимание на характер кодировки вариантов ответов — ниже мы еще обратимся к этому примеру.)
Завершив формулировку вопроса, проверьте, соблюдены ли при этом все приведенные выше правила.
3.2. Анализ качества анкеты
Социологическая анкета, помимо всего прочего, — это еще текст, изложенный по определенным грамматическим и стилистическим нормам. При его составлении ученого интересует не только язык, но и речь (по Соссюру), в том числе интерпретация вербального материала говорящим и слушающим. Соответственно каждый вопрос представляет собой не только фрагмент или отрывок из анкетного текста, но также самостоятельную стилистическую конструкцию, подобно тому, как отдельный абзац научного или повествовательного текста представляет собой самостоятельное целое (в рамках существующей стилистической конструкции всего текста), подчиняющееся собственным жанровым законам (зачин, интрига, заключение).
Анкета существует на узком пространстве между исследователем и респондентом, тем, кто задает вопросы, и теми, кто на них отвечает. Как средство научного измерения и канал общения социологическая анкета должна в точности выполнять предписанные ей функции, обладая высокой надежностью и качеством. Качество социологической анкеты определяется рядом факторов, в том числе тем, как мудро, проницательно и умело сформулировал ее позиции разработчик, и тем, насколько адекватно его поняли респонденты.
К изучению того, как воспринимают респонденты анкетные вопросы, специалисты применяют разнообразные техники. Обычно практикуются следующие методы: экспертные оценки разработчиков анкеты; экспертные оценки интервьюеров; логический анализ анкеты; когнитивные методы анализа текста анкет6. При этом в основном тестируют лексическую или логическую правильность вопросов (например, сбалансированность закрытий), их семантическое соответствие теме исследования. Кроме того, специалисты обращают внимание на способы предъявления вопросов или карточек интервью, их понимание, проводят разграничение письменного текста вопросника и воспроизведения его отдельных элементов в устной речи и т.д.
Цель когнитивных методов — понять мыслительные процессы, управляющие ответами респондента при опросе, используя полученные знания для конструирования более эффективного опросного инструмента. Эмпирически удалось выяснить, что письменный вопрос и его произнесение — вслух анкетером (интервьюером) или мысленно респондентом — две разные вещи. Не существует даже такой объективной формы, как дословное произнесение текста. В большинстве случаев оно представляет собой лишь устойчивый миф, укоренившийся в среде разработчиков анкет. Социолог читает респонденту одним образом, сам респондент — другим. При этом тот и другой в разное время могут прочитать, а соответственно, и понять один и тот же текст по-разному в зависимости от своего настроения, эмоционального и физического самочувствия, форс-мажорных обстоятельств и т.д. В конечном итоге с помощью когнитивного анализа можно установить, что именно человек думает, отвечая на вопросы интервьюера. Здесь анкета трактуется не как бумажный документ с записанным текстом, а как коммуникативная среда, в которой взаимодействуют: 1) содержание, направленность и последовательность анкетных вопросов; 2) формулировка вопроса и многообразие его интерпретаций; 3) характеристики и условия ситуации опроса; 4) личность интервьюера и респондента. При когнитивном анализе используются два метода, направленных на уменьшение семантического многообразия слов и выражений: 1) улучшение формулировки вопроса и снятие неоднозначных понятий; 2) повышение качества коммуникации между интервьюером и респондентом. По мнению Т. Димайо и Дж. Ротгеба, к первой группе относятся следую-346
щие техники: метод парафразы, метод артикулированного (проговоренного) суждения, метод оценки уверенности в ответах и метод пробных вопросов7. Вторая группа включает: метод когнитивного кодирования, метод экспертных оценок, семантическое кодирование вербального протокола, экспертное кодирование вербального протокола и метод временных характеристик8. При этом первую группу методов называют качественными, а вторую количественными.
Методы когнитивного интервью направлены на вовлечение респондента в процесс тестирования вопросника: от респондентов требуется артикулировать свои размышления по поводу вопроса и показать интервьюеру, как они понимают конкретный вопрос и формулируют на него ответ9. Метод парафразы заключается в том, что респондента просят изложить услышанный вопрос, попытаться задать его самостоятельно, используя собственные лексические конструкции. Метод оценки уверенности в ответе позволяет выявить трудности, связанные с формулированием ответа. Респондента просят оценить (например, по пятибалльной шкале) каждый ответ в зависимости от уверенности, с которой он был выбран. С помощью метода артикулированного суждения можно установить, что говорит респондент о причинах выбора определенного варианта ответа. Для этого его либо просят проговаривать все мысли, которые приходят ему в голову при ответе на вопрос, либо ответить на дополнительные вопросы типа «почему»10.
Предложенная Д.М. Рогозиным" четырехшаговая схема анализа когнитивного перехода (рис. 3.1) вскрывает лингвистичес-
кие ресурсы (знания и речевые навыки), которые использует респондент при ответе на анкетный вопрос. Различная когнитивная компетентность, которой обладают разные люди, заставляет их по-разному отвечать на прозвучавший вопрос. Но не только она влияет на качество получаемой информации. Не меньшее значение имеют экстралингвистические факторы, в том числе молчание, кивки, ухмылка, движения руками, покачивание головой интервьюера.
Программный вопрос
Анкетный вопрос
Прозвучавший вопрос
Услышанный вопрос
Ответ на вопрос
1 — Операционный переход
Трансформация исследовательских концептов в систему референтов. Адекватность целей исследования полученным переменным.
2 — Интерпретативный переход
Семантическая компетентность интервьюера, влияние респондента и методического аппарата исследования.
3 — Коммуникативный переход
Процесс коммуникации, определяемый когнитивными картами интервьюера и респондента; распознавание и смещение значений.
4 — Когнитивный переход
Когнитивные процессы у респондента: понимание, поиск информации, суждение, формулирование ответа.
Рис. 3.1. Транзитивная схема опроса
На первом шаге респондент интерпретирует вопрос, встраивая его в привычные для себя семантические рамки. На втором — вспоминает соответствующие ответу события, действия или высказывания. При этом респондент может обращаться к эпизодам, связанным с его собственным опытом, или ссылаться на мнения или действия других людей. На третьем шаге осуществляется интеграция вспомнившихся событий, их сопоставление между собой и установление некоторой логической структуры изложения. Как правило, в обыденной жизни респондент не задумывается над вопросами, которые интересуют исследователя, поэтому на третьем шаге он вынужден формировать собственное суждение, исходя из мобилизованных к данному моменту ресурсов. На четвертом шаге при закрытом вопросе респондент выбирает адекватный собственному суждению ответ из предложенных альтернатив, при открытом вопросе — пы-348
тается артикулировать самостоятельно выработанное суждение, используя собственный семантический словарь и навыки построения связной речи12.
Для проверки предложенной схемы в рабочих условиях Д.М. Рогозин провел в 2000 г. методический эксперимент. Цель исследования — определение характера смещений в формулировке вопроса на каждом трансформационном переходе (интерпретативном, операциональном, коммуникативном и когнитивном). Тестировался опросный инструмент для изучения политических установок, содержащий четыре типа вопросов: закрытые вопросы с порядковой шкалой, псевдооткрытые вопросы с номинальной шкалой, открытые вопросы, альтернативные вопросы с порядковой шкалой13. В лабораторных условиях было проведено 42 стандартизованных интервью. Состав экспериментальной группы был выровнен по полу и образованию. В выборку попали люди в возрасте от 23 до 64 лет. Экспертным методом оценивалась речевая компетентность (грамотное построение предложений, логическая завершенность фраз, корректное использование понятий) каждо-го респондента: 42,9% респондентов были отнесены к классу с высокой речевой компетентностью, 45,2% — с низкой, в 11,9% случаев речевая компетентность не установлена. Опрос проводили подготовленные интервьюеры с примерно одинаковым уровнем квалификации в течение 5 дней. Средняя длительность интервью составила 10 минут. Для регистрации поведения интервьюеров и респондентов использовалось аудио- и видеозаписывающее оборудование.
С помощью факторного анализа была проведена группировка переменных, описывающих изменение текста анкетного вопроса. В результате были выделены два фактора, которые объяснили 63,4% разброса признаков.
Вербальное поведение интервьюера при коммуникативном переходе описывается Д.М. Рогозиным пятью переменными: стимулирование, повторение, уточнение, прерывание и поддержка ответа. Рассматривая эту группу переменных, он выделил два латентных признака, характеризующих стратегии проведения опроса, которые использует интервьюер: давление на респондента и поддержка респондента (см. рис. 3.2; табл. 3.1). Первая компонента показала сильную взаимосвязь таких переменных, как перестановка слов в вопросе, добавление незначимых слов, пропуск и замена слов.
12
Таблица 3.1
Факторы вербального поведения интервьюера
(факторные нагрузки получены методом Varimax после вращения,
объясняется 52% дисперсии)
Исходные переменные | Компонента | |||
Давление | Поддержка | |||
Стимулирование ответа | 0,697 | 0,209 | ||
Повторение ответа | 0,705 | -0,181 | ||
Уточнение ответа | 0,646 | 0,262 | ||
Прерывание ответа | 0,200 | 0,578 | ||
Поддержка ответа | -0,004 | 0,830 | ||
Поддержка | ! ! ! | |||
Нейтральная стратегия | Давление | |||
min
Стимулирование ответа Уточнение ответа
Рис. 3.2. Коммуникативные стратегии интервьюера: давление и поддержка
Как было установлено, прерывание вопроса свидетельствует о том, что респондент еще до завершения вопроса сформулировал суждение, которое может быть ответом, а может представлять собой и уточняющий вопрос. Респондент как бы показывает, что для него вопрос абсолютно понятен и не требует дальнейшего развертывания.
Повторение респондентом отдельных смысловых единиц вопроса позволяет интервьюеру скорректировать вопрос и внести в него необходимые уточнения. Задавая второй или третий раз видоизмененный вопрос, интервьюер будет надеяться получить более адекватный ответ. Подобная стратегия неотвратимо приводит к увеличению совокупного текста ответа. Однако любое увеличе-
ние артикулированного текста ответа будет приводить к снижению его адекватности семантическому заданию вопроса (рис. 3.3).
Повторение респондентом вопроса является отправной точкой для обсуждения самого вопроса, внесения в него необходимых уточнений и как следствие отклонения от семантического задания вопроса и производства фалыпответа. Так, наибольшая доля повторений встречается в тех случаях, когда респондент испытывает колебания, изменяет ответ или затрудняется выбрать из предложенных альтернатив. Повторение отдельных семантических единиц вопроса приводит к созданию другой версии вопроса.
Переменная «уточнение вопроса» не имеет статистически значимой связи с образованием и речевой компетентностью респондентов. Это позволяет предположить, что основной причиной уточнения вопроса являются затруднения с его формулировкой и способом представления. Переспрашивание вопроса свидетельствует о том, что респондент не смог преодолеть первый шаг когнитивного перехода. Он не стал создавать фальшвопрос, а решил обратиться за поддержкой к интервьюеру. Это может потребовать от интервьюера либо повторения вопроса, либо его уточнения. Если при возникновении вопроса у респондента интервьюер начинает уточнять анкетный вопрос, пытается прокомментировать отдельные понятия, он невольно преобразует стандартизированное интервью в беседу, которая отличается от обычного разговора лишь заданным извне фокусом.
3.3. Логический контроль анкеты
«Кабинетный вариант» анкеты всегда нуждается в контрольной проверке на соответствие его методическим критериям самыми разными способами. Часть вопросов доступна логическому контролю на уровне экспертных оценок, а другие вопросы требуют эмпирической, экспериментальной проверки в специализированном пробном исследовании. Как правило, логический анализ и пробное исследование образуют две последовательные процедуры. Их цель — оценить качество разработанной методики опроса.
Логический контроль анкеты, позволяющий проверить ее на соответствие научным критериям качества, проводится в самом конце — по окончании компоновки анкеты.
Логический контроль — это соотнесение каждого вопроса анкеты, ее композиции и организационных решений по проведению опроса со списком нормативных требований. Он проводится либо самим автором, либо членами специальной экспертной комиссии (совета).
Правильно организованный логический контроль строится по двум осям декартовой системы координат (рис. 3.4).
Ось ОХ можно назвать параметром «часть-целое». Она представляет собой контроль правильности формулировки вопросов и правильность компоновки всей анкеты, ее композиции.
Ось ОУможно назвать параметром «логическое-психологическое». Она представляет собой контроль соответствия каждого вопроса логическим и психологическим критериями.
6
12. Не является ли вопрос «острым» для респондентов, связанным с социальным или психологическим «табу»? Не задевает ли он самолюбие респондента, интимные стороны его жизни?
13. Соответствует ли смысл вопроса и его содержание компетентности и информированности опрашиваемых, уровню их обыденных представлений, житейской практики?
14. Является ли вопрос достаточным для получения необхо-димой информации? Не нужно ли добавить контрольные вопро-сы на искренность и логическую непротиворечивость?
Перечень такого рода вопросов — своеобразный методический «тест», обеспечивающий контроль качества каждого воп-роса. Технически он осуществляется так. Первый вариант: в тексте анкеты рядом с каждым вопросом записываются номе-ра тех критериев (или их сокращенные обозначения), по которым данный вопрос получил замечание. Второй вариант: рядом с каждым критерием выписываются номера вопросов, получивших замечания по данному критерию. Результатом такого анализа будет комплексная оценка каждого вопроса по всем названным критериям. Вся совокупность вопросов раз-делится на три группы в зависимости от возможности их до-работки. Первая группа — вопросы, признанные пригодными для использования в опросе без дальнейшей проверки и дора-ботки. К ним относятся не получившие замечаний и те воп-росы, где замечания доступны редактуре без эксперименталь-ной проверки. Вторая группа — вопросы, либо получившие небольшое количество замечаний, либо имеющие грубые ло-гические и методические просчеты и признанные непригод-ными к использованию. Они подлежат выбраковке. Третья группа — вопросы, нуждающиеся в экспериментальной или зондажной проверке в пробном исследовании. По поводу каж-дого (или большинства) из них необходимо знать, какие их методические характеристики будут проверяться в пробном исследовании. В зависимости от этого ставятся конкретные задачи и процедуры для пробного исследования. Приведем здесь несколько таких ситуаций.
1. Существует опасение, что некоторые слова непонятны. В пробном исследовании проводится тестирование pecпондентов по списку этих слов. Если потенциально непонятных слов мало, то их содержание проверяется дополнительными вопросами в ус-тной форме во время пробного исследования. Кроме того, по-нимание языка анкеты контролируется также методом наблюде-ния во время пробного опроса, когда анкетер фиксирует все слу-чаи непонимания прямо в анкете вместе с вопросами.
2. Проверяется соответствие вариантов ответов в закрытом вопросе языку и системе представлений опрашиваемых, уровню их информированности. В пробном исследовании «подозреваемые» вопросы задаются в открытой форме, а затем полученные ответы сравниваются с «кабинетными» вариантами и производится доработка. При этом проверку нельзя заменить использованием «полузакрытой» формы вопроса. Среди социологов распространено мнение, что «кабинетный» вариант вопросов не нуждается в апробации, если к нему добавить вариант «другое мнение». Неявно предполагается, что все недостающие варианты допишет респондент. Однако практика показывает, что дополнений бывает очень мало. Респонденты подбирают варианты из предложенного списка даже в тех случаях, когда последний не соответствует их личному мнению.
3. Существует сомнение по поводу формы вопроса: ставить ли его в открытой или закрытой форме, какую выбрать шкалу (трех-, пяти-, семичленную), сделать ли вопрос в виде теста на незавершенное предложение либо в виде картотеки? В таком случае, после логического обоснования формы вопроса, надо провести экспериментальную проверку отобранных вариантов, сравнить результаты и выбрать наиболее пригодный.
4. Возникли сомнения в однозначности восприятия смысла вопроса. Здесь надо заранее продумать, какой (какие) дополнительный вопрос следует задать респонденту, чтобы проверить понимание смысла вопроса и ответа. Обычно достаточно попросить респондента прокомментировать или пояснить свой ответ.
Результатом логического контроля анкеты выступает совокупная оценка ее качества, характеризуемая числом полученных замечаний. Те вопросы анкеты, которые содержат очевидные методические просчеты, заменяются другими, имеющими методическое решение. Весь описанный процесс предваряет разработку задач пилотажного исследования.
Окончательный вердикт качеству всей анкеты выносит пилотажное (пробное) исследование. Оно вскрывает все недочеты анкеты и особенно в составлении вопросов. Один из верных показателей непригодности вопроса — большая доля не ответивших или затруднившихся ответить на него. Значение данного показателя интерпретируется в зависимости от познавательной задачи вопроса. Если изучается распространенное явление, о котором Должны знать все или подавляющее большинство людей, а доля затруднившихся ответить высока, то это свидетельство методической погрешности в составлении вопроса. А если измеряется информированность опрашиваемых о достаточно редком явлении и 356
доля не ответивших или затруднившихся ответить высока, то вполне можно заключить, что вопрос соответствует поставленной задаче.
Логические требования к разработке вопросов дополняются комплексом требований социально-психологического характера, которые учитывают такие особенности опрашиваемых, как их информированность, специфика жизненной ситуации, память, навыки самоанализа, умение устно и письменно характеризовать свои мысли, чувства, отношение к опросу и желание сообщить необходимую социологу информацию16.
Следует отметить, что логические и социаль
Дата добавления: 2021-06-28; просмотров: 422;