Пробное и пилотажное исследования

Термин «пробное исследование» в литературе употребляется как: 1) синоним поискового (разведывательного) исследования; 2) синоним пилотажного исследования; 3) собирательное понятие, включающее как свои разновидности (подвиды) поисковое (разведывательное) и пилотажное исследования. Будем считать, что поисковое (разведывательное) и пилотажное — два основных под­вида пробного исследования.

Поисковое (разведывательное) исследование проводится с целью уточнения проблемы, более корректной постановки задач и выд­вижения обоснованных гипотез. Таким образом, по своей сути оно есть концептуальное исследование. Проведение его особенно же­лательно в том случае, если литература по интересующей вас те­матике отсутствует или ее недостаточно.

Разведывательное исследование — наиболее простой вид соци­ологического анализа: круг задач ограничен, число опрошенных невелико, программа и инструментарий крайне упрощенные; дан­ные нерепрезентативные. Ученый получает лишь прикидочные све­дения об объекте исследования для общей ориентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг — приблизительно, дешево и быстро.

Поисковое исследование может проводиться следующими ме­тодами: интервью (лучше неформализованное) с потенциальными респондентами; наблюдение; фокус-группа по центральной пробле­ме исследования; опрос экспертов — специалистов или просто лю­дей, имеющих отношение к интересующей вас проблемной облас­ти; изучение документов, статистических данных, содержащих не­обходимые сведения по выдвинутым задачам и гипотезам.

Вариантом разведывательного исследования выступают эксп­ресс-опросы. Их еще называют оперативными опросами. Ими пользуются многочисленные опросные фирмы — от ВЦИОМ до РОМИР. Правда, опросы они проводят, как правило, очень гра­мотные, но глубоких научных задач развития фундаментальной науки не ставят. Решаются сиюминутные, но очень нужные об­ществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша, террористическим актам 11 сентября 2001 г. Таким образом получают свежую, недолговечную (срок ее жизни исчисляется днями, неделями, реже месяцами), но очень нужную в данный момент информацию.

Если за дело берется не солидная опросная фирма, имеющая лицензию на проведение опросов, а группа любителей (отдел кад­ров, хозяин веб-сайта, кружок друзей словесности, журнал и т.д.), то оперативный опрос дает хотя и свежую, даже нужную инфор­мацию, но совершенно нерепрезентативную, не очень надежную или совершенно ненадежную. Она может быть достоверной, но только на первый взгляд. Стоит подойти к инструменту по всем научным меркам, как проявятся многочисленные изъяны. Но там,

где не требуется великой строгости, где нужно лишь как-то со­риентироваться в проблеме (разведать объект), оперативный оп­рос вполне годится.

Разведывательное исследование часто называют также пило­тажным исследованием. Хотя правильнее считать его самостоя­тельным видом социологического исследования. Разведыватель­ное и пилотажное исследования похожи в двух аспектах:

♦ Цель — получить примерные данные о том или ином явле­нии либо апробировать применение методики к более широкомас­штабным исследованиям.

♦ Объект — для проведения того и другого исследования нуж­на незначительная совокупность объектов, поэтому они проводят­ся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего — для апробации вопросника. Предварительная про­верка опросного инструментария столь же важна для успеха ис­следования, считают Дж. Мангейм и Р. Рич, как пробная поезд­ка — для успешной покупки подержанного автомобиля. Она по­могает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

При проведении пилотажного исследования необходимо учи­тывать правила:

♦ Объем выборки в пилотажном исследовании не имеет чет­кого методического обоснования. Обычно полагают достаточным опросить около 30 респондентов. Важно только, чтобы они пред­ставляли все существенные категории планируемого объекта ис­следования⁴.

♦ Малая выборка в пилотаже вовсе не обязательно должна быть репрезентативной по отношению к генеральной совокупно­сти. Куда важнее другое ее качество — разнообразие: она должна включать те группы респондентов, которые способны реагировать на инструментарий по-разному. Если малообразованные люди со­ставят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут от­вечать на ваши умные вопросы совсем не так, как ожидается.

♦ В пилотажную выборку включают тех респондентов, кото­рые представляют наиболее важные для темы опроса социально-демографичекие признаки (пол, возраст, образование, стаж рабо­ты, содержание труда и т.п.).

В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анке- \ ты, времени опроса и др. В зарубежной и отечественной практи-ке применения тестов (тестологии) пилотажа (рабочий термин — «претест») служит средством выявления некоторых стандартов ос-новного теста.

В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанно-сти инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответ-ствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расхо-ды и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробо-вать в малотиражном (пилотажном) опросе, чтобы уточнить, правильно ли понимают вопросы респонденты, не слишком ли она длинна и утомительна, сколько времени занимает ее запол-нение (или интервью), а в случае почтовой рассылки — сколько дней проходит с момента отправления анкеты до получения от-ветов.

Пилотажное исследование представляет собой исследование по «укороченному» плану — в нем используются малые выбор-ки, не в полной степени проводится сбор информации, получен-ная информация анализируется только по наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «от-точить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Про-ведение пилотажного исследования в этом случае позволяет из-бежать сбора информации по «пустым» вопросам, ответы респон-дентов на которые не подлежат анализу, или неадекватно (не-однозначно) интерпретируются самими респондентами. Для поискового исследования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет инфор-мацию для уточнения многих пунктов программы, что в даль-нейшем обеспечивает немалую экономию ресурсов.

Пилотаж полезен для: а) тестирования инструментария, в ко-тором исследователь вполне уверен, б) усовершенствования ин-струментария в ситуации, когда предмет исследования хуже из-

вестен исследователю. В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, ка­кой из них удобнее в работе, Предварительное тестирование та­кого типа может включать в себя:

1. Тестирование различных словесных формулировок и форм вопросов.

2. Опробование анкеты, предназначающейся для самостоятель­ного заполнения респондентом, в личном интервью, чтобы в про­цессе живого общения с респондентом выявились возможные трудности ее заполнения.

3. Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окон­чательном варианте.

4. Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью опреде­ления годности каждого из них.

Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, на­сколько успешно прошел этап подготовки к нему, какими могут быть ожидаемые результаты. В ходе такого опроса собирается ме­тодическая информация, т.е. информация о качестве разработан­ного инструментария. Проверяются все организационные и мето­дические условия будущего исследования, и прежде всего: доступ­ность необходимых документов, отношение респондентов к опросу и их реакция на вопросы анкеты. Оценивая качества ме­тодики опроса, социолог регистрирует любые затруднения респон­дента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить.

Пилотаж проводится в двух вариантах. В первом — всю груп­пу респондентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и задачи, инструктируют по технике за­полнения анкеты и просят высказать после заполнения критичес­кие замечания, поговорить о неясностях и о тех вопросах, кото­рые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсужде­ние содержания опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неотве-тивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.

Второй вариант пилотажного опроса предполагает приглаше­ние группы из 3—4 респондентов для обсуждения анкеты по мере ее заполнения: опрашиваемые делают пометки о качестве вопро­сов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание ответов не анализируется, так как опрос преследует только методические цели. Им задается при­мерно тот же круг методических вопросов, что и в предыдущем случае. Замечено, что подобная процедура повышает заинтересо­ванность респондентов и уровень критического восприятия анкет­ного вопроса.

В Аналитическом центре «Бизнес и маркетинг» обязательный пилотаж сформированной анкеты проводится в ходе пробных ин-тервью с несколькими респондентами, принадлежащими к це­левой группе (обычно 3—5 респондентов, при сложных исследо­ваниях — 10—15). Это позволяет определить степень понимания вопросов, обнаружить другие особенности их восприятия. По ре­зультатам пилотажа, если необходимо, в анкету вносятся коррек­тивы. Особенности проведения пробного опроса подробно об­суждаются также на «круглых столах» с интервьюерами, участву­ющими в проекте. При этом коллективно имитируется процесс проведения интервью в лабораторных условиях.

Пилотажные материалы хранятся в особых папках опросной фирмы. Они включают в себя первоначальный вариант вопросни­ка, протоколы, фиксирующие замечания респондентов и социо­логов, а также доработанный вариант анкеты. Со временем накап­ливается своеобразный «банк» методических решений, появляет­ся опыт и навыки анализа типичных методических ошибок, доработки инструментария.

Пилотажное исследование составляется на основе логичес­кого осмысления всей проблемы будущего исследования, при­близительного расположения вопросов с точки зрения их оче­видной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковыва­ются неудачные вопросы, вносятся коррективы на отдельных этапах исследования^. К его проведению надо относиться как к приобретению стра­ховки: вы, конечно, можете обойтись и без нее, если повезет. А если нет?