Аверьянов Л.Я. Социология. Искусство задавать вопросы.

На приведенном ниже рисунке показано, как изменяется количество отказов от ответа по отдельным участкам анкеты, искусственно разбитой по пять вопросов.

Наибольшее количество
отказов
Рис. 2

Как видно из рис. 2, первые вопросы анкеты респондентам не очень понравились. Здесь имеется довольно большое количество отказов от отве-та. Затем интерес к анкете стал повышаться, и к 20 вопросу количество отказов от ответа постоянно снижается. К 25 вопросу оно немного стабилизировалось, потом внимание опрашиваемых резко упало, видимо, вопросы, расположенные между 25-30, им совсем не понравились. Затем интерес опрашиваемых опять немного повысился, но все-таки остался ниже, чем в вопросах 15-20. Далее до 35 вопроса он остается постоянным, и снова снижается на вопросах 35-40. Видимо, и эти вопросы оказались не интересными. На участке 40-45 внимание респондентов опять повысилось, затем на следующем участке оно снова понижается, но не намного. К концу анкеты активность респондентов снова возрастает, видимо, потому что анкета подошла к концу и вопросы, здесь расположенные, оказались легкими для восприятия и ответа.
Отчего же зависит такое неравномерное распределение интереса и внимания респондентов, почему на одни вопросы они отвечают охотно, а на другие не желают отвечать?
Во-первых, это может зависеть, как уже говорилось, от усталости ре-спондента. Если анкета очень сложна, то уже со второй ее трети респондент становится менее внимательным и на трудные вопросы особенно в середине и в конце анкеты просто не отвечает.
Во-вторых, причиной отказа от ответа может быть непонимание ча-стью респондентов вопросов какого-то блока. Возможно вопрос или блок вопросов оказались так плохо разработанными, что стали непонятными и неинтересными.
В-третьих, причиной отказов от ответа может служить степень инте-реса, проявляемого разными группами респондентов к различным вопросам. Одним респондентам интересны одни вопросы, другим - другие. Соответственно меняется количество отказов от ответа.
В-четвертых, количество отказов от ответа может зависеть от типа и формы вопроса. Если вопрос построен сложно, как, например, табличный, или комбинированный, то он не вызывает у большинства респондентов особого желания утруждать себя поисками ответа.
В-пятых, особенно много отказов имеют вопросы личного, интимно-го характера, требующие оценки, высказывания своего мнения и т.д. Тако-выми могут быть вопросы, касающиеся взаимоотношений в семье, оценки деятельности руководителя, различные мотивационные вопросы.
Анализ отказов от ответа в пилотажном исследовании в целом по ан-кете и по отдельным ее участкам и вопросам наглядно показывает недора-ботки в расположении вопросов в анкете, неправильную их тестировку, не-достатки технического оформления, а также слабости содержательного ха-рактера. Таким образом позволяет определить, какие просчеты имеются в анкете.
Анализ анкеты по количеству отказов от ответа опрашиваемых, ко-нечно, является только одним из методов пилотажной проверки методики, но он весьма плодотворен и оказывает существенную помощь при доработке методики исследования.
В результате пилотажного исследования можно выделить по крайней мере четыре способа проверки технически правильно подготовленной анке-ты. Подчеркнем "технически правильно". Проверка содержательности и до-стоверности информации является более сложным делом и требует другого аппарата и других методов проверки.
1. Еще раз повторим, что анкета считается правильно подготов-ленной, если она в целом имеет небольшое количество отказов от ответа. Кроме того, график распределения внимания и заинтересованности опрашиваемых должен иметь положительную направленность или хотя бы постоянную величину. Недопустимо, если отказов от ответа будет более 10%, если конечно, часть вопросов не требует ответа части респондентов.
2. Анкета должна иметь равное распределение ответов респон-дентов по альтернативам в порядке их убывания. Это означает, что ни одна альтернатива в плане технического построения вопроса не получила прио-ритета.
3. О том, что анкета технически правильно построена, свидетель-ствует и субъективное время, отмеченное респондентами. Оно должно быть равно реальному времени, затраченному на заполнение анкеты неко-торым количеством респондентов и зафиксированному объективными методами или меньше его. Для определения субъективного времени обычно в конце анкеты при пилотажном опросе задается вопрос: "Отметьте, пожалуйста, сколько (примерно) времени Вы заполняли анкету?" и предлагается временная шкала.
4. Конечно, этих методов проверки анкеты недостаточно, чтобы быть уверенным в получении достоверной информации. Как впрочем и тех-нически грамотно построенная анкета еще не является залогом получения истинной, точной и надежной информации. Но технически правильно по-строенная анкета может служить надежным основанием для получения точ-ной и достоверной информации. И, наоборот, при технически неправильно построенной методике исследования можно с уверенностью сказать, что надежной информации с ее помощью не получишь.
При пилотажном исследовании необходимо обязательно проверить анкету, хотя бы по тем пунктам, о которых говорилось выше, поскольку других методов проверки существует мало, все они достаточно трудоемки и занимают едва ли не больше времени, чем само исследование. Поэтому со-циологи не всегда стремятся проверять свою анкету. Предлагаемые методы довольны просты и надежны, их легко можно автоматизировать, т.е. переве-сти на ЭВМ, которая поможет при введении некоторого формального критерия вычислить индекс технически правильно построенной анкеты.
После проведения пилотажного исследования анкета вновь проверя-ется по тем же правилам, по которым разрабатывалась, но теперь уже с уче-том результатов пробного исследования, с учетом мнения респондентов. Надо сказать, что чаще всего пилотажный опрос существенно поправляет первоначальный вариант анкеты.
Обычно пилотажное исследование проводят один раз. На самом деле, как и любой другой инструментарий, он требует неоднократных проверок. Пилотажное исследование необходимо проводить не один раз, а столько сколько необходимо, чтобы быть до конца уверенным в том, что методика отработана полностью и каждый вопрос построен надежно.
После устранения недочетов и недоработок, выявленных в результате первого пилотажного исследования, требуется повторный пилотажный опрос, чтобы выяснить как работает скорректированная методика. Если инструментарий очень сложен и требует большой точности (например, при прогнозном исследовании), надо провести и третье пилотажное исследование. Только после тщательной практической отработки методики ее можно выпускать в свет и быть полностью уверенными, что будет получена достоверная и надежная информация. В естественных науках отработка инструментария исследования является обязательным этапом работы, тогда как в социологии сегодня все еще приходится доказывать и убеждать в ее необходимости.
Нелишне еще раз напомнить: сколько бы мы ни занимались рассуж-дениями, они остаются логическими конструкциями, которые не всегда бы-вают удачными. И только практика может указать наши ошибки. В процессе разработки анкеты такой практикой выступает пилотажный опрос. Поэтому игнорировать его, как, к сожалению, это часто делают начинающие социологи, нельзя.