Експертна думка Sep 26, 2021

Как управлять погрешностью

Рейтинг статті:3
Как управлять погрешностью

Погрешность неизбежна при любом исследовании, в том числе и опросе.

«Погрешность этого опроса составляет плюс минус 5% при 95% уровне точности», – наверняка вы часто встречали эту фразу в отчетах. И она значит, что выборка опроса отбиралась случайным способом из всех участников целевой аудитории, у всех потенциальных респондентов нет предвзятости в ответах, результаты большинства ответов имеют нормальное распределение (известная кривая типа «колокол»).

Если эти базовые допущения выполняются, то это называется «стандартная погрешность» и она дает достаточно точный показатель достоверности опроса. Однако это встречается редко. Более того, стандартная погрешность – это только вершина айсберга. В основании которого – есть другие типы погрешностей.

Погрешность выборки

Выборка – это часть всей аудитории, которую вы считаете целевой. И если при ее составлении допущена ошибка, то результаты исследования будут сильно искажены. Например, если определить аудиторию опроса потребителей спиртного как «мужчины 21-29 лет», то его результаты точно вас обманут. Потому что на самом деле большая часть продаж спиртных напитков приходится на людей старше 50 лет.

Другой типичный пример – опрос удовлетворенности продуктом, который вы провели среди своих клиентов. Результат такого опроса будет заведомо ложным, потому что людей, недовольных вашими услугами или продуктами, вы самостоятельно исключили из опроса.

Совет 1. Cоставляя выборку, обеспечьте ее качество, проверьте ее достоверность из разных других источников.

Погрешность скринирования

Погрешность скринирования похожа на погрешность выборки в том, что мы опрашиваем группу, не репрезентативную целевой аудитории. Большинство опросов состоят из частей: скринера, отфильтровывающего респондентов, не соответствующих критериям участников опроса, и основной анкеты – для тех, кто соответствует этим критериям. Ошибки при скринировании – частое явление, которое может привести к большой погрешности в результатах опроса.

Например, компания хочет опросить людей, которые могут купить новый холодильник в ближайшие 3 года. При отборе респондентов для опроса могут быть отсеяны потребители, которые уже купили новый холодильник за последние 3 года, исходя из предположения, что они ушли с рынка. Но это далеко от реальности. Эти покупатели могут решить купить второй холодильник, либо переехать в новую квартиру, где нужен новый холодильник, или они могут купить холодильник для своих взрослых детей.

У покупателя также может быть растущая семья, которой нужен холодильник большего размера, или кому-то из членов семьи может просто надоесть старый холодильник. Опрос выборки, исключающей тех, кто покупал холодильник в недавнем прошлом, даст неточные результаты.

Совет 2. Исключайте из опроса только тех, кто с максимально высокой вероятностью не является вашим клиентом. Например: людей, не употребляющих алкоголь (как в примере выше) или людей, которые не пользуются холодильниками в принципе.

Погрешность отсутствия ответа

Всегда возможно, что люди, которые не хотят проходить опрос, чем-то отличаются от тех, кто согласился пройти опрос. Переход на онлайн-опросы привел к ожиданиям быстрых, почти моментальных результаты опросов. А это создает риск отказа от ответов у респондентов: приглашение пришло в неудобный для него день или время.

Совет 3. Приглашения на онлайн-опрос стоит распределять в течение недели (включая выходные) и рассылать постепенно с напоминаниями на третий день тем, кто не ответил. Такой подход не устраняет полностью, но сводит к минимуму погрешность.

Погрешность фокусирования

Предмет или тема исследования может повлиять на результат опроса. Например, если первый вопрос анкеты касается опасности ножей на кухне, то велика вероятность, что все остальные вопросы человек будет воспринимать через фокус опасности ножей на кухне. И это может окрасить результаты опроса.

Совет 4. Стройте анкету опроса таким образом, чтобы в ее начале не возникало таких острых тем, как опасность кухонных ножей.

Погрешность формулировки

«Правильно сформулированный вопрос – это половина ответа», – как часто доводилось нам слышать эту максиму? Формулировки вопросов могут быть серьезными источниками ошибок в окончательных результатах опроса.

Например, предположим, что мы задали такой вопрос: «Согласны ли вы с ведущими учеными и врачами в том, что марихуана должна быть легализована в Украине? (выберите один ответ):

  • Да, согласен, марихуану нужно легализовать
  • Нет, не согласен с легализацией марихуаны»

Такой вопрос явно наводящий и необъективный, так как в нем содержится предустановка «Согласны ли вы с ведущими учеными и врачами».

Совет 5. Старайтесь избегать предустановок и оценочных эпитетов, формулируйте вопросы максимально нейтрально.

Например: «Как вы думаете, следует ли легализовать медицинскую марихуану для взрослых в Украине? (выберите один ответ):

  • медицинская марихуана для взрослых должна быть легализована в Украине
  • медицинская марихуана для взрослых не должна быть легализована в Украине»

Погрешность вариантов ответов

Зачастую в опросах используются закрытые вопросы, то есть респондентам предоставляется фиксированный набор ответов. И случается так, что предложенные ответы могут упустить важные для вас варианты.

Включаете ли вы вариант ответа «не знаю»/«затрудняюсь ответить»? Это может кардинально изменить результаты ответов практически на любой вопрос. Иногда бывает важно узнать, что 45% ваших клиентов не знают цену, которую они заплатили за ваш продукт. При составлении ответов легко упустить возможность важного варианта ответа, и вы получите результаты, которые выглядят достоверными, но на самом деле бессмысленны.

Совет 6. Проведите перед опросом качественные исследования – уточните спектр вариантов ответов на вопрос. Предварительное или пилотное тестирование каждой анкеты – тоже будет крайне полезным в предотвращении погрешности вариантов ответа. Помните, что неполный набор ответов – главный источник ошибок опроса.

Погрешность перехода

Часто возникает соблазн включить в опрос как можно больше задач и продуктов. Но здесь нужно быть особенно внимательным: если вы составляете анкету на тему хумуса и внезапно переключаетесь на тему картофельных чипсов, респонденты могут не заметить это изменение и продолжить отвечать «за хумус».

Вторая ошибка – смена рейтинговой шкалы. Например, если шкала оценок у вас сначала была «отлично, хорошо, удовлетворительно, плохо», а потом «плохо, удовлетворительно, хорошо, отлично», то даже самый внимательный респондент может пропустить эту смену вектора.

Совет 7. Старайтесь избегать смешения продуктов / услуг в одном опросе. Старайтесь использовать унифицированную шкалу ответов, при необходимости меняя вектор оценки в самой формулировке вопроса.

Погрешность последовательности

Как уже мы знаем – ответы на одни вопросы могут влиять на восприятие респондентом других вопросов и ответы на них. И здесь важна не только фокусировка вопросов, но и их последовательность. Например, в тестировании двух продуктов, продукт, который все попробовали первым, набирает 55% «лайков», даже если эти два продукта идентичны.

При сравнении двух новых концепций продукта большее предпочтение будет отдано той, которая показана первой. Из длинного списка брендов или возможных ответов, позиции из верхней часть списка будут выбираться чаще при прочих равных условиях. 

Совет 8. Чередуйте и рандомизируйте (перемещайте случайным образом) схожие вопросы и варианты ответов.

Погрешность переоценки знания

Создатели опросов часто предполагают, что участники опроса обладают большими знаниями по теме, знакомы с языком и терминами, используемыми в опросе, хотя часто это не так. Респонденты могут не понимать некоторых слов и терминов в вопросах или вариантах ответов, но почти всегда дадут ответ, даже если им придется угадывать.

Совет 9. Используйте максимально простые слова и избегайте специфических терминов и сленга. И еще раз протестируйте анкету пред запуском опроса.

Погрешность завышения

Мы зачастую хотим сказать лучше / сильнее / умнее / богаче / …, чем мы есть на самом деле. Если вы спросите парня сколько подарков он сделал своей девушке, он очень вероятно завысит фактическое количество в два или три раза. Для дорогостоящих вещей коэффициент завышения может быть еще выше. Аналогичным образом, если вы спросите его, насколько вероятно, что он купит новые чипсы, он преувеличит вероятность тоже в два или три раза.

Совет 10. Старайтесь избегать таких вопросов. А если это невозможно – формулируйте их в завуалированной форме и добавляйте проверочные вопросы. Например: «когда вы покупали подарок своей девушке? Месяц, полгода, год назад».

Быть точнее – быть достовернее

Важность достоверности опроса, основанная на стандартной погрешности, сильно переоценена. Как и любой формальный фактор, стандартная погрешность может создать у вас ложное представление и вы упустите из виду то, что действительно важно в дизайне исследования, составлении анкеты и интерпретации результатов опроса. 

Вам стоит сосредоточиться на всем спектре погрешностей и минимизировать их. И вам стоит провести предварительное качественное исследование и пилотное тестирование анкет. Это намного дешевле, чем принимать потом решения на основании не точных или искаженных результатов.

Вам стоит сравнивать результаты своих опросов с предыдущими опросами и вторичными данными, чтобы убедиться, что результаты разумны и находятся в приемлемых пределах. 

И помните – критичность и скептичность – главное достоинство любого исследователя. Если что-то вызывает у вас сомнения или выглядит слишком уж хорошо – не ленитесь поискать причину. Вдруг вы откроете новую рыночную нишу или найдете путь обойти конкурента.

Пов'язані теги:

Читайте також: