большинство инструментов маркетинговых исследований, которые широко используются, доказали свою надежность и валидность.

Реальность: когда мы говорим «инструменты маркетинговых исследований», то подразумеваем такие методы как анализ восприятия концепции продукта, тестирование продукта и тестирование рекламы. Под «надежностью» теста мы понимаем то, что если вы в точности его повторите, то получите по существу те же самые результаты. Под «валидностью» теста мы  подразумеваем то, что он измеряет именно то, что призван измерять.

Когда исследователи рынка и социологи обсуждают между собой надежность своих измерительных инструментов, своих шкал, анкетных опросов, и т.п., часто можно услышать следующее (мы перефразируем): «В отличие от врачей, инженеров, физиологов, и других специалистов прикладных наук, и в отличие от инструментов, которые они используют, надежность и валидность нашей работы и наших инструментов относительно скромны».

Недавно газета The New York Times сообщила, что разоблачен один из медицинских мифов девятнадцатого и двадцатого столетий: идея, что нормальная температура человеческого тела - 98,6° по Фаренгейту (36,6° Цельсия). Новое исследование установило, что нормальная средняя температура человеческого тела – 98,2 ° по Фаренгейту, и что нормальный диапазон колебания температуры для взрослых, принимавших участие в исследовании, составлял от 96 до 99,9 ° по Фаренгейту. При этом каждый может взять оральный или анальный термометр и проверить надежность этой информации. Температура пациента, измеренная в 9:00 утра, а потом - в 10:00 утра, редко изменяется более чем на одну десятую градуса.

Мы поднимаем эту тему по той причине, что мы, как профессионалы, относительно мало знаем о надежности инструментов маркетинговых исследований, и еще меньше об их валидности. Несмотря на то, что ежегодно компании тратят на маркетинг миллиарды долларов – и 140 миллиардов только на рекламу - мы не имеем надежных инструментов, которые есть в других науках. Мы не имеем средств для измерения маркетингового эквивалента скорости ветра во время урагана или силы подземных толчков при землетрясении.

Например, сравнительно легко создать тест для оценки рекламного текста. Десятки компаний предлагают для этого собственные методы. Но очень трудно доказать, что данный тест действительно измеряет то, что он предназначен измерять, и то, что он измеряет, имеет какое-то отношение к продажам и маркетингу.

Можно оценить текст и неопровержимо доказать, что люди запоминают объявления, заголовки или иллюстрации определенного типа. Но факт запоминания может не иметь никакого отношения к тому, покупают люди данный продукт или нет.

Когда-то мы консультировали фармацевтическую компанию Richardson-Vicks в проекте по тестированию текстов. Компания исследовала рекламные ролики своего продукта Formula 44, который набирал исключительно низкое количество баллов по фактору запоминания. Компания использовала то, что называлось методом тестирования «в прямом эфире». Интервьюеры обзванивали приблизительно 200 человек, которые смотрели прошлым вечером определенную программу и спрашивали их о том, какие рекламные ролики были в этой передаче. Процент тех, кто помнил хоть что-то о рекламном ролике этого продукта, и составлял уровень «запоминания».

В то время средний уровень запоминания рекламы составлял 24 процента. А этот определенный ролик демонстрировал всего 13 процентов. Агентству и руководству клиента этот низкий уровень не давал покоя: что бы это значило? На основании прошлого опыта и профессиональных знаний они считали, что ролик был лучше, чем демонстрировал уровень запоминания, и поэтому протестировали его еще раз. На сей раз уровень запоминания подскочил до 45 процентов. Таким образом, всего за пару месяцев, два теста показали и самый низкий, и самый высокий уровень запоминания, который когда-либо показывали рекламные ролики продукта Formula 44, и оба результата относились к одному и тому же ролику.

Никто не знал, что делать с этой информацией, кроме как сказать: «По крайней мере, этот ролик не так плох, как показал первый тест». (В то время исследователи обычно тестировали запоминание рекламных роликов в разных телепередачах, потому что считали, что конкретная передача почти не оказывает влияния на уровень запоминания рекламы. Как мы увидим в Главе 11, такое влияние есть. Рекламные ролики, показанные в программах, которые нравятся людям, получают гораздо более высокий уровень запоминания, чем показанные в программах, которые людям нравятся меньше. В то время этого никто не знал, и это наиболее вероятная причина таких колебаний уровня запоминания).

Этот опыт заставил нас задуматься. Если этот основной инструмент, который отрасль использует для тестирования рекламных текстов, оказывается ненадежным, что мы знаем о надежности других инструментов, которые обычно используют исследователи? Относительно немного.

Далее, учитывая, что отношения между надежностью и валидностью несколько напоминают отношения между ходьбой и бегом – инструмент не может быть валидным, если он не является надежным – мы очень мало знаем о валидности.

Этот пункт иллюстрирует то, что до недавнего времени мы не знали, связаны ли результаты оценки рекламных текстов с уровнем продаж. Теперь мы знаем, что определенные типы тестирования текстов позволяют прогнозировать уровень продаж для нескольких широко распространенных, устоявшихся брендов упакованных товаров. Но для других продуктов мы этого не знаем.