Веб-аналитика: анализ информации о посетителях веб-сайтов - [150]
показатель переходов: 1,21%.
Обработка этих чисел на простом статистическом калькуляторе показывает, что два числа дают среднеквадратичное отклонение 1,74, а коэффициент результатов в 95% статистически существен.
Значение в 95% — это четкий сигнал. На его основании, а также выборки 5 000 и более, чем 60 ответов[49] мы можем уверенно заявить, что предложение 2 лучше предложения 1.
На самом ли деле это настолько трудно сделать? Нет! После того как вы загрузили электронную таблицу (http://www.teasley.net/statcalc.xls), достаточно просто вставить свои числа в соответствующие ячейки (либо вы можете посетить один из указанных выше веб-сайтов и вычислить значение). Данная методика применима ко всем граням вашего анализа, включая следующие:
• маркетинговые кампании в поисковых системах;
• различные кампании прямого маркетинга и предложения;
• все виды процентных показателей (например, процент трафика, который достиг цели из точки входа 1 или точки входа 2, или эффективность рекламной страницы, привлекающей посетителей);
• разницу между результатами проверок A/B или многопараметрических проверок.
Вот несколько мощных, но очень тонких преимуществ современной статистической значимости перед простым показателем переходов.
• Вы устраняете из уравнения себя; достаточно грозно заявить: “Согласно богам статистики имеются такие результаты”.
• Сосредоточение на качестве сигнала означает, что мы становимся более интеллектуальными, чем люди, снабжающие нас аналитикой (это может звучать банально, но в мире, переполненном данными и проблемами, важность качества сигнала (signal quality) трудно переоценить, по крайней мере с точки зрения доверия к вам и вашим числам при достижении серьезных бизнес-результатов).
• Вы устраняете из уравнения вопросы (question) и размышления (thinking). Если нечто статистически существенно, то мы принимаем меры, или, наоборот, говорим, что это несущественно и нужно попытаться придумать что-нибудь еще. Никакого составления отчетов, только действенное понимание.
Совет. Рекомендуется стремиться к 95 и выше процентам достоверности. Это не обязательно, но желательно.
“Статистика, как бикини. То, что они демонстрируют, наводит на размышления, но то, что они скрывают, еще интересней”, — Аарон Левенстейн (Aaron Levenstein). Со временем вы поймете, что статистике никто еще не давал столь компетентного определения.
Статистическая значимость — это всего лишь еще один маленький “инструмент” в арсенале статистики. Желательно, чтобы вы (или по крайней мере ваши аналитики) были хорошо осведомлены о статистических принципах и искали релевантные возможности применить их в собственном анализе. Ныне этот тип осведомленности становится почти обязательным, поскольку мы энергично вторгаемся в такие области, как многопараметрическая проверка.
В этой книге мы рассмотрели много примеров сегментации, даже если они не были описаны явно. На настоящий момент, опираясь либо на мнение настоящей книги, либо на собственный опыт анализа, вы, вероятно, уяснили, что абсолютные числа (KPI), которые представляют лишь отдельное значение, бывают редко полезны. Например, о чем говорит количество переходов в мае? Само по себе ни о чем.
Поняв, что составление отчетов с одними текущими числами не слишком полезно, все мы переходим к измерению тенденций, которые придали бы более обстоятельный контекст нашим показателям. Например, какова тенденция моего показателя переходов с января по май (или даже лучше с мая прошлого года по май нынешнего)? Полученная в результате таблица или график предоставит хороший контекст для текущей эффективности (она выше или ниже, чем за аналогичный период прошлого года).
Но даже тенденции не обеспечивают всего контекста, необходимого для поиска понимания, которое можно было бы преобразовать в действие. Для этого мы устанавливаем новое правило: никогда не предоставляйте отчет о показателе (даже самом популярном или любимом KPI) без сегментации на несколько уровней вглубь. Это единственный способ получить глубокое понимание того, что за этим показателем скрывается на самом деле ценная информация, которую вы можете использовать.
Мощь сегментации показателя в том, что вы можете заглянуть за занавес и выяснить о показателе больше. Вот лишь несколько преимуществ, которые обеспечивает сегментация.
• Невозможно сегментировать ни один показатель, не приложив усилий для понимания того, за какой практический результат данный показатель отвечает. Это трудная работа, но для получения глубокого понимания она чрезвычайно ценна. Кроме того, как говорится, что вас не убьет, сделает сильнее.
• Сегментация позволяет быстрее сосредоточиться на критически важных элементах данных и глубже погрузиться в поиск ключевого понимания, которые стимулируют реальное и значительное действие.
• Зачастую руководство и ответственные лица не понимают всей сложности и магии веб-впечатлений. Демонстрация им сегментированных тенденций является чрезвычайно эффективным коммуникационным инструментом (необходимо только сначала объяснить, что и где изображено).