О чем говорят цифры. Как понимать и использовать данные - [2]

Нормативная аналитика ориентируется на более широкий круг задач и включает такие методы, как проведение экспериментов и оптимизация. Подобно тому как доктор выписывает рецепт, нормативная аналитика предлагает направление действий. Эксперимент призван ответить на вопросы о причине тех или иных явлений. Чтобы с уверенностью делать выводы о причинных связях, исследователи изменяют одну или несколько независимых переменных и наблюдают реакцию зависимой переменной, одновременно контролируя внешние по отношению к исследуемой системе факторы. Если тестовая группа, подчиняющаяся условию эксперимента, показывает существенно лучшие результаты по сравнению с контрольной группой, то ответственный менеджер может принять решение о широком внедрении этого условия.

Еще один вид нормативной аналитики – оптимизация. Она направлена на выявление оптимального значения конкретной переменной во взаимосвязи с другой переменной. Например, нам необходимо рассчитать цену продукта, обеспечивающую максимальную рентабельность его продаж. В розничной торговле оптимизационный подход таким же образом позволяет выявить уровень запасов, гарантирующий отсутствие сбоев из-за временного отсутствия какого-либо товара.

В зависимости от применяемых методов и видов данных, подлежащих сбору и анализу, аналитику можно разделить на количественную и качественную. Цель качественной аналитики состоит в углубленном понимании причин и мотивов тех или иных явлений. Обычно для этого собирают ограниченное количество неструктурированных данных на основе нерепрезентативной выборки[2], а анализ проводят нестатистическими методами. Качественная аналитика полезна при проведении поисковых исследований, то есть на первом этапе исследований аналитических. Количественная аналитика представляет собой систематическое изучение событий при помощи статистических, математических и вычислительных процедур. На основе сбора информации о большом количестве репрезентативных событий с последующей статистической обработкой обычно получают структурированные данные.

В зависимости от целей исследователи применяют различные аналитические методы:

статистика – сбор, систематизация, анализ, интерпретация и оглашение данных;

прогнозирование – оценка динамики той или иной переменной в определенный момент в будущем на основе данных о ее динамике в прошлом;

интеллектуальный анализ данных (Data mining) – автоматизированное или полуавтоматизированное выявление ранее неизвестных зависимостей в больших массивах данных с помощью специальных вычислительных алгоритмов или статистических методов;

интеллектуальный анализ текстов – выявление неизвестных зависимостей или тенденций в тексте методами, подобными интеллектуальному анализу данных;

оптимизация – использование математических методов для того, чтобы найти оптимальные решения на основе заданных критериев и установленных ограничений.

эксперимент – формирование тестовой и контрольной групп методом случайного отбора и выявление причин и степени влияния независимых переменных на зависимую переменную.

В этом списке приведены широко известные аналитические методы, причем многие из них используют одни и те же аналитические приемы и процедуры. Например, регрессионный анализ – наиболее распространенный аналитический прием в предсказательной аналитике – не менее популярен и в статистике, прогнозировании и интеллектуальном анализе данных. Точно так же анализ временных рядов, специальная аналитическая процедура из арсенала статистики, предназначенная для анализа меняющихся во времени значений переменных, используется не только в статистике, но и в прогнозировании.

Учетные данные, помогающие принимать решения по персоналу (мы уже говорили о них), являются структурированными (легко представляются в виде таблицы), количественными и относительно небольшими по объему (не более терабайта или двух даже в очень крупных компаниях). Такие данные традиционно использовались в аналитике, поэтому назовем их малыми данными. Долгое время аналитики ни с чем другим дела не имели.

Но сегодня крупные компании, некоммерческие организации и даже стартапы сталкиваются с так называемыми большими данными – неструктурированными массивами информации колоссальных объемов. Их источниками могут быть онлайновые дискуссии в интернете, видеоматериалы или данные анализа ДНК пациентов больницы. У данных такого рода объем намного больше – иногда тысячи петабайт[3]. Например, Google обрабатывает порядка 24 петабайт интернет-данных ежедневно, а AT&T[4] передает по телекоммуникационным сетям около 30 петабайт музыки и прочих данных в день. Благодаря новым прикладным компьютерным программам и техническим новшествам мы можем анализировать огромные массивы данных и извлекать из них полезную информацию.

Что такое большие данные

Термин большие данные применяется для обозначения данных уникально большого объема или неструктурированных данных. Приведем несколько примеров:

• За месяц 600 миллионов пользователей Facebook добавили в сеть 30 миллиардов единиц контента.

• Компания Zynga, занимающаяся сетевыми виртуальными играми, ежедневно обрабатывает более петабайта игровой информации.