Искусственный интеллект на службе бизнеса - [12]

Физик, инженер и статистик отправились на охоту. В лесу они увидели оленя.

Физик прикинул расстояние до цели, скорость и понижение траектории пули, сделал нужные поправки, выстрелил – и промахнулся на полтора метра влево.

Расстроенный инженер упрекнул его: «Ты забыл сделать поправку на ветер. Дай сюда ружье!» Он лизнул палец, поднял руку вверх, определил направление и скорость ветра, выстрелил – и промахнулся на полтора метра вправо.

И тут статистик закричал: «Ура! Попали!» Заметим, что он даже не расчехлил ружье.

Идеальная точность в среднем иногда говорит о том, что каждый отдельный результат ошибочен. Регрессия может постоянно промахиваться на полтора метра влево и вправо. Даже если средний показатель оказывается верным, не исключено, что регрессия ни разу не попала в цель.

В отличие от регрессии, прогноз методом машинного обучения может быть ошибочным в среднем, но если промахивается, то ненамного. Статистики называют это допущением незначительных отклонений ради снижения расхождений.

Важное отличие машинного обучения от регрессионного анализа заключается в способе разработки новых методов. В процессе создания нового метода машинного обучения необходимо доказать повышенную эффективность на практике, для разработки же новых методов регрессии достаточно их работоспособности в теории. Сосредоточившись на практике, разработчики машинного обучения получают свободу для экспериментов, даже если их методы дают неверные оценки или отклонения в среднем. Именно свобода экспериментировать способствовала стремительным улучшениям, благодаря которым стало возможным воспользоваться преимуществами большого объема данных и быстродействующих компьютеров, появившихся в последние годы.

В конце 1990-х и начале 2000-х успех экспериментов с машинным обучением для прогнозирования оттока клиентов был скромным. Методы машинного обучения совершенствовались, но регрессия все еще давала в целом лучшие результаты. Данных хватало, а компьютеры не были настолько мощными, чтобы реализовать все преимущества машинного обучения.

Например, центр Teradata в Университете Дьюка в 2004 году провел турнир по анализу данных для прогнозирования оттока клиентов. Тогда подобные события были редкостью; любой мог подать заявку, а выигрыш выплачивался наличными. В призовых заявках использовались регрессионные модели. Некоторые методы машинного обучения продемонстрировали неплохие результаты, но методы нейронной сети, впоследствии совершившие революцию в ИИ, никуда не годились. В 2016 году все выглядело уже наоборот: в лучших моделях прогнозирования оттока клиентов использовалось машинное обучение, а модели с глубоким обучением (нейронными сетями) обошли все остальные.

Что же изменилось? Во-первых, объем данных и мощность компьютеров стали достаточными для повсеместного использования машинного обучения. В 1990-е было трудно собрать действительно большой объем данных. Например, в классическом исследовании прогнозирования оттока использовалось 650 клиентов и менее 30 переменных.

К 2004 году компьютерная обработка и хранение данные усовершенствовались. В турнире Дьюка обучающий набор данных содержал информацию о сотнях переменных для десятков тысяч клиентов. При таких условиях методы машинного обучения улучшились до уровня регрессии, если не превзошли его.

Современные исследователи прогнозируют отток на основе тысяч переменных и миллионов клиентов. Возросшая мощность компьютеров дала возможность анализировать огромный объем данных, включая, помимо чисел, тексты и изображения.

Например, в модели прогнозирования оттока клиентов мобильной связи исследователи использовали данные почасовой истории звонков помимо стандартных переменных, таких как сумма счета и пунктуальность оплаты.

Методы машинного обучения улучшились также за счет эффективного использования доступных данных. В конкурсе Дьюка ключевой составляющей успеха был выбор, какие данные использовать из сотен имеющихся и какую применять статистическую модель. В лучших методах того времени, будь то машинное обучение или классическая регрессия, переменные и модель выбирали с помощью комбинации статистических критериев и интуиции. Современные методы машинного (и особенно глубокого) обучения позволяют гибкость, то есть переменные сочетаются самым неожиданным образом. Скажем, клиенты со счетами на большие суммы, расходующие минуты в начале расчетного периода, уйдут с меньшей вероятностью, чем клиенты со счетами на более крупные суммы, но расходующие минуты в конце расчетного периода. Или клиенты с внушительным счетом за роуминг в выходные, которые к тому же задерживают оплату и часто обмениваются текстовыми сообщениями, уйдут с повышенной вероятностью. Такие комбинации могут сыграть в прогнозах решающую роль, но их трудно предусмотреть. И поэтому их не включают в стандартные регрессионные модели. Машинное обучение предоставляет компьютеру выбор комбинаций и взаимодействий, имеющий значение для него, а не для программиста.

Прогресс методов машинного обучения в целом и глубокого обучения в частности свидетельствует о возможности эффективного применения доступных данных для точного прогнозирования оттока клиентов. И сейчас очевидно их превосходство над регрессией и многими другими методами.