Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных - [8]
В этом же разделе доклада сделан следующий вывод: «Анализ полной истории температур при запуске указывает на то, что критическое состояние уплотнительного кольца становится почти неизбежным, если температура стыка меньше 65 ºF [18 ºC]» (курсив мой).
Ситуация проиллюстрирована ниже на двух диаграммах. На рис. 1, а показана диаграмма, которая обсуждалась на телеконференции. Это график зависимости количества поврежденных уплотнительных колец при каждом запуске от температуры в градусах Фаренгейта. Так, при 53 ºF – самой низкой температуре воздуха при запусках в прошлом – три уплотнительных кольца достигали критического состояния, а при 75 ºF, что было самой высокой температурой, при которой осуществлялся запуск, критического состояния достигли два уплотнительных кольца. Мы видим, что нет устойчивой связи между температурой при запуске и числом поврежденных уплотнительных колец.
Однако если мы добавим отсутствующие данные по запускам, при которых не наблюдалось критических состояний уплотнительных колец, то получим совсем иную картину, изображенную на рис. 1, b. И закономерность становится очевидной. Фактически все запуски, которые произошли при температуре ниже 65 ºF, приводили к критическому состоянию уплотнительных колец, и лишь 4 из 21 запуска, осуществленных при более высоких температурах, дали подобный результат. На диаграмме четко видна закономерность – чем ниже температура, тем выше риск. И что еще хуже, прогнозируемая температура была намного ниже минимальной, при которой ранее проводились запуски (DD-тип 15: экстраполяция за пределы ваших данных).
Отсутствующие данные имеют решающее значение для понимания происходящего.
В истории Challenger, однако, остался один загадочный момент. Хотя официальному расследованию потребовался не один месяц, чтобы сделать выводы о причинах аварии, цена акций Morton Thiokol упала на 11,86 % прямо в день катастрофы. При этом изменения цены акций компании даже на 4 % были редкостью. Котировки акций других компаний, принимавших участие в создании ракеты-носителя, также упали, но существенно меньше. Такое ощущение, что рынок знал о настоящей причине аварии. Неужели снова темные данные?
Сила темных данных
Этот последний пример показывает, насколько катастрофическими могут стать ситуации, когда не обращают внимания на темные данные. А они, по всей видимости, представляют реальную опасность. Однако картина все же не настолько мрачная. Оказывается, само осознание факта существования темных данных уже может дать нам преимущество. Что-то вроде принципа дзюдо для науки о данных; и в этом дзюдо есть конкретные приемы, которые я опишу в части II книги, а пока просто назову несколько из них.
В главе 2 пойдет речь о так называемых рандомизированных контролируемых исследованиях. В главе 9 мы вновь вернемся к ним, но рассмотрим с иного ракурса. Для примера возьмем медицинские исследования, когда сравнивают два метода лечения и при этом назначают их двум группам пациентов. Однако просто разделить людей на группы недостаточно. Если известно, кому какое лечение назначено, это может повлиять на результаты – исследователи могут относиться к одной из групп более внимательно, чем к другой. Например, когда сравнивают новый непроверенный метод лечения со стандартным, исследователи, порой даже не осознавая этого, склонны тщательнее отслеживать побочные эффекты и проводить измерения в первой группе. Чтобы преодолеть эту потенциальную необъективность, в подобных исследованиях распределение методов лечения скрывают от исследователей (DD-тип 13: намеренно затемненные данные). В таких случаях говорят о слепом исследовании, чтобы указать на темные данные.
Другой хорошо известный метод, использующий темные данные, – выборочные опросы. Возможно, мы захотим узнать мнение горожан или покупателей конкретной продукции, но выяснять мнение всех без исключения слишком затратно. К тому же это занимает много времени, и мнения могут измениться. Альтернативой тотальному опросу является опрос отдельных представителей группы. Мнения тех, кто не попадает в наш опрос, и будут темными данными. Вроде бы такая стратегия выглядит рискованно – она явно напоминает историю с базой данных TARN. Но оказывается, что, используя продуманные методы отбора людей для опроса, мы можем получить точные и достоверные ответы, при этом быстрее и дешевле, чем если бы обращались к каждому.
Третий способ заставить темные данные работать на нас заключается в так называемом сглаживании данных. В главе 9 мы увидим, что этот метод сродни выявлению незамеченных и не поддающихся наблюдению видов темных данных (DD-тип 14: фальшивые и синтетические данные) и позволяет получить более точные оценки и прогнозы.
Другие способы использования темных данных, которые носят весьма экзотические названия, мы также рассмотрим в главе 9. Некоторые из них широко применяются в таких областях, как машинное обучение и искусственный интеллект.
Всюду вокруг нас
Как мы видим, темные данные вездесущи. Они могут появляться повсеместно и где угодно, а их наиболее опасное свойство заключается в том, что мы по определению не можем быть уверенными в их
“Была Прибалтика – стала Прое#алтика”, – такой крепкой поговоркой спустя четверть века после распада СССР описывают положение дел в своих странах жители независимых Литвы, Латвии и Эстонии. Регион, который считался самым продвинутым и успешным в Советском Союзе, теперь превратился в двойную периферию. России до Прибалтики больше нет дела – это не мост, который мог бы соединить пространство между Владивостоком и Лиссабоном, а геополитический буфер. В свою очередь и в «большой» Европе от «бедных родственников» не в восторге – к прибалтийским странам относятся как к глухой малонаселенной окраине на восточной границе Евросоюза с сильно запущенными внутренними проблемами и фобиями.
Известный технологический аналитик Азим Ажар помогает понять, как быстрое развитие технологий меняет экономическое и политическое устройство современного мира, и предлагает набор стратегий для устойчивого развития нашего общества в будущем. В книге подробно рассматриваются все элементы ESG: изменение отношений между сотрудниками и работодателями (социальная ответственность бизнеса), влияние на окружающую среду, роль государства в формировании устойчивой экономики. Для руководителей и владельцев бизнеса, тех, кто формирует экономическую и социальную повестку, а также всех, кто стремится разобраться, как экспоненциальные технологии влияют на общество и что с этим делать.
Второй том «Кембриджской истории капитализма» дает авторитетный обзор того, как капитализм распространялся по всему миру, как он воздействовал на страны и народы и какими разнообразными были реакции на него. Широкий географический охват и сопоставительный подход позволил коллективу ведущих специалистов выявить глобальные последствия капитализма для промышленности, сельского хозяйства и торговли, наряду с ответными реакциями правительств, фирм и рынков. Авторы показывают, как Первая мировая война остановила распространение глобального капитализма, однако к концу XX века он вновь поднялся в полный рост.
В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.
Мир в котором мы с вами живём и страна, в которой мы с вами живём, что с ними происходило и произошло за последние десять лет? Обо всём этом пишет в своих редакционных статьях главный редактор журнала "Экономические стратегии" Александр Иванович Агеев.Редакционные статьи А.И. Агеева расположены в хронологическом порядке выпусков журнала и дают нам возможность, обратившись взглядом в недалёкое ещё прошлое, вспомнить и сопоставить факты, суждения и выводы автора со своими нынешними впечатлениями и знанием фактуры нашей экономической и политической жизни последнего десятилетия.
Ясное и краткое современное изложение основных экономических законов.