Big data простым языком [заметки]
1
По некоторым оценкам используется цифра 760,6 мегабайт для ХХ-хромосом и 735,9 мегабайт для XY-хромосом, или используется оценка в 400 мегабайт на один сперматозоид, что, в принципе, еще больше.
2
3
Горелов И. Н., Седов К. Ф. Основы психолингвистики. М., 2001. С. 105–106. Тер-Минасова С. Г. Язык и межкультурная коммуникация. М., 2000. С. 29–30.
4
Горелов И. Н., Седов К. Ф. Основы психолингвистики. М., 2001. С. 105–106. Тер-Минасова С. Г. Язык и межкультурная коммуникация. М., 2000. С. 29–30.
5
Ханс Геста Рослинг – шведский врач, академик, профессор Каролинского института по вопросам международного здравоохранения, специалист по статистике и всемирно известный лектор.
6
E-Gov – технологично-центрированная, реактивная среда предоставления государственных сервисов в электронном формате. Начальный этап развития цифрового государства, который измеряется процентом покрываемых существующих сервисов в электронном виде.
7
В соответствии с 152-ФЗ «О персональных данных».
8
В соответствии с 152-ФЗ «О персональных данных».
9
В соответствии с письмом ФНС РФ от 23.11.15 № 11–06/0733, поле «ИНН» стало обязательным реквизитом при подаче справки 2-НДФЛ.
10
Позднее размер штрафа предлагалось увеличить до пятисот рублей с одной записи, где нет обязательного атрибута ИНН.
11
Эти главы я писал под действием сильных психотропных препаратов, поэтому они могут показаться вам глубокими и сложными.
Но без них практически невозможно понять, о чем здесь написано.
12
13
What data for data-driven learning? Alex Boulton, 2011 Nottingham. https://files.eric.ed.gov/fulltext/ED544438.pdf
14
Согласно Wikipedia, ко́рпус (в данном значении множественное число – ко́рпусы, не корпуса́) – подобранная и обработанная по определенным правилам совокупность текстов, используемых в качестве базы для исследования языка.
15
Согласно Wikipedia, это – статистическая модель, имитирующая работу процесса, похожего на марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов.
16
Strength in Numbers: How Does Data-Driven Decisionmaking Affect Firm Performance?
17
18
Книга «Черный Лебедь. Под знаком непредсказуемости» Насим Таллеб.
19
Рекомендую посмотреть документальный фильм – АльфаГо.
20
Приобретена Google.
21
Оценка известного писателя-фантаста Вернона Винджу – 2030, а известного изобретателя и футуролога Реймонда Курцвейла – 2045.
22
Известный эксперт Малькольм Чисхолм (Malcolm Chrishom), который работает в области управления данными более 25 лет, подготовил и опубликовал концепцию жизненного цикла данных.
23
По версии DAMA Internation – независимая некоммерческая профессиональная организация, разрабатывающая стандарты по управлению данными DMBOK (Data Management Book of Knowledge).
24
Например, по модели Johnson и Scholes.
25
26
По итогам обзора Digital Rights Center.
27
28
Американский ученый австрийского происхождения; экономист, публицист, педагог, один из самых влиятельных теоретиков менеджмента XX века.
29
По оценке Emeritas, одного из ведущих американских агентств по исследованию данных и расчета жизненного цикла для клиента (customer lifetime value).
30
Товар или услуга, которые предоставляются различными конкурирующими компаниями, но качество товара или услуги при этом никак не меняется.
31
Data Silos – или резервуар данных, это фиксированные данные, которые находятся под контролем одного департамента и не передаются другим департаментам.
32
Garded Goh, Status и другие.
33
По версии Harward Business Review.
34
35
Организована при поддержке Stanford Center on Philanthropy and Civil Society (Stanford PACS, Bill & Melinda Gates Foundation, трейдинговой компанией Liquidnet, и Knight Foundation).
36
По версии Medium.com.
37
38
Например, создания единой канонической модели данных для передачи по интеграционному слою для всех источников данных внутри организации.
39
В статье Laurel Brulk, эксперт в области данных и маркетинга, указывает на особенности профессии data engineer.
40
41
Непрерывная фрактальная заполняющая пространство кривая, являющаяся вариантом кривой Гильберта.
42
Организована при поддержке Stanford Center on Philanthropy and Civil Society (Stanford PACS, Bill & Melinda Gates Foundation, трейдинговой компанией Liquidnet и Knight Foundation).
43
По оценке в конфигурации из 16 ТБ
44
45
46
47
48
Согласно Definition of Done, в полной мере понятна людям знакомыми с философией Scrum. Под определение сделанной задачи попадает задача, которая не нуждается в доработках.
49
50
51
52
53
Известный консультант в области данных, который проработал в различных компаниях таких как Adobe, Test&Target и других.
54
Антонио Дамассио.
55
56
57
58
59
60
61
Взаимосвязанные этапы единого процесса по привлечению новых клиентов и продаже продуктов.
62
См. книгу SAS Best Practices “Storytelling in Business” by Bree Baich и Analise Polsky. https://www.sas.com/content/dam/SAS/en_us/doc/whitepaper1/storytelling-n-business-109014.pdf
63
64
Было позднее в 2007 году приобретено Google Inc и позднее решение было переименовано в Google Public Data Explorer. В 2016 оно включило в себя так же все возможности Google Analytics Suite.
65
66
67
68
69
70
71
72
73
74
75
Выступление Джефри The Future of Data Visualisation 2015 – Strata + Hadoop World Conference (San Jose).
76
77
78
79
80
Репозиторий с программой позволяющей обрабатывать PDF-файлы, которые публиковали власти города Нью-Йорк.
81
82
Бил де Блазио, мэр города Нью-Йорка с 2014 года.
83
84
85
86
87
Health Insurance Portability and Accountability Act (HIPAA).
88
89
90
91
92
93
94
Flash Boys: Высокочастотная революция на Уолл-Стрит. Автор: Майл Льюис, 2014 год.
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
Международные стандарты финансовой отчетности.
120
В разных аудиторских практиках есть разные подходы. Некоторые из них определяют, что необходимо контролировать размер всех неучтенных разниц ниже «порога чувствительности», чтобы они в своей сумме не превышали сам размер порога. То есть, если порог чувствительности 1 млрд руб., то сумма всех разниц ниже этого порога, должна быть меньше 1 млрд руб., тогда аудитор не обращает на это внимания.
121
Для тех, кто находится в глухом и недосягаемом танке, имеется в виду специальное мобильное приложение, через которое люди могут видеть состояние своих банковских счетов и выполнять банковские операции.
122
Организация, которая в соответствии с законом обязана платить налоги на получаемый доход в ФНС.
123
Справка о доходах физического лица, полученных за определенный отчетный период в конкретной организации.
124
Ставка, под которую Центральный банк всем кредитным организациям выдает деньги.
125
126
127
Вначале 2000-х «Горбушкой» назывался рынок, находящийся рядом со станцией метро «Багратионовская» в Москве, где можно было купить на отдельном компакт-диске (лазерный диск) всю необходимую базу данных о различных пользователях.
128
Веб-версия приложения для работы с банковскими операциями, куда можно попасть по специальному логину.
129
Имеется в виду разделение на тех, кто зарабатывает деньги (то есть заключает сделки и продает сервис), и тех, кто поддерживает работу организации.
130
Так я ласково называют всевозможные IT-сервисы, связанные с данными, то есть просто тупо обобщаю, чтобы даже простые смертные смогли это понять, как настоятельно просило меня издательство.
131
Правление минус две позиции, то есть начальник управления или подразделения.
132
133
Файлы, в которые записываются все события, происходящие в каждой системе.
135
136
137
20 % усилий дают 80 % результата.
138
Master Data Management – платформа управления мастер-данными.
139
Например, выпадающие списки, где можно выбрать значение только из списка.
140
Так как источников ввода может быть много, то допускается, что они сгружают из систем в решение по тому или иному домену по обработке данных.
141
Централизованным он называется потому, что инструмент становится мастер источником для всех остальных систем и распространяет заведомо качественный и согласованный контент, который в нем появляется.
142
Customer Data Integration platform.
143
Reference Data Management.
144
Нормативно-справочная информация.
145
Product Information Management.
146
Product Lifecycle Management.
147
Согласно одному из определений, данных в журнале Harvard Business Review.
148
Event-driven process chain – событийная цепочка процессов, определенный тип блок-схемы, используемый для бизнес моделирования. Существуют различные вариации использования нотации (alternative, extended и так далее).
149
150
151
152
153
154
(англ.) «Мусор на входе – мусор на выходе».
