Hello World. Как быть человеком в эпоху машин - [7]

Шрифт
Интервал

. К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel>[37].

По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл>[38]. Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм — если он вообще заслуживал такого названия — оказался настолько негодным, что суд признал его противоречащим Конституции>[39].

Тут надо выделить две линии неверных действий человека. Во-первых, кто-то заполнил эту бессмысленную таблицу, а во-вторых, кто-то другой наивно поверил в истинность данных. В сущности, “программа” выражала собой закодированный непрофессионализм. Но почему же люди, которые работали на государство, так рьяно защищали откровенно плохой продукт?

Вот что думает по этому поводу Эппинк:



Такая тенденция прослеживается всегда, когда дело касается результатов, полученных с помощью компьютера, — мы не подвергаем их сомнению. Если компьютер что-то рассчитывает — если есть статистик, который выводит некую формулу на основе неких данных, — мы просто верим его формуле и не спрашиваем: мол, погодите-ка, как это все работает?>[40]



Я отлично понимаю, что не все любят на досуге возиться с математическими формулами, вникая в их суть, — хотя я обожаю это занятие. Но, тем не менее, Эппинк поднимает вопрос первостепенной важности — о нашей готовности принимать выводы компьютера за чистую монету, не вникая в его тайную жизнь.

Я математик, и за годы работы с данными и программами я пришла к убеждению, что существует единственный путь объективно оценить надежность алгоритма — докопаться до принципиальных основ его работы. Мой опыт говорит, что алгоритмы во многом схожи с фокусами иллюзионистов. Сперва они и впрямь кажутся непостижимыми, но когда понимаешь, как это сделано, чары рассеиваются. Нередко за внешней сложностью скрывается что-то до смешного примитивное — или настораживающе легкомысленное. В следующих главах я постараюсь дать вам представление о невидимых глазу особенностях алгоритмов, которые мы будем обсуждать. Пусть этих знаний будет маловато для того, чтобы самостоятельно произвести расчеты, но для понимания процесса — достаточно.

Однако даже самые въедливые математики порой вынуждены верить алгоритму “на слово”. Например, потому что проверка его деятельности практически невыполнима, как в случае со Skyscanner и поисковиком Google. Или программа может оказаться “засекреченной”, как алгоритм бюджетного регулирования в Айдахо и кое-какие другие программы, которые нам встретятся. Бывает и так, что попросту невозможно проследить логические связки в алгоритме — например, в некоторых системах машинного обучения.

Иногда мы будем вынуждены передавать управление “незнакомцу”, даже зная, что алгоритм может ошибиться. Нам придется сопоставлять собственное мнение с мнением машины. И если мы решим, что следует доверять не расчетам, а нашей интуиции, нам понадобится отвага, чтобы настоять на своем.

Когда нельзя уступать

Офицер Советской армии Станислав Петров отвечал за мониторинг системы предупреждения о ракетном нападении, которая охраняла воздушное пространство СССР. В том случае, если компьютер укажет на какие-либо признаки атаки со стороны США, Петров обязан был незамедлительно доложить командованию>[41].

26 сентября 1983 года он заступил на дежурство, и вскоре после полуночи взвыли сирены. Одна только мысль о таком сигнале тревоги наводила ужас: советские спутники засекли вражескую ракету, направлявшуюся к территории СССР. Холодная война была в разгаре, поэтому удар казался вполне вероятным, однако что-то заставило Петрова повременить с докладом. Он не был уверен в безусловной правоте алгоритма. Компьютер зафиксировал всего лишь пять запусков — в столь нерешительных действиях США не было никакой логики>[42].

Петров замер в своем рабочем кресле. От него зависело, рапортовать о нападении и почти наверняка развязать мировую ядерную войну, или нарушить протокол и выждать, хотя он понимал, что с каждой секундой у руководства его страны остается все меньше времени на ответный удар.

Нам страшно повезло, потому что Петров выбрал второй вариант. Он не мог знать наверняка, что сигнал тревоги прозвучал по ошибке, но через двадцать три минуты (должно быть, они показались ему целой вечностью), когда стало ясно, что на советскую землю не упала ни одна боеголовка, он наконец убедился в своей правоте. Программа дала сбой.

Если бы система работала абсолютно автономно, не имея над собой такого контролера, как Станислав Петров, мировая история пошла бы совсем по другому сценарию. Надо думать, Москва отреагировала бы адекватно (как она полагала бы), и началась бы полномасштабная ядерная война. Из этого эпизода мы должны вывести мораль: в таких процессах ключевую роль играет человеческий фактор; избежать ошибки можно только тогда, когда человек видит указания алгоритма и может наложить вето раньше, чем будет принято решение.


Еще от автора Ханна Фрай
Математика любви. Закономерности, доказательства и поиск идеального решения

Казалось бы, что общего у любви и математики? Автор книги, профессор математики Лондонского университета Ханна Фрай, убедительно доказывает: математические формулы вполне способны рассказать нам что-то новое о любви и отношениях. Пусть наши чувства хаотичны и с трудом поддаются анализу, но ведь математика давно научилась работать с хаосом – идет ли речь о поведении элементарных частиц или демографических проблемах. Как бы причудливы и изменчивы ни были законы любви, математика в состоянии не только описать их, но и предложить ряд практических идей – от теории флирта и оптимального алгоритма поведения на вечеринке до прогнозирования числа гостей на свадьбе и даже их рассадки за столом.


Рекомендуем почитать
Веселая Эрата. Секс и любовь в мире русского Средневековья

Книга Евгения Мороза посвящена исследованию секса и эротики в повседневной жизни людей Древней Руси. Автор рассматривает обширный и разнообразный материал: епитимийники, берестяные грамоты, граффити, фольклорные и литературные тексты, записки иностранцев о России. Предложена новая интерпретация ряда фольклорных и литературных произведений.


Застолье Петра Вайля

В книге “Застолье Петра Вайля” собраны выступления знаменитого писателя на Радио Свобода – с 1986-го по 2008 год. О себе и других; о литературе, музыке, кино, театре, телевидении, политике, кулинарии и сексе. В предисловии Иван Толстой заметил: “Хотя никто не назвал бы Петра приверженцем студии, тем не менее, радио удивительно гармонировало с его натурой. Здесь по определению военная дисциплина: это почтальон может переждать дождик под деревом, а радиоведущий, хочешь – не хочешь, открывает рот при включении красного фонаря.


Антология исследований культуры. Символическое поле культуры

Антология составлена талантливым культурологом Л.А. Мостовой (3.02.1949–30.12.2000), внесшей свой вклад в развитие культурологии. Книга знакомит читателя с антропологической традицией изучения культуры, в ней представлены переводы оригинальных текстов Э. Уоллеса, Р. Линтона, А. Хэллоуэла, Г. Бейтсона, Л. Уайта, Б. Уорфа, Д. Аберле, А. Мартине, Р. Нидхэма, Дж. Гринберга, раскрывающие ключевые проблемы культурологии: понятие культуры, концепцию науки о культуре, типологию и динамику культуры и методы ее интерпретации, символическое поле культуры, личность в пространстве культуры, язык и культурная реальность, исследование мифологии и фольклора, сакральное в культуре.Широкий круг освещаемых в данном издании проблем способен обеспечить более высокий уровень культурологических исследований.Издание адресовано преподавателям, аспирантам, студентам, всем, интересующимся проблемами культуры.


Бесы. Приключения русской литературы и людей, которые ее читают

«Лишний человек», «луч света в темном царстве», «среда заела», «декабристы разбудили Герцена»… Унылые литературные штампы. Многие из нас оставили знакомство с русской классикой в школьных годах – натянутое, неприятное и прохладное знакомство. Взрослые возвращаются к произведениям школьной программы лишь через много лет. И удивляются, и радуются, и влюбляются в то, что когда-то казалось невыносимой, неимоверной ерундой.Перед вами – история человека, который намного счастливее нас. Американка Элиф Батуман не ходила в русскую школу – она сама взялась за нашу классику и постепенно поняла, что обрела смысл жизни.


Мир саги. Становление литературы

В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.


Очерки истории европейской культуры нового времени

Книга известного политолога и публициста Владимира Малинковича посвящена сложным проблемам развития культуры в Европе Нового времени. Речь идет, в первую очередь, о тех противоречивых тенденциях в истории европейских народов, которые вызваны сложностью поисков необходимого равновесия между процессами духовной и материальной жизни человека и общества. Главы книги посвящены проблемам гуманизма Ренессанса, культурному хаосу эпохи барокко, противоречиям того пути, который был предложен просветителями, творчеству Гоголя, европейскому декадансу, пессиместическим настроениям Антона Чехова, наконец, майскому, 1968 года, бунту французской молодежи против общества потребления.