Hello World. Как быть человеком в эпоху машин - [7]

Шрифт
Интервал

. К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel>[37].

По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл>[38]. Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм — если он вообще заслуживал такого названия — оказался настолько негодным, что суд признал его противоречащим Конституции>[39].

Тут надо выделить две линии неверных действий человека. Во-первых, кто-то заполнил эту бессмысленную таблицу, а во-вторых, кто-то другой наивно поверил в истинность данных. В сущности, “программа” выражала собой закодированный непрофессионализм. Но почему же люди, которые работали на государство, так рьяно защищали откровенно плохой продукт?

Вот что думает по этому поводу Эппинк:



Такая тенденция прослеживается всегда, когда дело касается результатов, полученных с помощью компьютера, — мы не подвергаем их сомнению. Если компьютер что-то рассчитывает — если есть статистик, который выводит некую формулу на основе неких данных, — мы просто верим его формуле и не спрашиваем: мол, погодите-ка, как это все работает?>[40]



Я отлично понимаю, что не все любят на досуге возиться с математическими формулами, вникая в их суть, — хотя я обожаю это занятие. Но, тем не менее, Эппинк поднимает вопрос первостепенной важности — о нашей готовности принимать выводы компьютера за чистую монету, не вникая в его тайную жизнь.

Я математик, и за годы работы с данными и программами я пришла к убеждению, что существует единственный путь объективно оценить надежность алгоритма — докопаться до принципиальных основ его работы. Мой опыт говорит, что алгоритмы во многом схожи с фокусами иллюзионистов. Сперва они и впрямь кажутся непостижимыми, но когда понимаешь, как это сделано, чары рассеиваются. Нередко за внешней сложностью скрывается что-то до смешного примитивное — или настораживающе легкомысленное. В следующих главах я постараюсь дать вам представление о невидимых глазу особенностях алгоритмов, которые мы будем обсуждать. Пусть этих знаний будет маловато для того, чтобы самостоятельно произвести расчеты, но для понимания процесса — достаточно.

Однако даже самые въедливые математики порой вынуждены верить алгоритму “на слово”. Например, потому что проверка его деятельности практически невыполнима, как в случае со Skyscanner и поисковиком Google. Или программа может оказаться “засекреченной”, как алгоритм бюджетного регулирования в Айдахо и кое-какие другие программы, которые нам встретятся. Бывает и так, что попросту невозможно проследить логические связки в алгоритме — например, в некоторых системах машинного обучения.

Иногда мы будем вынуждены передавать управление “незнакомцу”, даже зная, что алгоритм может ошибиться. Нам придется сопоставлять собственное мнение с мнением машины. И если мы решим, что следует доверять не расчетам, а нашей интуиции, нам понадобится отвага, чтобы настоять на своем.

Когда нельзя уступать

Офицер Советской армии Станислав Петров отвечал за мониторинг системы предупреждения о ракетном нападении, которая охраняла воздушное пространство СССР. В том случае, если компьютер укажет на какие-либо признаки атаки со стороны США, Петров обязан был незамедлительно доложить командованию>[41].

26 сентября 1983 года он заступил на дежурство, и вскоре после полуночи взвыли сирены. Одна только мысль о таком сигнале тревоги наводила ужас: советские спутники засекли вражескую ракету, направлявшуюся к территории СССР. Холодная война была в разгаре, поэтому удар казался вполне вероятным, однако что-то заставило Петрова повременить с докладом. Он не был уверен в безусловной правоте алгоритма. Компьютер зафиксировал всего лишь пять запусков — в столь нерешительных действиях США не было никакой логики>[42].

Петров замер в своем рабочем кресле. От него зависело, рапортовать о нападении и почти наверняка развязать мировую ядерную войну, или нарушить протокол и выждать, хотя он понимал, что с каждой секундой у руководства его страны остается все меньше времени на ответный удар.

Нам страшно повезло, потому что Петров выбрал второй вариант. Он не мог знать наверняка, что сигнал тревоги прозвучал по ошибке, но через двадцать три минуты (должно быть, они показались ему целой вечностью), когда стало ясно, что на советскую землю не упала ни одна боеголовка, он наконец убедился в своей правоте. Программа дала сбой.

Если бы система работала абсолютно автономно, не имея над собой такого контролера, как Станислав Петров, мировая история пошла бы совсем по другому сценарию. Надо думать, Москва отреагировала бы адекватно (как она полагала бы), и началась бы полномасштабная ядерная война. Из этого эпизода мы должны вывести мораль: в таких процессах ключевую роль играет человеческий фактор; избежать ошибки можно только тогда, когда человек видит указания алгоритма и может наложить вето раньше, чем будет принято решение.


Еще от автора Ханна Фрай
Математика любви. Закономерности, доказательства и поиск идеального решения

Казалось бы, что общего у любви и математики? Автор книги, профессор математики Лондонского университета Ханна Фрай, убедительно доказывает: математические формулы вполне способны рассказать нам что-то новое о любви и отношениях. Пусть наши чувства хаотичны и с трудом поддаются анализу, но ведь математика давно научилась работать с хаосом – идет ли речь о поведении элементарных частиц или демографических проблемах. Как бы причудливы и изменчивы ни были законы любви, математика в состоянии не только описать их, но и предложить ряд практических идей – от теории флирта и оптимального алгоритма поведения на вечеринке до прогнозирования числа гостей на свадьбе и даже их рассадки за столом.


Рекомендуем почитать
Британские интеллектуалы эпохи Просвещения

Кто такие интеллектуалы эпохи Просвещения? Какую роль они сыграли в создании концепции широко распространенной в современном мире, включая Россию, либеральной модели демократии? Какое участие принимали в политической борьбе партий тори и вигов? Почему в своих трудах они обличали коррупцию высокопоставленных чиновников и парламентариев, их некомпетентность и злоупотребление служебным положением, несовершенство избирательной системы? Какие реформы предлагали для оздоровления британского общества? Обо всем этом читатель узнает из серии очерков, посвященных жизни и творчеству литераторов XVIII века Д.


Средневековый мир воображаемого

Мир воображаемого присутствует во всех обществах, во все эпохи, но временами, благодаря приписываемым ему свойствам, он приобретает особое звучание. Именно этот своеобразный, играющий неизмеримо важную роль мир воображаемого окружал мужчин и женщин средневекового Запада. Невидимая реальность была для них гораздо более достоверной и осязаемой, нежели та, которую они воспринимали с помощью органов чувств; они жили, погруженные в царство воображения, стремясь постичь внутренний смысл окружающего их мира, в котором, как утверждала Церковь, были зашифрованы адресованные им послания Господа, — разумеется, если только их значение не искажал Сатана. «Долгое» Средневековье, которое, по Жаку Ле Гоффу, соприкасается с нашим временем чуть ли не вплотную, предстанет перед нами многоликим и противоречивым миром чудесного.


Польская хонтология. Вещи и люди в годы переходного периода

Книга антрополога Ольги Дренды посвящена исследованию визуальной повседневности эпохи польской «перестройки». Взяв за основу концепцию хонтологии (hauntology, от haunt – призрак и ontology – онтология), Ольга коллекционирует приметы ушедшего времени, от уличной моды до дизайна кассет из видеопроката, попутно очищая воспоминания своих респондентов как от ностальгического приукрашивания, так и от наслоений более позднего опыта, искажающих первоначальные образы. В основу книги легли интервью, записанные со свидетелями развала ПНР, а также богатый фотоархив, частично воспроизведенный в настоящем издании.


Уклоны, загибы и задвиги в русском движении

Перед Вами – сборник статей, посвящённых Русскому национальному движению – научное исследование, проведённое учёным, писателем, публицистом, социологом и политологом Александром Никитичем СЕВАСТЬЯНОВЫМ, выдвинувшимся за последние пятнадцать лет на роль главного выразителя и пропагандиста Русской национальной идеи. Для широкого круга читателей. НАУЧНОЕ ИЗДАНИЕ Рекомендовано для факультативного изучения студентам всех гуманитарных вузов Российской Федерации и стран СНГ.


Топологическая проблематизация связи субъекта и аффекта в русской литературе

Эти заметки родились из размышлений над романом Леонида Леонова «Дорога на океан». Цель всего этого беглого обзора — продемонстрировать, что роман тридцатых годов приобретает глубину и становится интересным событием мысли, если рассматривать его в верной генеалогической перспективе. Роман Леонова «Дорога на Океан» в свете предпринятого исторического экскурса становится крайне интересной и оригинальной вехой в спорах о путях таксономизации человеческого присутствия средствами русского семиозиса. .


Ванджина и икона: искусство аборигенов Австралии и русская иконопись

Д.и.н. Владимир Рафаилович Кабо — этнограф и историк первобытного общества, первобытной культуры и религии, специалист по истории и культуре аборигенов Австралии.