Что мы думаем о машинах, которые думают - [20]

Шрифт
Интервал

Knight Capital ничего не потеряла, кроме денег. По мере того как программы принимают на себя управление большим числом экономических, социальных, военных и личных процессов, затраты, связанные с ошибками, авариями и непредвиденными эффектами, будут расти. Риски усиливаются из-за невидимости программного кода. И как отдельные личности, и как общество мы все больше зависим от алгоритмов искусственного интеллекта, которых мы не понимаем. Их действия, а также мотивация и намерения, которые формируют эти действия, скрыты от нас. Создается дисбаланс сил, и он оставляет нас открытыми для тайного наблюдения и манипуляций. В прошлом году нам были даны кое-какие намеки по поводу способов, с помощью которых социальные сети тайно проводят психологические тесты на своих участниках посредством манипуляций с новостной летной. Поскольку компьютеры учатся все искуснее наблюдать за нами, формировать наши взгляды и действия, растут возможности для злоупотреблений.

В XIX веке общество столкнулось с тем, что недавно почивший историк Джеймс Бениджер охарактеризовал как кризис контроля{3}: технологии обработки материи опередили технологии обработки информации, а способность людей контролировать и регулировать производственные и другие связанные с ними процессы, в свою очередь, ослабела. Кризис контроля, который проявлялся во всем, от железнодорожных катастроф до дисбаланса спроса и предложения, а также недоступности государственных услуг, был в конечном счете разрешен благодаря изобретению систем автоматической обработки данных, таких как перфокарточный табулятор, который Герман Холлерит сконструировал для Бюро переписи населения США. Информационные технологии догнали производственные, позволив людям снова четко видеть мир, который начал было расплываться.

Сегодня мы сталкиваемся с еще одним кризисом контроля, хотя он — зеркальное отражение первого. Мы теперь изо всех сил стараемся совладать именно с тем, что помогло нам восстановить контроль в начале XX века, — с информационными технологиями. Наша способность собирать и обрабатывать данные во всех формах и управлять ими опередила нашу способность контролировать и регулировать этот процесс таким образом, который удовлетворяет нашим социальным и личным интересам. Разрешение нового кризиса контроля скоро станет одной из величайших проблем человечества. Чтобы справиться с нею, нужно прежде всего признать, что опасности, связанные с искусственным интеллектом, относятся не к какому-то отдаленному антиутопическому будущему. Они уже здесь.

Мы их построили, но мы их не понимаем

Джон Клейнберг
Преподаватель теории вычислительных машин в Корнеллском университете; автор, совместно с Дэвидом Изли, книги «Сети, толпы и рынки: Рассуждение о мире с сильными связями» (Networks, Crowds, and Markets: Reasoning About a Highly Connected World)

Сендил Муллайнатан
Преподаватель экономики, Гарвардский университет; автор, совместно с Эльдаром Шафиром, книги «Дефицит: Почему так плохо иметь слишком мало» (Scarcity: Why Having Too Little Means So Much)

По мере того как алгоритмы, поколение за поколением, становятся умнее, они также становятся более непонятными. Нам же, чтобы работать с умными машинами, должно быть ясно, как они думают. Нам, возможно, впервые удалось создать устройства, которых мы сами не понимаем.

Поскольку мы их программировали, мы сознаем, почему они делают каждый отдельный шаг. Но машины совершают миллиарды таких шагов — шахматных ходов, рекомендаций кинофильмов согласно предпочтениям пользователя, и они становятся неочевидны для нас, хоть мы и понимаем архитектуру созданной нами программы.

Мы сделали так, чтобы нам не нужно было задумываться об этих неочевидных действиях. Мы спроектировали машины таким образом, чтобы они действовали подобно людям. Они помогают нам водить автомобили, управлять самолетами, доставлять посылки, одобрять кредиты, просматривать сообщения, выбирать развлечения и партнеров для романтических отношений. Мыслящие машины даже способны диагностировать наши недуги. А поскольку они ведут себя так же, как мы, было бы разумно предположить, что они и думают похожим образом. Но реальность такова, что они вообще не думают в человеческом понимании этого слова; в действительности мы не знаем даже, почему они демонстрируют то поведение, которое мы наблюдаем. Вот в чем суть их непостижимости.

Важно ли это? Надо ли нам беспокоиться из-за того, что мы строим системы, чьи все более и более точные решения основываются на непонятных нам принципах?

Во-первых, это важно уже потому, что мы регулярно оказываемся в совершенно обыденных ситуациях, когда нам надо знать ответ на вопрос «Почему?». «Почему мне отказали в выдаче кредита? Почему мой счет заблокировали? Почему мое заболевание вдруг оказалось в категории тяжелых?» А иногда нам бывает нужно знать ответ на вопрос «Почему?» в случаях, когда машина совершила ошибку. «Почему самоуправляемый автомобиль резко сошел с дороги?» Трудно разобраться с чем-то, когда вы не понимаете причин.

Есть также и более глубокие проблемы, и, чтобы говорить о них, нам надо лучше разбираться в том, как работают алгоритмы. Они обучаются на больших объемах данных и очень хорошо справляются с обнаружением малозаметных паттернов, содержащихся в этой информации. Мы знаем, например, как построить систему, которая изучит несколько миллионов составленных в прошлом заявок на кредит, одинаково структурированных и закодированных, и найдет повторяющиеся паттерны в тех кредитах, которые — как уже известно в ретроспективе — заслуживали одобрения. Трудно заставить людей прочесть несколько миллионов кредитных заявок, и даже если бы такое получилось, результат оказался бы хуже, чем тот, который способен выдать алгоритм.


Еще от автора Коллектив Авторов
Диетология

Третье издание руководства (предыдущие вышли в 2001, 2006 гг.) переработано и дополнено. В книге приведены основополагающие принципы современной клинической диетологии в сочетании с изложением клинических особенностей течения заболеваний и патологических процессов. В основу книги положен собственный опыт авторского коллектива, а также последние достижения отечественной и зарубежной диетологии. Содержание издания объединяет научные аспекты питания больного человека и практические рекомендации по использованию диетотерапии в конкретных ситуациях организации лечебного питания не только в стационаре, но и в амбулаторных условиях.Для диетологов, гастроэнтерологов, терапевтов и студентов старших курсов медицинских вузов.


Психология человека от рождения до смерти

Этот учебник дает полное представление о современных знаниях в области психологии развития человека. Книга разделена на восемь частей и описывает особенности психологии разных возрастных периодов по следующим векторам: когнитивные особенности, аффективная сфера, мотивационная сфера, поведенческие особенности, особенности «Я-концепции». Особое внимание в книге уделено вопросам возрастной периодизации, детской и подростковой агрессии.Состав авторского коллектива учебника уникален. В работе над ним принимали участие девять докторов и пять кандидатов психологических наук.


Семейное право: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Семейное право».Рекомендуется всем изучающим и сдающим дисциплину «Семейное право».


Налоговое право: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Налоговое право».Книга позволит быстро получить основные знания по предмету, повторить пройденный материал, а также качественно подготовиться и успешно сдать зачет и экзамен.Рекомендуется всем изучающим и сдающим дисциплину «Налоговое право» в высших и средних учебных заведениях.


Трудовое право: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Трудовое право».Книга позволит быстро получить основные знания по предмету, повторить пройденный материал, а также качественно подготовиться и успешно сдать зачет и экзамен.Рекомендуется всем изучающим и сдающим дисциплину «Трудовое право».


Международные экономические отношения: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Международные экономические отношения».Книга позволит быстро получить основные знания по предмету повторить пройденный материал, а также качественно подготовиться и успешно сдать зачет и экзамен.Рекомендуется всем изучающим и сдающим дисциплину «Международные экономические отношения» в высших и средних учебных заведениях.


Рекомендуем почитать
Искусство соперничества

«Искусство соперничества» – это четыре истории о непростых личных взаимоотношениях прославленных художников – Мане и Дега, Пикассо и Матисса, Фрейда и Бэкона, Поллока и Де Кунинга. Эти истории о дружбе равно одаренных людей, где ревность, зависть и чувство соперничества соседствуют с восхищением, стимулируя каждого из двоих на пределе сил стремиться к новым и новым творческим вершинам. Восемь художников – героев книги Сми сегодня знамениты на весь мир. Но смогли бы они достичь этого, не испытав определенного влияния современника? Современника равно талантливого и амбициозного, но наделенного от природы иным балансом сильных и слабых сторон. С присущим ему остроумием и вниманием к психологической подоплеке событий Себастьян Сми исследует тонкие материи личных взаимоотношений творческих натур, осложненных необходимостью поиска собственного пути, а следовательно, неминуемым конфликтом с ожиданиями близких.


Игра престолов: наука в сериале

«Игра престолов» — один из самых популярных и культовых сериалов последних лет. От него невозможно оторваться, но иногда возникают вопросы: «Неужели так может быть на самом деле?» или «Как они это вообще сделали?». Что представляют собой драконы с точки зрения современной физики и биологии? Как сделать меч из валирийской стали? Почему дикий огонь столь страшен в качестве оружия? Об этом захотят узнать не только фанаты сериала, но и простые зрители.


Наука «Звёздных Войн»

«Звёздные Войны» — это уникальная смесь научной фантастики и сказки. Мы удивляемся разнообразию существ и технологий, возможностям джедаев и тайне Силы. Но что из описанного в «Звёздных Войнах» основано на реальной науке? Можем ли мы увидеть, как некоторые из необыкновенных изобретений материализуются в нашем мире? «Наука «Звёздных Войн» рассматривает с научной точки зрения различные вопросы из вселенной «Звёздных Войн», относящиеся к военным действиям, космическим путешествиям и кораблям, инопланетным расам и многому другому.


Наука и удивительное

В этой небольшой книге автор так осветил все основные разделы современного естествознания, чтобы их понял читатель, лишенный всякой специальной подготовки. Благодаря упрощениям автора, основанным на знании конкретной взаимосвязи всех явлений природы, читатель легко поймет содержание книги. Цель книги состоит в том, чтобы дать общий беглый очерк современных научных представлений о явлениях природы, показать универсальность этих представлений и их значение для человека.


Золотая Орда. Монголы на Руси. 1223–1502

Книга немецкого историка, востоковеда, тюрколога, специалиста по истории монголов Бертольда Шпулера посвящена истории и культуре Золотой Орды. Опираясь на широкий круг источников и литературы, автор исследует широкий спектр вопросов: помимо политической истории он рассматривает религиозные отношения, государственный строй, право, военное дело, экономику, искусство, питание и одежду.


Машина песен. Внутри фабрики хитов

Кажется, что на заре XXI века популярная музыка достигла совершенно новой фазы развития. Для того чтобы написать песню, уже не требуется виртуозно играть на гитаре и обладать поэтическим талантом, а чтобы ее спеть, не нужен мощный голос – добро пожаловать в эпоху автотюна! Но одно дело – просто песня, и совсем другое – хит, который способен в одночасье прославить исполнителя и сделать миллионером ее автора. Кстати, кто создает все эти шедевры?В своей книге «Машина песен. Внутри фабрики хитов» Джон Сибрук, американский культуролог и журналист, исследует феномен популярной музыки, ее влияние на современное общество, а также подробно разбирает «анатомию» хита и приходит к интересному выводу – оказывается, в таком творческом деле, как создание песни, совсем не важна оригинальность.