Что мы думаем о машинах, которые думают - [21]

Шрифт
Интервал

Достижение поистине впечатляющее, но довольно ненадежное. У алгоритма узкая «зона комфорта», внутри которой он эффективен; трудно определить эту зону, но легко из нее случайно выскочить. Например, вы можете захотеть перейти от успешно решенной машиной задачи по классификации нескольких миллионов малых потребительских кредитов к работе с базой данных кредитных историй нескольких тысяч крупных компаний. Но, сделав это, вы оставите машину без того, за счет чего она ранее демонстрировала эффективность. Она работала хорошо, потому что имела доступ к огромному числу измерительных точек, к отупляюще однообразной истории отдельных случаев из прошлого, в которых нужно было обнаружить паттерны и структуру. Если существенно уменьшить объем данных или сделать каждую измерительную точку значительно более сложной, то алгоритм быстро пойдет вразнос. Наблюдать за успешно работающей машиной — а при соответствующих условиях результаты могут быть феноменальными — это как смотреть на удивительные достижения и неумолимую целеустремленность вундеркинда, скрывающие его ограниченность в других областях.

Но даже в самом центре «зоны комфорта» непостижимость рассуждений машины нередко приводит к затруднениям. Давайте вернемся к примеру с миллионами заявлений на небольшие потребительские кредиты. Трудности могут начаться, когда кто-либо из потребителей, менеджеров или операционистов станет задаваться некоторыми простыми вопросами.

Человек, которому отказали в выдаче кредита, может потребовать не просто объяснений, а чего-то большего: «Как мне изменить свое заявление на следующий год, чтобы шансы на успешное рассмотрение были повыше?» Так как у нас нет простого объяснения принимаемых алгоритмом решений, мы не сможем дать и достойный ответ на этот вопрос. «Попытайтесь написать ее так, чтобы она больше походила на одну из успешных заявок», — вот все, что нам остается сказать.

Наш руководитель мог бы спросить: «Алгоритм справляется с заявками в Великобритании, но будет ли он так же хорошо работать, если мы задействуем его в Бразилии?» Удовлетворительного ответа опять нет, или же мы не в состоянии достоверно оценить, насколько успешен будет перевод высокооптимизированного правила в новую область.

Специалист по обработке данных мог бы заметить: «Нам известно, насколько хорошо алгоритм справляется с данными, которые у него есть. Но новая информация о потребителях нам точно не повредит. Какие еще сведения надо собрать?» Исходя из имеющихся у нас знаний о человеке, можно предложить множество вариантов, но с этим непостижимым алгоритмом мы не знаем, что именно окажется для него полезным. Вот в чем ирония: мы можем попробовать выбрать те переменные, которые сами сочтем важными, но машина-то думает не так, как мы, и потому уже нас обыгрывает. Как нам узнать, что она сочтет полезным?

Тут не обязательно ставить точку. У нас уже есть интерес к тому, чтобы разрабатывать алгоритмы, которые будут не только эффективными, но и постижимыми для своих создателей. Чтобы это сделать, нам, возможно, придется серьезно пересмотреть понятие постижимости. Мы, вероятно, так никогда и не сумеем постичь, что именно делают наши автоматизированные системы конкретно, шаг за шагом, но это нормально. Достаточно будет, если мы научимся взаимодействовать с ними, как одна разумная сущность взаимодействует с другой, развивая здоровое понимание того, когда стоит доверять рекомендациям, где можно наиболее эффективно их использовать и как помочь машине прийти к недоступному для нас самих уровню эффективности.

Однако пока мы этому не научимся, непостижимость искусственного интеллекта будет представлять определенную опасность. Как мы узнаем, что машина вышла из своей «зоны комфорта» и уже работает с той частью проблемы, с которой не очень хорошо справляется? Степень такого риска нелегко определить количественно, и с подобными проблемами мы будем сталкиваться по мере развития наших систем. Возможно, с какого-то момента нам придется беспокоиться по поводу всесильного искусственного интеллекта. Но сперва нам надо озаботиться тем, что машинам приходится отвечать за решения, для принятия которых у них недостаточно ума.

Нам надо делать домашние задания

Яан Таллинн
Соучредитель Центра исследований в области угроз существованию человечества, Институт будущего жизни; инженер-основатель Skype и Kazaa

За шесть месяцев до первого ядерного испытания ученые, работавшие над Манхэттенским проектом, подготовили отчет LA-602. В нем были приведены данные об исследованиях возможного выхода ядерного взрыва из под контроля, что грозило уничтожением Земли в результате сгорания атмосферы. Это было, вероятно, первым исследованием в области угроз существованию человечества.

Конечно, список опасных технологий, изобретенных людьми, не закончился на ядерной бомбе. С тех пор тема катастрофических побочных эффектов неоднократно всплывает в разных контекстах: рекомбинантной ДНК, синтетических вирусов, нанотехнологий и т. п. К счастью для людей, обычно в таких случаях верх берет трезвый расчет, что приводит к появлению различных соглашений и протоколов, регулирующих исследовательскую деятельность.


Еще от автора Коллектив Авторов
Диетология

Третье издание руководства (предыдущие вышли в 2001, 2006 гг.) переработано и дополнено. В книге приведены основополагающие принципы современной клинической диетологии в сочетании с изложением клинических особенностей течения заболеваний и патологических процессов. В основу книги положен собственный опыт авторского коллектива, а также последние достижения отечественной и зарубежной диетологии. Содержание издания объединяет научные аспекты питания больного человека и практические рекомендации по использованию диетотерапии в конкретных ситуациях организации лечебного питания не только в стационаре, но и в амбулаторных условиях.Для диетологов, гастроэнтерологов, терапевтов и студентов старших курсов медицинских вузов.


Психология человека от рождения до смерти

Этот учебник дает полное представление о современных знаниях в области психологии развития человека. Книга разделена на восемь частей и описывает особенности психологии разных возрастных периодов по следующим векторам: когнитивные особенности, аффективная сфера, мотивационная сфера, поведенческие особенности, особенности «Я-концепции». Особое внимание в книге уделено вопросам возрастной периодизации, детской и подростковой агрессии.Состав авторского коллектива учебника уникален. В работе над ним принимали участие девять докторов и пять кандидатов психологических наук.


Семейное право: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Семейное право».Рекомендуется всем изучающим и сдающим дисциплину «Семейное право».


Налоговое право: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Налоговое право».Книга позволит быстро получить основные знания по предмету, повторить пройденный материал, а также качественно подготовиться и успешно сдать зачет и экзамен.Рекомендуется всем изучающим и сдающим дисциплину «Налоговое право» в высших и средних учебных заведениях.


Трудовое право: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Трудовое право».Книга позволит быстро получить основные знания по предмету, повторить пройденный материал, а также качественно подготовиться и успешно сдать зачет и экзамен.Рекомендуется всем изучающим и сдающим дисциплину «Трудовое право».


Международные экономические отношения: Шпаргалка

В шпаргалке в краткой и удобной форме приведены ответы на все основные вопросы, предусмотренные государственным образовательным стандартом и учебной программой по дисциплине «Международные экономические отношения».Книга позволит быстро получить основные знания по предмету повторить пройденный материал, а также качественно подготовиться и успешно сдать зачет и экзамен.Рекомендуется всем изучающим и сдающим дисциплину «Международные экономические отношения» в высших и средних учебных заведениях.


Рекомендуем почитать
Искусство соперничества

«Искусство соперничества» – это четыре истории о непростых личных взаимоотношениях прославленных художников – Мане и Дега, Пикассо и Матисса, Фрейда и Бэкона, Поллока и Де Кунинга. Эти истории о дружбе равно одаренных людей, где ревность, зависть и чувство соперничества соседствуют с восхищением, стимулируя каждого из двоих на пределе сил стремиться к новым и новым творческим вершинам. Восемь художников – героев книги Сми сегодня знамениты на весь мир. Но смогли бы они достичь этого, не испытав определенного влияния современника? Современника равно талантливого и амбициозного, но наделенного от природы иным балансом сильных и слабых сторон. С присущим ему остроумием и вниманием к психологической подоплеке событий Себастьян Сми исследует тонкие материи личных взаимоотношений творческих натур, осложненных необходимостью поиска собственного пути, а следовательно, неминуемым конфликтом с ожиданиями близких.


Игра престолов: наука в сериале

«Игра престолов» — один из самых популярных и культовых сериалов последних лет. От него невозможно оторваться, но иногда возникают вопросы: «Неужели так может быть на самом деле?» или «Как они это вообще сделали?». Что представляют собой драконы с точки зрения современной физики и биологии? Как сделать меч из валирийской стали? Почему дикий огонь столь страшен в качестве оружия? Об этом захотят узнать не только фанаты сериала, но и простые зрители.


Наука «Звёздных Войн»

«Звёздные Войны» — это уникальная смесь научной фантастики и сказки. Мы удивляемся разнообразию существ и технологий, возможностям джедаев и тайне Силы. Но что из описанного в «Звёздных Войнах» основано на реальной науке? Можем ли мы увидеть, как некоторые из необыкновенных изобретений материализуются в нашем мире? «Наука «Звёздных Войн» рассматривает с научной точки зрения различные вопросы из вселенной «Звёздных Войн», относящиеся к военным действиям, космическим путешествиям и кораблям, инопланетным расам и многому другому.


Наука и удивительное

В этой небольшой книге автор так осветил все основные разделы современного естествознания, чтобы их понял читатель, лишенный всякой специальной подготовки. Благодаря упрощениям автора, основанным на знании конкретной взаимосвязи всех явлений природы, читатель легко поймет содержание книги. Цель книги состоит в том, чтобы дать общий беглый очерк современных научных представлений о явлениях природы, показать универсальность этих представлений и их значение для человека.


Золотая Орда. Монголы на Руси. 1223–1502

Книга немецкого историка, востоковеда, тюрколога, специалиста по истории монголов Бертольда Шпулера посвящена истории и культуре Золотой Орды. Опираясь на широкий круг источников и литературы, автор исследует широкий спектр вопросов: помимо политической истории он рассматривает религиозные отношения, государственный строй, право, военное дело, экономику, искусство, питание и одежду.


Машина песен. Внутри фабрики хитов

Кажется, что на заре XXI века популярная музыка достигла совершенно новой фазы развития. Для того чтобы написать песню, уже не требуется виртуозно играть на гитаре и обладать поэтическим талантом, а чтобы ее спеть, не нужен мощный голос – добро пожаловать в эпоху автотюна! Но одно дело – просто песня, и совсем другое – хит, который способен в одночасье прославить исполнителя и сделать миллионером ее автора. Кстати, кто создает все эти шедевры?В своей книге «Машина песен. Внутри фабрики хитов» Джон Сибрук, американский культуролог и журналист, исследует феномен популярной музыки, ее влияние на современное общество, а также подробно разбирает «анатомию» хита и приходит к интересному выводу – оказывается, в таком творческом деле, как создание песни, совсем не важна оригинальность.