Совместимость. Как контролировать искусственный интеллект - [65]
Принципы построения полезных машин
Мне хотелось бы описать данный подход в форме трех принципов[236]. Помните, что их основное назначение — служить руководством для исследователей и разработчиков ИИ в размышлениях о том, как создать полезные ИИ-системы; они не предлагаются в качестве явно заданных законов, которым должны удовлетворять ИИ-системы[237]:
1. Единственная задача машины — в максимальной степени реализовать предпочтения человека.
2. Изначально машина находится в неопределенности относительно того, каковы эти предпочтения.
3. Главнейшим источником информации о предпочтениях человека является поведение человека.
Прежде чем перейти к более подробным объяснениям, важно подчеркнуть широту толкования того, что я в этих принципах называю предпочтениями. Напомню, что я писал в главе 2: если бы вы имели возможность посмотреть два фильма, каждый из которых достаточно детально описывает вашу возможную будущую жизнь, вы могли бы сказать, какой вариант предпочитаете, или выразить незаинтересованность в обоих. Таким образом, предпочтения в данном случае носят всеобъемлющий характер; они охватывают все, что может быть для вас важно в сколь угодно далеком будущем[238]. Причем это ваши предпочтения: машина не пытается идентифицировать или установить один идеальный комплекс предпочтений, но понимает и удовлетворяет (насколько это возможно) предпочтения каждого человека.
Первый принцип, согласно которому единственная задача машины — максимизировать реализацию предпочтений человека, является центральным в понятии полезной машины. Особенно важно, что она будет полезной для людей, а не, допустим, тараканов. Это неотделимо от данного понятия пользы, связанного с ее получателем.
Данный принцип означает, что машина всецело альтруистична, то есть не придает абсолютно никакой внутренней ценности собственному благополучию или даже собственному существованию. Она может защищать себя, чтобы продолжить приносить пользу людям, потому что ее владелец был бы несчастлив, если бы ему пришлось оплачивать ремонт, либо потому, что вид грязного или поврежденного робота может угнетать прохожего, но не потому, что хочет быть живой. Введение любого предпочтения самосохранения создает у робота дополнительный стимул, не вполне совпадающий с благополучием человека.
Формулировка первого принципа поднимает два вопроса фундаментального значения. Каждый сам по себе заслуживает целой книжной полки, по этим вопросам уже написано множество книг.
Первый вопрос: имеют ли люди в действительности предпочтения значимого или устойчивого характера? Честно говоря, понятие «предпочтения» — это идеализация, во многих отношениях расходящаяся с реальностью. Например, мы не рождаемся с предпочтениями, которые имеем во взрослые годы, значит, они обязательно меняются со временем. На данный момент я предположу, что это разумная идеализация. Позднее я рассмотрю, что происходит, если мы отказываемся от идеализации.
Второй вопрос составляет основу социальных наук: с учетом того, что обычно невозможно гарантировать получение каждым своего самого предпочитаемого результата — мы все не можем быть императорами Вселенной, — как машине примирить предпочтения многочисленных людей? Опять-таки пока — обещаю, что вернусь к этому вопросу в следующей главе, — представляется разумным принять простой подход, что все равны. Это заставляет вспомнить о корнях утилитаризма XVIII в. с его идеалом «наибольшее счастье наибольшему числу людей»[239], для практической реализации которого требуется много оговорок и уточнений. Пожалуй, самым важным из всех является вопрос о том, каким образом учесть предпочтения очевидно громадного числа людей, которые еще не родились.
Вопрос о будущих поколениях поднимает следующий, связанный с ним: как учесть предпочтения существ, не являющихся людьми? А именно — должен ли первый принцип включать предпочтения животных? (Возможно, и растений?) Этот вопрос заслуживает обсуждения, но результат едва ли окажет заметное влияние на движение к созданию ИИ. Вообще говоря, человеческие предпочтения могут включать — и включают — условия благополучия животных, а также те аспекты благополучия человека, которые непосредственно выигрывают от существования животных[240]. Сказать, что машина должна уделять внимание предпочтениям животных в дополнение к этому, равносильно утверждению, что люди должны строить машины, больше заботящиеся о животных, чем сами люди, — довольно шаткая позиция. Более устойчивая состоит в том, что наша склонность к ошибочному принятию решений — играющая против наших же интересов — часто приводит к негативным последствиям для окружающей среды и ее обитателей-животных. Машина, принимающая менее близорукие решения, помогла бы людям следовать более осмысленной политике в отношении среды обитания. Если в будущем мы станем придавать значительно большее значение благополучию животных, чем сейчас, — что, по-видимому, требует отказа от части нашего собственного объективного благополучия, — машины соответствующим образом адаптируются к этому изменению.
Новая книга профессора Московского университета Г. А. Федорова-Давыдова написана в научно-популярной форме, ярко и увлекательно. Она представляет собой очерки истории денежного дела в античных государствах Средиземноморья, средневековой Западной Европе, странах Востока, на Руси (от первых «златников» и «сребреников» князя Владимира до реформ Петра 1)„ рассказывается здесь также о монетах нового времени; специальный раздел посвящен началу советской монетной чеканки. Автор показывает, что монеты являются интересным и своеобразным историческим источником.
Книга в легкой и доступной форме рассказывает об истории электротехники и немного касается самого начального этапа радиотехники. Автор дает общую картину развития знаний об электричестве, применения этих знаний в промышленности и технике. В книге содержится огромное количество материала, рисующего как древнейшие времена, так и современность с её проблемами науки и техники. В русской литературе — это первая попытка дать читателю систематическое изложение накопленных в течение веков фактов, которые представляют грандиозный путь развития учения об электричестве и его практического применения.
Когда у собеседников темы для разговора оказываются исчерпанными, как правило, они начинают говорить о погоде. Интерес к погоде был свойствен человеку всегда и надо думать, не оставит его и в будущем. Метеорология является одной из древнейших областей знания Книга Пфейфера представляет собой очерк по истории развития метеорологии с момента ее зарождения и до современных исследований земной атмосферы с помощью ракет и спутников. Но, в отличие от многих популярных книг, освещающих эти вопросы, книга Пфейфера обладает большим достоинством — она знакомит читателя с интереснейшими проблемами, которые до сих пор по тем или иным причинам незаслуженно мало затрагиваются в популярной литературе.
Сорняки — самые древние и злостные враги хлебороба. Зеленым пожаром охвачены в настоящее время все земледельческие районы земного шара. В книге рассказывается об истории и удивительной жизненной силе сорных растений, об ожесточенной борьбе земледельца с сорняками и путях победы над грозным противником. - Книга в увлекательной и популярной форме рассказывает о борьбе с самым древним и злостным врагом хлеборобов — сорняками (первое издание — 1981 г). В ней даны сведения об истории и биологии сорняков, об их взаимоотношениях с культурными растениями.
Пчелы гораздо древнее, чем люди: когда 4–5 миллионов лет назад предшественники Homo sapiens встретились с медоносными пчелами, те жили на Земле уже около 5 миллионов лет. Пчелы фигурируют в мифах и легендах Древних Египта, Рима и Греции, Индии и Скандинавии, стран Центральной Америки и Европы. От повседневной работы этих трудолюбивых опылителей зависит жизнь животных и людей. Международная организация The Earthwatch Institute официально объявила пчел самыми важными существами на планете, их вымирание будет означать конец человечества.
Многие традиционные советы о том, как преуспеть в жизни, логичны, обоснованны… и откровенно ошибочны. В своей книге автор собрал невероятные научные факты, объясняющие, от чего на самом деле зависит успех и, что самое главное, как нам с вами его достичь. Для широкого круга читателей.
Специалист по проблемам мирового здравоохранения, основатель шведского отделения «Врачей без границ», создатель проекта Gapminder, Ханс Рослинг неоднократно входил в список 100 самых влиятельных людей мира. Его книга «Фактологичность» — это попытка дать читателям с самым разным уровнем подготовки эффективный инструмент мышления в борьбе с новостной паникой. С помощью проверенной статистики и наглядных визуализаций Рослинг описывает ловушки, в которые попадает наш разум, и рассказывает, как в действительности сегодня обстоят дела с бедностью и болезнями, рождаемостью и смертностью, сохранением редких видов животных и глобальными климатическими изменениями.
Американский генетик Дэвид Райх – один из главных революционеров в области изучения древней ДНК, которая для понимания истории человечества оказалась не менее важной, чем археология, лингвистика и письменные источники. В своей книге Райх наглядно показывает, сколько скрытой информации о нашем далеком прошлом содержит человеческий геном и как радикально геномная революция меняет наши устоявшиеся представления о современных людях. Миграции наших предков, их отношения с конкурирующими видами, распространение культур – все это предстает в совершенно ином свете с учетом данных по ДНК ископаемых останков.
Все решения и поступки зарождаются в нашей психике благодаря работе нейронных сетей. Сбои в ней заставляют нас страдать, но порой дарят способность принимать нестандартные решения и создавать шедевры. В этой книге нобелевский лауреат Эрик Кандель рассматривает психические расстройства через призму “новой биологии психики”, плода слияния нейробиологии и когнитивной психологии. Достижения нейровизуализации, моделирования на животных и генетики помогают автору познавать тайны мозга и намечать подходы к лечению психических и даже социальных болезней.
«Уравнение Бога» – это увлекательный рассказ о поиске самой главной физической теории, способной объяснить рождение Вселенной, ее судьбу и наше место в ней. Знаменитый физик и популяризатор науки Митио Каку прослеживает весь путь удивительных открытий – от Ньютоновой революции и основ теории электромагнетизма, заложенных Фарадеем и Максвеллом, до теории относительности Эйнштейна, квантовой механики и современной теории струн, – ведущий к той великой теории, которая могла бы объединить все физические взаимодействия и дать полную картину мира.