Совместимость. Как контролировать искусственный интеллект - [83]
Утилитаризм — одно из предложений, возникших из длительного поиска человечеством нравственного ориентира; среди их множества оно сформулировано наиболее четко — поэтому весьма уязвимо для лазеек. Философы ищут их больше ста лет. Например, Дж. Э. Мур, возражая Бентаму, делавшему акцент на максимизацию удовольствия, представлял себе «мир, в котором не существует абсолютно ничего, кроме удовольствия, — ни знания, ни любви, ни наслаждения красотой, ни нравственных качеств»[287]. В современности это наблюдение находим в замечании Стюарта Армстронга, что сверхинтеллектуальные машины, перед которыми поставлена задача максимизации удовольствия, могут «замуровать всех и каждого в бетонных гробах на героиновой игле»[288]. Другой пример: в 1945 г. Карл Поппер предложил достойную цель минимизации человеческого страдания[289], утверждая, что аморально обменивать боль одного человека на удовольствие другого, на что Р. Н. Смарт ответил, что легче всего этого достичь, добившись вымирания человеческой расы[290]. В настоящее время идея, что машина может положить конец страданиям людей, покончив с нашим существованием, является основной в дебатах об экзистенциальном риске, который несет ИИ[291]. Третьим примером является подчеркнутая Дж. Э. Муром идея реальности источника счастья, корректирующая более ранние определения, которые, как представляется, оставляют лазейку, позволяющую максимизировать счастье путем самообольщения. Современные аналоги этого варианта включают «Матрицу» (где современная реальность оказывается иллюзией, созданной компьютерным моделированием) и недавнюю работу по проблеме самообмана в обучении с подкреплением[292].
Эти и другие примеры убеждают меня, что сообщество разработчиков ИИ должно обращать пристальное внимание на атаки и контратаки, совершаемые в ходе философских и экономических дебатов вокруг утилитаризма, имеющих непосредственное отношение к нашей задаче. Две самые важные темы с точки зрения разработки ИИ-систем, полезных для множества индивидов, связаны со сравнениями полезностей между индивидами и между популяциями разной величины. Споры вокруг обеих тем ведутся не менее 150 лет, что заставляет подозревать, что путь к их удовлетворительному разрешению будет извилистым.
Дебаты вокруг межличностного сравнения полезностей важны, потому что Робби не может максимизировать сумму полезностей Алисы и Боба, пока их полезности нельзя будет сложить, а сложить их можно, только если они измеряются в одной и той же шкале. Британский логик и экономист XIX в. Уильям Стэнли Джевонс (изобретатель раннего механического компьютера, так называемого логического пианино) утверждал в 1871 г., что межличностные сравнения невозможны[293]:
Восприимчивость одного ума, насколько нам известно, может быть в тысячу раз больше, чем другого. Однако при условии, что восприимчивость различается в одинаковом соотношении по всем направлениям, мы никогда не сможем обнаружить даже самую вопиющую разницу. Таким образом, любой ум непостижим для любого другого ума, и никакой общий знаменатель чувств невозможен.
Американский экономист Кеннет Эрроу, основатель современной теории социального выбора, лауреат Нобелевской премии 1972 г., был столь же непреклонен:
Здесь мы будем придерживаться той точки зрения, что межличностное сравнение полезностей не имеет смысла и что в действительности нет смысла сравнивать благосостояние, измеряя индивидуальную полезность.
Трудность, которую имеют в виду Джевонс и Эрроу, заключается в отсутствии очевидного способа установить, оценивает ли Алиса уколы булавкой и леденцы по шкале от −1 до +1 или от −1000 до +1000 в смысле своего субъективного переживания счастья. В любом случае она отказалась бы от одного леденца, чтобы избежать одного укола. Действительно, если бы Алиса была человекоподобным роботом, внешне она могла бы вести себя так же даже в отсутствие какого бы то ни было субъективного переживания счастья.
В 1974 г. американский философ Роберт Нозик предположил, что, даже если бы межличностное сравнение полезностей было возможно, максимизация суммы полезностей все равно была бы плохой идеей, потому что вступила бы в противоречие с монстром полезности — абстрактным человеком, чьи ощущения удовольствия и боли во много раз интенсивнее, чем у обычных людей[294]. Такой человек счел бы, что любая дополнительная единица ресурсов привела бы к большему увеличению общей суммы счастья человечества, если бы досталась ему, а не другим. Тогда и отнимать ресурсы у других во благо монстра полезности также было бы хорошей идеей.
Казалось бы, это нежелательное последствие, но консеквенциализм сам по себе здесь бессилен: проблема заключается в том, как мы измеряем желательность последствий. Один из возможных ответов состоит в том, что монстр полезности — теоретический конструкт, таких людей не бывает. Однако вряд ли такой ответ сработает: в определенном смысле все люди являются монстрами полезности по сравнению, скажем, с крысами и бактериями, поэтому мы и не обращаем внимания на предпочтения крыс и бактерий, вырабатывая меры общественной политики.
Новая книга профессора Московского университета Г. А. Федорова-Давыдова написана в научно-популярной форме, ярко и увлекательно. Она представляет собой очерки истории денежного дела в античных государствах Средиземноморья, средневековой Западной Европе, странах Востока, на Руси (от первых «златников» и «сребреников» князя Владимира до реформ Петра 1)„ рассказывается здесь также о монетах нового времени; специальный раздел посвящен началу советской монетной чеканки. Автор показывает, что монеты являются интересным и своеобразным историческим источником.
Книга в легкой и доступной форме рассказывает об истории электротехники и немного касается самого начального этапа радиотехники. Автор дает общую картину развития знаний об электричестве, применения этих знаний в промышленности и технике. В книге содержится огромное количество материала, рисующего как древнейшие времена, так и современность с её проблемами науки и техники. В русской литературе — это первая попытка дать читателю систематическое изложение накопленных в течение веков фактов, которые представляют грандиозный путь развития учения об электричестве и его практического применения.
Когда у собеседников темы для разговора оказываются исчерпанными, как правило, они начинают говорить о погоде. Интерес к погоде был свойствен человеку всегда и надо думать, не оставит его и в будущем. Метеорология является одной из древнейших областей знания Книга Пфейфера представляет собой очерк по истории развития метеорологии с момента ее зарождения и до современных исследований земной атмосферы с помощью ракет и спутников. Но, в отличие от многих популярных книг, освещающих эти вопросы, книга Пфейфера обладает большим достоинством — она знакомит читателя с интереснейшими проблемами, которые до сих пор по тем или иным причинам незаслуженно мало затрагиваются в популярной литературе.
Сорняки — самые древние и злостные враги хлебороба. Зеленым пожаром охвачены в настоящее время все земледельческие районы земного шара. В книге рассказывается об истории и удивительной жизненной силе сорных растений, об ожесточенной борьбе земледельца с сорняками и путях победы над грозным противником. - Книга в увлекательной и популярной форме рассказывает о борьбе с самым древним и злостным врагом хлеборобов — сорняками (первое издание — 1981 г). В ней даны сведения об истории и биологии сорняков, об их взаимоотношениях с культурными растениями.
Пчелы гораздо древнее, чем люди: когда 4–5 миллионов лет назад предшественники Homo sapiens встретились с медоносными пчелами, те жили на Земле уже около 5 миллионов лет. Пчелы фигурируют в мифах и легендах Древних Египта, Рима и Греции, Индии и Скандинавии, стран Центральной Америки и Европы. От повседневной работы этих трудолюбивых опылителей зависит жизнь животных и людей. Международная организация The Earthwatch Institute официально объявила пчел самыми важными существами на планете, их вымирание будет означать конец человечества.
Многие традиционные советы о том, как преуспеть в жизни, логичны, обоснованны… и откровенно ошибочны. В своей книге автор собрал невероятные научные факты, объясняющие, от чего на самом деле зависит успех и, что самое главное, как нам с вами его достичь. Для широкого круга читателей.
Специалист по проблемам мирового здравоохранения, основатель шведского отделения «Врачей без границ», создатель проекта Gapminder, Ханс Рослинг неоднократно входил в список 100 самых влиятельных людей мира. Его книга «Фактологичность» — это попытка дать читателям с самым разным уровнем подготовки эффективный инструмент мышления в борьбе с новостной паникой. С помощью проверенной статистики и наглядных визуализаций Рослинг описывает ловушки, в которые попадает наш разум, и рассказывает, как в действительности сегодня обстоят дела с бедностью и болезнями, рождаемостью и смертностью, сохранением редких видов животных и глобальными климатическими изменениями.
Американский генетик Дэвид Райх – один из главных революционеров в области изучения древней ДНК, которая для понимания истории человечества оказалась не менее важной, чем археология, лингвистика и письменные источники. В своей книге Райх наглядно показывает, сколько скрытой информации о нашем далеком прошлом содержит человеческий геном и как радикально геномная революция меняет наши устоявшиеся представления о современных людях. Миграции наших предков, их отношения с конкурирующими видами, распространение культур – все это предстает в совершенно ином свете с учетом данных по ДНК ископаемых останков.
Все решения и поступки зарождаются в нашей психике благодаря работе нейронных сетей. Сбои в ней заставляют нас страдать, но порой дарят способность принимать нестандартные решения и создавать шедевры. В этой книге нобелевский лауреат Эрик Кандель рассматривает психические расстройства через призму “новой биологии психики”, плода слияния нейробиологии и когнитивной психологии. Достижения нейровизуализации, моделирования на животных и генетики помогают автору познавать тайны мозга и намечать подходы к лечению психических и даже социальных болезней.
«Уравнение Бога» – это увлекательный рассказ о поиске самой главной физической теории, способной объяснить рождение Вселенной, ее судьбу и наше место в ней. Знаменитый физик и популяризатор науки Митио Каку прослеживает весь путь удивительных открытий – от Ньютоновой революции и основ теории электромагнетизма, заложенных Фарадеем и Максвеллом, до теории относительности Эйнштейна, квантовой механики и современной теории струн, – ведущий к той великой теории, которая могла бы объединить все физические взаимодействия и дать полную картину мира.