Совместимость. Как контролировать искусственный интеллект - [87]
Позвольте мне еще раз подчеркнуть ранее сделанное замечание: правильно сконструированные машины не будут вести себя так, как те, чье поведение они наблюдают, даже если они изучают предпочтения демонов-садистов. Возможно даже, что, оказавшись в незнакомой ситуации повседневного взаимодействия с чисто альтруистическими сущностями, мы научимся быть лучшими людьми — более альтруистичными и менее управляемыми гордыней и завистью.
Тупые, эмоциональные люди
Название этого раздела не выделяет конкретный подтип людей. Оно относится ко всем нам. Мы все невероятно тупы по сравнению с недостижимым уровнем идеальной рациональности и все подвержены эмоциональным переменам, в значительной мере управляющим нашим поведением.
Давайте начнем с тупости. Идеально рациональная сущность максимизирует ожидаемое удовлетворение своих предпочтений во всех возможных будущих жизнях, которые могла бы для себя избрать. Я не в состоянии написать число, характеризующее сложность этой проблемы принятия решения, но считаю полезным следующий мысленный эксперимент. Сначала заметьте, что количество выборов в области двигательного контроля, которые человек делает в течение жизни, составляет около 20 трлн (см. подробные расчеты в Приложении А). Далее, посмотрим, куда заведут нас вычисления методом перебора на описанном Сетом Ллойдом ноутбуке с предельными физическими возможностями, который в миллиард триллионов триллионов раз быстрее самого быстрого в мире компьютера. Поручим этому устройству перебрать все возможные последовательности слов английского языка (скажем, в порядке разминки перед Вавилонской библиотекой из рассказа Борхеса) и оставим его на год работать. Последовательности скольких слов он сможет пересчитать за это время? Тысячу страниц текста? Миллион страниц? Нет. Одиннадцать слов. Это дает некоторое представление о трудности конструирования наилучшей возможной жизни из 20 трлн действий. В общем, мы намного дальше от рациональности, чем слизень от возможности обогнать космический корабль «Энтерпрайз» из «Звездного пути» при искривлении пространства девятого уровня. Мы не имеем ни малейшего представления о том, какой должна быть рационально выбранная жизнь.
Из этого следует, что люди часто действуют против собственных предпочтений. Например, Ли Седоль во время матча, проигранного программе AlphaGo, сделал один или даже несколько ходов, гарантировавших проигрыш, и AlphaGo смогла (по крайней мере, в некоторых случаях) это зафиксировать. Однако для AlphaGo было бы неправильно сделать вывод, что Ли Седоль имеет предпочтение проиграть. Нет, было бы разумно заключить, что Ли Седоль предпочитает выиграть, но некоторые ограничения вычислительных возможностей не позволяют ему выбирать верный ход во всех случаях. Таким образом, чтобы понять поведение Ли Седоля и узнать его предпочтения, робот, следующий третьему принципу («решающим источником информации о человеческих предпочтениях является человеческое поведение»), должен сколько-нибудь разбираться в когнитивных процессах, обусловливающих это поведение. Он не может по умолчанию считать его рациональным.
Это ставит очень серьезную исследовательскую проблему перед создателями ИИ, специалистами по когнитивной науке, психологами и нейробиологами: каким образом достичь настолько глубокого понимания человеческой познавательной деятельности[313], чтобы мы (или, скорее, наши полезные машины) могли «ретроспективно вывести» из поведения человека его глубинные предпочтения, если таковые имеются? Люди отчасти справляются с этим, усваивая ценности других, руководствуясь врожденными навыками, так что, по-видимому, это возможно. У людей есть преимущество: они могут использовать собственную когнитивную архитектуру, чтобы моделировать чужую, даже не зная, что это за архитектура: «Если я хочу Х, то делаю то же самое, что мамочка, значит, мамочка, по-видимому, хочет Х».
Машины этого преимущества лишены. Они с легкостью моделируют другие машины, но не людей. Не похоже, чтобы они в скором времени получили доступ к полной модели человеческой когнитивной деятельности, будь то видовой или ориентированный на конкретных индивидов. Вместо этого имеет смысл с практической точки зрения рассмотреть основные пути отклонения людей от рациональности и изучить вопрос о том, как узнавать предпочтения по поведению, демонстрирующему эти отклонения.
Одно из очевидных различий между людьми и рациональными сущностями состоит в том, что в любой отдельный момент мы не делаем выбор из всех возможных первых шагов для всех возможных вариантов жизни. Мы очень от этого далеки. Типичный человек встроен в глубоко укорененную иерархию «стандартных подпрограмм». В общем, мы преследуем ближайшие цели, а не максимизируем предпочтения в отношении будущей жизни, и можем действовать лишь в соответствии с ограничениями стандартных подпрограмм, имеющихся у нас в настоящее время. В данную минуту, например, я печатаю это предложение: я могу выбирать, как продолжить его после двоеточия, но мне никогда не придет в голову задуматься о том, чтобы бросить его писать, а вместо этого прослушать онлайновый курс для рэперов, или сжечь дом и потребовать страховку, или о любом другом из мириад действий, которые я
Петр Ильинский, уроженец С.-Петербурга, выпускник МГУ, много лет работал в Гарвардском университете, в настоящее время живет в Бостоне. Автор многочисленных научных статей, патентов, трех книг и нескольких десятков эссе на культурные, политические и исторические темы в печатной и интернет-прессе США, Европы и России. «Легенда о Вавилоне» — книга не только о более чем двухтысячелетней истории Вавилона и породившей его месопотамской цивилизации, но главным образом об отражении этой истории в библейских текстах и культурных образах, присущих как прошлому, так и настоящему.
Научно-популярный журнал «Открытия и гипотезы» представляет свежий взгляд на самые главные загадки вселенной и человечества, его проблемы и открытия. Никогда еще наука не была такой интересной. Представлены теоретические и практические материалы.
«Что такое на тех отдаленных светилах? Имеются ли достаточные основания предполагать, что и другие миры населены подобно нашему, и если жизнь есть на тех небесных землях, как на нашей подлунной, то похожа ли она на нашу жизнь? Одним словом, обитаемы ли другие миры, и, если обитаемы, жители их похожи ли на нас?».
Ежемесячный научно-популярный и научно-художественный журнал.
Взыскание Святого Грааля, — именно так, красиво и архаично, называют неповторимое явление средневековой духовной культуры Европы, породившее шедевры рыцарских романов и поэм о многовековых поисках чудесной лучезарной чаши, в которую, по преданию, ангелы собрали кровь, истекшую из ран Христа во время крестных мук на Голгофе. В некоторых преданиях Грааль — это ниспавший с неба волшебный камень… Рыцари Грааля ещё в старых текстах именуются храмовниками, тамплиерами. История этого католического ордена, основанного во времена Крестовых походов и уничтоженного в начале XIV века, овеяна легендами.
В занимательной и доступной форме автор вводит читателя в удивительный мир микробиологии. Вы узнаете об истории открытия микроорганизмов и их жизнедеятельности. О том, что известно современной науке о морфологии, методах обнаружения, культивирования и хранения микробов, об их роли в поддержании жизни на нашей планете. О перспективах разработок новых технологий, применение которых может сыграть важную роль в решении многих глобальных проблем, стоящих перед человечеством.Книга предназначена широкому кругу читателей, всем, кто интересуется вопросами современной микробиологии и биотехнологии.
Специалист по проблемам мирового здравоохранения, основатель шведского отделения «Врачей без границ», создатель проекта Gapminder, Ханс Рослинг неоднократно входил в список 100 самых влиятельных людей мира. Его книга «Фактологичность» — это попытка дать читателям с самым разным уровнем подготовки эффективный инструмент мышления в борьбе с новостной паникой. С помощью проверенной статистики и наглядных визуализаций Рослинг описывает ловушки, в которые попадает наш разум, и рассказывает, как в действительности сегодня обстоят дела с бедностью и болезнями, рождаемостью и смертностью, сохранением редких видов животных и глобальными климатическими изменениями.
Американский генетик Дэвид Райх – один из главных революционеров в области изучения древней ДНК, которая для понимания истории человечества оказалась не менее важной, чем археология, лингвистика и письменные источники. В своей книге Райх наглядно показывает, сколько скрытой информации о нашем далеком прошлом содержит человеческий геном и как радикально геномная революция меняет наши устоявшиеся представления о современных людях. Миграции наших предков, их отношения с конкурирующими видами, распространение культур – все это предстает в совершенно ином свете с учетом данных по ДНК ископаемых останков.
Все решения и поступки зарождаются в нашей психике благодаря работе нейронных сетей. Сбои в ней заставляют нас страдать, но порой дарят способность принимать нестандартные решения и создавать шедевры. В этой книге нобелевский лауреат Эрик Кандель рассматривает психические расстройства через призму “новой биологии психики”, плода слияния нейробиологии и когнитивной психологии. Достижения нейровизуализации, моделирования на животных и генетики помогают автору познавать тайны мозга и намечать подходы к лечению психических и даже социальных болезней.
«Уравнение Бога» – это увлекательный рассказ о поиске самой главной физической теории, способной объяснить рождение Вселенной, ее судьбу и наше место в ней. Знаменитый физик и популяризатор науки Митио Каку прослеживает весь путь удивительных открытий – от Ньютоновой революции и основ теории электромагнетизма, заложенных Фарадеем и Максвеллом, до теории относительности Эйнштейна, квантовой механики и современной теории струн, – ведущий к той великой теории, которая могла бы объединить все физические взаимодействия и дать полную картину мира.