Совместимость. Как контролировать искусственный интеллект - [66]
Второй принцип: машина изначально не уверена, в чем заключаются предпочтения человека, — это ключ к созданию полезных машин.
Машина, предполагающая, что идеально знает истинную задачу, будет настойчиво ее преследовать. Она никогда не спросит, правилен ли определенный порядок действий, поскольку уже знает, что это оптимальное решение данной задачи. Она будет игнорировать людей, мечущихся вокруг нее с криками: «Остановись, ты сейчас уничтожишь мир!» — потому что это всего лишь слова. Убежденность в совершенном знании задачи отделяет машину от человека: что делает человек, уже не важно, раз машина знает цель и преследует ее.
Напротив, машина, не уверенная в истинной цели, будет проявлять нечто вроде смирения, например подчиняться людям и позволять себя выключить. Она рассуждает, что человек отключит ее, только если она делает что-то неправильное, то есть противоположное предпочтениям человека. По первому принципу она хочет избежать таких действий, но по второму принципу знает, что это возможно, поскольку ей неизвестно наверняка, «что не так». Получается, если человек все-таки отключает машину, то машина избегает совершения неправильного действия, чего она и желает. Иными словами, машина имеет положительный стимул позволить себя выключить. Она остается связанной с человеком как потенциальным источником информации, которая позволит ей избежать ошибок и лучше сделать свою работу.
Неопределенность является главной темой в разработке ИИ с 1980-х гг.; выражение «современный ИИ» часто относится к революции, совершившейся, когда неопределенность была, наконец, признана закономерностью принятия решений в реальном мире. Тем не менее неопределенность задачи ИИ-системы попросту игнорировалась. Во всех работах по максимизации полезности, достижению целей, минимизации затрат, максимизации вознаграждения и минимизации потерь предполагалось, что функция полезности, целевая функция, функция издержек, функция вознаграждения, функция потерь в точности известна. Но почему? Как сообщество разработчиков ИИ (а также специалистов по теории управления, исследованию операций и статистике) может так долго не замечать огромное слепое пятно>{13}, признавая неопределенность во всех остальных сторонах принятия решений?[241]
Можно приводить довольно сложные объяснения[242], но я подозреваю, что исследователи ИИ, за некоторыми досточтимыми исключениями[243], попросту уверовали в стандартную модель, переносящую понятие человеческого разума на машинный: люди имеют цели и преследуют их, значит, и машины должны иметь цели и преследовать их. Они — точнее говоря, мы — никогда всерьез не анализировали это фундаментальное допущение. Оно встроено в существующие подходы к конструированию интеллектуальных систем.
Третий принцип, согласно которому основным источником информации о человеческих предпочтениях является человеческое поведение, решает две задачи.
Первая состоит в создании надежного основания для понятия предпочтения человека. По определению, предпочтения человека не заложены в машину, и она не может наблюдать их непосредственно, тем не менее должна иметься однозначная связь между машиной и человеческими предпочтениями. Принцип гласит, что эта связь устанавливается путем наблюдения за человеческим выбором: мы предполагаем, что любой выбор неким (возможно, очень сложным) образом связан с базовыми предпочтениями. Чтобы понять, почему эта связь принципиально важна, рассмотрим противоположную ситуацию: если некоторое предпочтение человека не оказывает совершенно никакого влияния на какой бы то ни было реальный или гипотетический выбор, который может быть сделан человеком, то бессмысленно говорить о существовании этого предпочтения.
Вторая задача — дать машине возможность становиться более полезной, больше узнавая, чего мы хотим. (В конце концов, если она ничего не знает о предпочтениях человека, то будет для нас бесполезной.) Мысль весьма проста: всякий выбор человека открывает информацию о его предпочтениях. В случае выбора между пиццей с ананасами и пиццей с сосисками это очевидно. Если выбирают между вариантами будущей жизни, причем выбор делается с целью повлиять на поведение робота, ситуация становится более интересной. В следующей главе я объясню, как формулировать и решать подобные задачи. Однако настоящая трудность возникает потому, что люди не вполне рациональны: между нашими предпочтениями и выбором отсутствует идеальное совпадение, и машина должна учитывать эти несовершенства, чтобы интерпретировать выбор как проявление предпочтений человека.
Прежде чем погрузиться в детали, я хочу исключить возможное недопонимание.
Первая и самая распространенная ошибка — считать, будто я предлагаю встроить в машины единственную идеализированную систему ценностей моей собственной разработки, чтобы она управляла поведением машины. «Чьи ценности вы собираетесь внедрить?» «Кто будет решать, в чем заключаются ценности?» Или даже: «Что дает право западным ученым — благополучным белым мужчинам-цисгендерам
Петр Ильинский, уроженец С.-Петербурга, выпускник МГУ, много лет работал в Гарвардском университете, в настоящее время живет в Бостоне. Автор многочисленных научных статей, патентов, трех книг и нескольких десятков эссе на культурные, политические и исторические темы в печатной и интернет-прессе США, Европы и России. «Легенда о Вавилоне» — книга не только о более чем двухтысячелетней истории Вавилона и породившей его месопотамской цивилизации, но главным образом об отражении этой истории в библейских текстах и культурных образах, присущих как прошлому, так и настоящему.
Научно-популярный журнал «Открытия и гипотезы» представляет свежий взгляд на самые главные загадки вселенной и человечества, его проблемы и открытия. Никогда еще наука не была такой интересной. Представлены теоретические и практические материалы.
«Что такое на тех отдаленных светилах? Имеются ли достаточные основания предполагать, что и другие миры населены подобно нашему, и если жизнь есть на тех небесных землях, как на нашей подлунной, то похожа ли она на нашу жизнь? Одним словом, обитаемы ли другие миры, и, если обитаемы, жители их похожи ли на нас?».
Ежемесячный научно-популярный и научно-художественный журнал.
Взыскание Святого Грааля, — именно так, красиво и архаично, называют неповторимое явление средневековой духовной культуры Европы, породившее шедевры рыцарских романов и поэм о многовековых поисках чудесной лучезарной чаши, в которую, по преданию, ангелы собрали кровь, истекшую из ран Христа во время крестных мук на Голгофе. В некоторых преданиях Грааль — это ниспавший с неба волшебный камень… Рыцари Грааля ещё в старых текстах именуются храмовниками, тамплиерами. История этого католического ордена, основанного во времена Крестовых походов и уничтоженного в начале XIV века, овеяна легендами.
В занимательной и доступной форме автор вводит читателя в удивительный мир микробиологии. Вы узнаете об истории открытия микроорганизмов и их жизнедеятельности. О том, что известно современной науке о морфологии, методах обнаружения, культивирования и хранения микробов, об их роли в поддержании жизни на нашей планете. О перспективах разработок новых технологий, применение которых может сыграть важную роль в решении многих глобальных проблем, стоящих перед человечеством.Книга предназначена широкому кругу читателей, всем, кто интересуется вопросами современной микробиологии и биотехнологии.
Специалист по проблемам мирового здравоохранения, основатель шведского отделения «Врачей без границ», создатель проекта Gapminder, Ханс Рослинг неоднократно входил в список 100 самых влиятельных людей мира. Его книга «Фактологичность» — это попытка дать читателям с самым разным уровнем подготовки эффективный инструмент мышления в борьбе с новостной паникой. С помощью проверенной статистики и наглядных визуализаций Рослинг описывает ловушки, в которые попадает наш разум, и рассказывает, как в действительности сегодня обстоят дела с бедностью и болезнями, рождаемостью и смертностью, сохранением редких видов животных и глобальными климатическими изменениями.
Американский генетик Дэвид Райх – один из главных революционеров в области изучения древней ДНК, которая для понимания истории человечества оказалась не менее важной, чем археология, лингвистика и письменные источники. В своей книге Райх наглядно показывает, сколько скрытой информации о нашем далеком прошлом содержит человеческий геном и как радикально геномная революция меняет наши устоявшиеся представления о современных людях. Миграции наших предков, их отношения с конкурирующими видами, распространение культур – все это предстает в совершенно ином свете с учетом данных по ДНК ископаемых останков.
Все решения и поступки зарождаются в нашей психике благодаря работе нейронных сетей. Сбои в ней заставляют нас страдать, но порой дарят способность принимать нестандартные решения и создавать шедевры. В этой книге нобелевский лауреат Эрик Кандель рассматривает психические расстройства через призму “новой биологии психики”, плода слияния нейробиологии и когнитивной психологии. Достижения нейровизуализации, моделирования на животных и генетики помогают автору познавать тайны мозга и намечать подходы к лечению психических и даже социальных болезней.
«Уравнение Бога» – это увлекательный рассказ о поиске самой главной физической теории, способной объяснить рождение Вселенной, ее судьбу и наше место в ней. Знаменитый физик и популяризатор науки Митио Каку прослеживает весь путь удивительных открытий – от Ньютоновой революции и основ теории электромагнетизма, заложенных Фарадеем и Максвеллом, до теории относительности Эйнштейна, квантовой механики и современной теории струн, – ведущий к той великой теории, которая могла бы объединить все физические взаимодействия и дать полную картину мира.