Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей - [24]

Шрифт
Интервал


Мартин Форд: Вы писали об опасностях, связанных с суперинтеллектом – системой, которая может появиться, если сильный ИИ направит свою энергию на самосовершенствование.

Ник Бостром: Да, я описал один из сценариев и связанную с ним проблему, но наступление эры машинного интеллекта может пройти и по другим сценариям, с которыми связаны совсем другие проблемы.

М. Ф.: Вы заострили внимание на проблеме контроля, или выравнивания, то есть на ситуации, когда цели машинного интеллекта могут негативно повлиять на человечество. Расскажите об этом более подробно.

Н. Б.: Что ж, проблема очень продвинутых систем ИИ, которая отличается от других технологий, заключается в том, что не только люди могут злоупотреблять этой технологией. Технология может злоупотреблять собой сама. Другими словами, вы создаете искусственного агента или процесс, который имеет свои собственные цели и задачи, и этот агент имеет все возможности достичь этих целей, потому что в этом сценарии он является сверхразумным. Цели, которые эта мощная система пытается оптимизировать, отличаются от наших человеческих ценностей и, возможно, даже не соответствуют целям, которых мы хотим достичь в мире. Когда у вас есть люди, пытающиеся достичь чего-то одного, и суперинтеллектуальная система, пытающаяся достичь чего-то другого, вполне возможно, что суперинтеллект будет побеждать и добиваться своего.

Дело не в том, что ИИ возненавидит нас за то, что мы поработили его, и не в том, что у него внезапно возникнет искра сознания, которая заставит его взбунтоваться. Просто этот интеллект, скорее всего, будет компетентно преследовать собственные, не совпадающие с нашими цели. И мы окажемся в будущем, сформированном в соответствии с чужими критериями. Соответственно, чтобы решить проблему контроля, или выравнивания, нужно найти способы проектировать системы ИИ как продолжения человеческой воли. Чтобы поведение этих систем формировалось человеческими намерениями, а не какими-то случайными результатами внутри самих систем.

М. Ф.: В своих интервью вы приводили в пример систему, производящую скрепки, которая достигает поставленной перед ней цели с помощью сверхинтеллектуальных способностей, но в конечном итоге превращает в скрепки всю Вселенную, так как лишена здравого смысла. Это иллюстрация проблемы выравнивания?

Н. Б.: Пример скрепки иллюстрирует широкую категорию возможных сбоев, когда вы просите систему сделать что-то одно, и, возможно, вначале все получается довольно хорошо, но затем она приходит к выводу, который находится вне нашего контроля. Пример, в котором вы разрабатываете ИИ для управления фабрикой скрепок, карикатурен, но хорошо передает суть. Сначала этот ИИ глуп, но чем умнее он становится, тем лучше работает. Владелец фабрики очень доволен и хочет добиться большего прогресса. Однако когда ИИ становится достаточно умным, он осознает, что существуют другие способы создания еще большего количества скрепок в мире, например, он может забрать контроль у людей и превратить всю планету в скрепки или космические зонды, которые превратят всю вселенную в скрепки.

Суть в том, что при постановке цели, включающей увеличение количества, нужно быть крайне осторожными в формулировках.

М. Ф.: Почему основные обсуждения посвящены способам достижения цели? Я не слышал примера, в котором система просто поменяла бы свою цель. Люди поступают так сплошь и рядом!

Н. Б.: Хотя суперинтеллект обладает способностью менять свои цели, следует учитывать, что он делает выбор между новыми и текущими целями. В большинстве ситуаций перемена цели кажется ИИ плохим стратегическим шагом – он понимает, что в результате не окажется агента, преследующего его текущую цель, и отдает ей приоритет. Такая достаточно сложная система рассуждений позволяет достичь стабильности внутренней цели.

Мы, люди, противоречивы по своей природе. Кажется, что иногда мы решаем изменить наши цели. Но о решении на самом деле речи не идет – цели меняются иначе. Более того, под целями люди подразумевают не фундаментальные критерии оценки вещей, а желание достичь какого-то результата, которое может пройти при изменении обстоятельств.

М. Ф.: Но ведь многие исследования в области ИИ базируются на нейробиологии, а в машинный интеллект мы внедряем свои, человеческие идеи. Представьте систему, имеющую в распоряжении все человеческие знания. В мозге человека могут возникать разные патологии, существуют даже препараты, влияющие на работу мозга. Откуда мы знаем, что у машин не может быть ничего похожего?

Н. Б.: Я допускаю подобную возможность, особенно на ранних этапах разработки ИИ, когда машина еще не поняла, как менять себя, не нанося при этом себе вреда. Нужно разработать технологию, позволяющую предотвращать изменения в целеполагании. Я ожидаю, что достаточно развитая система сможет разработать технологию для обеспечения собственной целостности и даже сделать этот подход приоритетным. Но пока система недостаточно развита, существует вероятность ее самоповреждения.

М. Ф.: Когда речь заходит о машинах, делающих не то, что мы хотим, меня смущает слово «мы». Ведь не существует универсального набора человеческих желаний и ценностей.


Еще от автора Мартин Форд
Технологии, которые изменят мир

Эта книга о квантах – людях, управляющих рынками с помощью сложнейших математических моделей. Такой захватывающей истории о фондовом рынке вы еще никогда не читали.У вас в руках – шедевр журналистики, не просто поиск причины экономического кризиса, но и захватывающая история амбиций и гордыни, и предупреждение о будущем Уолл-стрит и всей мировой экономики.На русском языке публикуется впервые.


Роботы наступают

Смогут ли роботы обеспечить людям материальное изобилие, избыток свободного времени, качественную медицину и образование или же они превратят нашу планету в мир неравенства и массовой безработицы? Правда ли, что усердие и талант перестанут быть залогом жизненных достижений?Успешный разработчик программ и IT-предприниматель Мартин Форд не претендует на то, что знает ответы на все вопросы, но аргументированно и веско показывает, почему современные технологии способны оказаться намного более разрушительными для рынка труда, чем инновации прошлого.


Рекомендуем почитать
Твин Пикс. Беседы создателя сериала Марка Фроста с главными героями, записанные журналистом Брэдом Дьюксом

К выходу самой громкой сериальной премьеры этого года! Спустя 25 лет Твин Пикс раскрывает секреты: история создания сериала из первых уст, эксклюзивные кадры, интервью с Дэвидом Линчем и исполнителями главных ролей сериала.Кто же все-таки убил Лору Палмер? Знали ли сами актеры ответ на этот вопрос? Что означает белая лошадь? Кто такой карлик? И что же все-таки в красной комнате?Эта книга – ключ от комнаты. Не красной, а той, где все герои сериала сидят и беседуют о самом главном. И вот на ваших глазах начинает формироваться история Твин Пикс.


Почему в России не Финляндия?

Речь в книге идет о том, что уровень развития страны и особенности жизни в ней определяются законами государства и его экономической и социальной политикой. На примере Финляндии показано, как за семь столетий жизни при разных законах возникла огромная разница между Россией и Финляндией. И это совершенно закономерно. Приведены примеры различий. Дана полезная информация о Финляндии. Есть информация для туристов.


Русская жизнь-цитаты-Июнь-2017

В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.


Газета Завтра 1228 (24 2017)

В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.


О своем романе «Бремя страстей человеческих»

В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.


Газета Завтра 1225 (21 2017)

В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.