Совместимость. Как контролировать искусственный интеллект - [92]

Конечно, не все процессы, нейтральные в отношении предпочтений, желательны. Например, вряд ли кто-нибудь рассчитывает, что разовьет «лучшие» предпочтения путем битья по своей голове. Прохождение приемлемого процесса изменения предпочтений аналогично проведению эксперимента с целью узнать, как функционирует мир: никогда заранее не знаешь, чем обернется эксперимент, но все-таки ждешь, что новое состояние ума принесет тебе пользу.

Мысль о том, что существуют приемлемые пути к изменению предпочтений, как представляется, связана с идеей о наличии приемлемых методов модификации поведения, когда, например, наниматель конструирует ситуацию выбора так, чтобы люди делали «лучший» выбор в отношении пенсионных накоплений. Часто это можно сделать, воздействуя на «нерациональные» факторы, влияющие на выбор, а не путем ограничения выбора или «налогообложения» «плохого» выбора. «Подталкивание»[329], книга экономиста Ричарда Талера и правоведа Касса Санстейна, предлагает широкий спектр предположительно приемлемых методов и возможностей «влияния на поведение людей, с тем чтобы они жили дольше, здоровее и счастливее».

Неясно, действительно ли методы модификации поведения изменяют только поведение. Если при устранении «подталкивания» модифицированное поведение сохраняется — что, предположительно, является желаемым результатом такого рода вмешательств, — значит, что-то изменилось в когнитивной архитектуре индивида (именно она превращает глубинные предпочтения в поведение) или в его глубинных предпочтениях. Весьма вероятно сочетание того и другого. Ясно, однако, что стратегия подталкивания предполагает, что все разделяют предпочтение «жить дольше, здоровее и счастливее». Каждое подталкивание опирается на конкретное определение «лучшей» жизни, что, как представляется, противоречит идее автономии предпочтений. Возможно, целесообразнее было бы не подталкивать, а разрабатывать нейтральные в отношении предпочтений вспомогательные процессы, помогающие людям достигать большей согласованности своих решений и когнитивной архитектуры с глубинными предпочтениями. Например, можно разработать когнитивные вспомогательные средства, которые высвечивают долгосрочные последствия решений и учат людей распознавать зерна этих последствий в настоящем[330].

Очевидно, нам нужно лучше понимать процессы возникновения и формирования человеческих предпочтений хотя бы потому, что это помогло бы нам создавать машины, избегающие случайных и нежелательных изменений человеческих предпочтений наподобие тех, что вносят алгоритмы выбора контента социальных сетей. Разумеется, вооружившись этим пониманием, мы замахнемся и на разработку изменений, которые приведут к «лучшему» миру.

Можно заметить, что необходимо предоставить намного больше возможностей для «совершенствующего» опыта, нейтрального в отношении предпочтений, такого как путешествия, дебаты и обучение аналитическому и критическому рассуждению. Мы могли бы, например, дать каждому старшекласснику возможность прожить по несколько месяцев по меньшей мере в двух разных культурах, отличающихся от его культурной среды.

Почти наверняка мы захотим пойти дальше — скажем, провести социальные и образовательные реформы, повышающие коэффициент альтруизма (веса, приписываемого каждым индивидом благополучию других), в то же время снижая коэффициенты садизма, гордости и зависти. Будет ли это хорошей идеей? Следует ли нам привлечь машины для помощи в этом процессе? Это, безусловно, соблазнительно. Сам Аристотель писал: «Главная забота политика — породить определенный характер в гражданах и сделать их добрыми и расположенными к благородным деяниям». Давайте просто признаем, что существуют риски, связанные с преднамеренным конструированием предпочтений в глобальном масштабе. Мы должны действовать крайне осторожно.

Глава 10. Проблема решена?

Если нам удастся создать доказуемо полезные ИИ-системы, то мы устраним опасность утраты контроля над сверхинтеллектуальными машинами. Человечество могло бы продолжить их разработку и получить невообразимые выгоды от возможности направить намного больший интеллект на развитие нашей цивилизации. Мы освободились бы от векового рабства, поскольку вместе с сельскохозяйственными, промышленными и офисными роботами сумели бы максимально использовать жизненный потенциал. С точки зрения этого золотого века мы оглядывались бы на свое сегодняшнее существование и видели нечто вроде описанной Томасом Гоббсом жизни без государства: одинокой, бедной, ужасной, жестокой и короткой^{18}.

Или нет? Что, если хрестоматийные злодеи перехитрили бы наших «телохранителей» и высвободили неконтролируемую силу сверхинтеллекта, против которой у человечества нет защиты? Если бы мы и выжили, то постепенно слабели бы, передавая все больше своих знаний и умений машинам. Машины могли бы посоветовать нам этого не делать, понимая долгосрочную ценность автономии человека, но, вероятно, мы бы настояли на своем.

Полезные машины

Стандартная модель, лежащая в основе значительной части технологий XX в., опирается на машины, оптимизирующие фиксированную, поступающую извне целевую функцию. Как мы видели, эта модель имеет фундаментальные недостатки. Она работает, только если задача гарантированно является полной и верной или если оборудование можно легко отключить. Оба эти условия перестанут выполняться по мере роста возможностей ИИ.