Совместимость. Как контролировать искусственный интеллект - [88]
Судя по всему, понимание действий человека требует понимания его иерархии стандартных подпрограмм (весьма индивидуальной): какую подпрограмму данный человек выполняет сейчас, какие краткосрочные цели преследуются в рамках этой подпрограммы и какое отношение они имеют к глубинным, долгосрочным предпочтениям. Обобщая, можно сказать, что выяснение человеческих предпочтений требует узнавания реальной структуры человеческой жизни. Каковы все те дела, которыми мы, люди, можем заниматься, поодиночке или вместе? Какие занятия характерны для разных культур и типов индивидов? Это невероятно интересные и серьезные вопросы для исследования. Очевидно, у них нет конкретного ответа, поскольку мы, люди, постоянно пополняем свой «репертуар» новыми видами деятельности и поведенческими структурами. Однако даже частичные и промежуточные ответы были бы очень полезны для интеллектуальных систем всех типов, призванных помогать людям в их повседневной жизни.
Еще одна очевидная особенность действий людей — ими часто движут эмоции. В некоторых случаях это хорошо: такие эмоции, как любовь и благодарность, без сомнения, играют роль в наших предпочтениях, и движимые ими действия могут быть рациональными, даже не являясь в полной мере преднамеренными. В других случаях эмоциональная реакция ведет к действиям, которые даже глупые люди оценивают как не особенно рациональные — разумеется, задним числом. Например, рассерженная Гарриет, в сердцах шлепнувшая заупрямившуюся 10-летнюю Алису, может сразу же пожалеть об этом поступке. Робби, наблюдающий это действие, должен бы (обычно, хотя не всегда) объяснить его злостью и разочарованием, а также недостатком самоконтроля, а не осознанным садизмом ради садизма. Чтобы эта схема работала, Робби должен иметь некоторое понимание эмоциональных состояний человека, включая их причины, развитие во времени в ответ на внешние раздражители и их влияние на действие. Специалисты по нейробиологии начинают постигать принципы некоторых эмоциональных состояний и их связь с другими когнитивными процессами[314], и существует ряд полезных работ по вычислительным методам обнаружения и прогнозирования эмоциональных состояний человека и управления ими[315], но предстоит узнать намного больше. Опять-таки машины находятся в неблагоприятном положении, когда речь идет об эмоциях: они не могут выполнить внутреннее моделирование опыта, чтобы узнать, какое эмоциональное состояние он вызовет.
Эмоции не только влияют на наши действия, но и дают ценную информацию о глубинных предпочтениях. Например, маленькая Алиса отказывается делать уроки, и Гарриет рассержена и разочарована, потому что искренне хочет, чтобы Алиса хорошо училась и смогла устроиться в жизни лучше ее самой. Если Робби наделен способностью это понять — пусть не может испытать это сам, — он очень многое узнает из далеко не рациональных действий Гарриет. Следовательно, появится возможность создать рудиментарные модели эмоциональных состояний человека, достаточные для того, чтобы избегать самых грубых ошибок в суждении о человеческих предпочтениях, исходя из поведения.
Действительно ли у людей есть предпочтения?
Вся эта книга исходит из того, что существуют варианты будущего, которые нам понравились бы, и варианты, которых мы предпочли бы избежать, скажем, наше скорое исчезновение или превращение в фермы живых батареек, как в фильме «Матрица». В этом смысле люди, разумеется, имеют предпочтения. Однако, если погрузиться в детали того, какой люди желали бы видеть свою жизнь, ситуация осложняется.
Очевидной особенностью людей, если подумать, является то, что они не всегда знают, чего хотят. К примеру, фрукт дуриан вызывает у людей разную реакцию: одним кажется, что он «по вкусу превосходит все остальные фрукты в мире»[316], а другие сравнивают его с «нечистотами, застарелой рвотой, струей скунса и использованными хирургическими тампонами»[317]. Я сознательно не стал пробовать дуриан до выхода этой книги и могу занять нейтральную позицию по этому вопросу: я попросту не знаю, к какому лагерю примкнул бы. То же самое можно сказать о многих людях в отношении будущей карьеры, будущих партнеров, будущих занятий по выходе на пенсию и т. д.
Неопределенность в отношении предпочтений бывает как минимум двух типов. Первая — это реальная неопределенность вроде той, что испытываю я в вопросе о дуриане[318]. Сколько ни размышляй, эту неопределенность не устранить. Это эмпирический факт бытия, и я могу узнать больше, попробовав дуриан, сравнив свою ДНК с ДНК любителей и ненавистников дуриана и т. д. Неопределенность второго типа является следствием ограничения вычислительных возможностей: глядя на две позиции на доске для игры го, я не могу решить, какую предпочесть, поскольку варианты развития обеих совершенно недоступны моему пониманию.
Неопределенность также возникает из того факта, что варианты выбора, которые нам предлагаются, обычно неполно сформулированы — иногда настолько неполно, что их вообще с трудом можно назвать вариантами выбора. Когда Алиса оканчивает школу, консультант по профориентации может предложить ей выбор между «библиотекарем» и «шахтером», и она вполне разумно ответит: «Я не знаю, что предпочесть». Здесь неопределенность следует из реальной неопределенности в вопросе о том, что она сама предпочитает, угольную пыль или книжную, из вычислительной неопределенности, когда она пытается понять, как можно было бы извлечь максимум возможного из обоих вариантов профессиональной карьеры, а также из бытовой неопределенности в мире, скажем, ее сомнений в плане долгосрочной жизнеспособности местной угольной шахты.
