Совместимость. Как контролировать искусственный интеллект - [86]

Что ж, это возможно, но это была бы другая модель, включающая недовольство разницей благополучий. В нашей простой модели Боб будет удовлетворен результатом. Действительно, в равновесной ситуации он бы противился любой попытке перенаправить ресурсы от Алисы ему, потому что это уменьшило бы его совокупное счастье. Если вам это кажется совершенно нереалистичным, рассмотрите случай, когда Алиса является новорожденной дочерью Боба.

По-настоящему проблемной для Робби является ситуация, когда С_АВ отрицателен: в этом случае Алиса попросту отвратительна. Подобные предпочтения я описываю термином негативный альтруизм. Как в приведенном ранее примере с садисткой Гарриет, речь идет не о заурядной зависти и эгоистичности, когда Алиса рада урвать долю Боба, чтобы увеличить собственную. Негативный альтруизм означает, что единственным источником счастья для Алисы является уменьшение чужого благополучия, даже если ее собственное непосредственное благополучие при этом не меняется.

В статье, где вводилось понятие утилитаризма предпочтений, Харсаньи объясняет негативный альтруизм «садизмом, завистью, возмущением и злобностью» и утверждает, что ими следует пренебрегать при расчете общей суммы человеческой полезности в популяции:

Никакое доброе отношение к индивиду Х не может наложить на меня нравственное обязательство помогать ему в причинении вреда третьей личности, индивиду Y.

Похоже, это область, в которой разработчикам интеллектуальных машин целесообразно, скажем так, надавить спасительным пальцем на нужную чашу весов.

К сожалению, негативный альтруизм намного более распространен, чем кажется. Он возникает чаще не из садизма и злобности[308], а из зависти и возмущения и обратной им эмоции, которую я называю гордыней (за отсутствием лучшего обозначения). Если Боб завидует Алисе, то становится несчастным из-за разницы между благополучием Алисы и собственным; чем больше разница, тем он несчастнее. Напротив, если Алиса гордится своим превосходством над Бобом, то для нее становится источником счастья тот факт, что она стоит выше него. Легко доказать, что в математическом смысле гордыня и зависть действуют примерно так же, как садизм; они заставляют Алису и Боба испытывать счастье исключительно за счет снижения благополучия друг друга, поскольку уменьшение благополучия Боба увеличивает гордыню Алисы, а уменьшение благополучия Алисы уменьшает зависть Боба[309].

Джеффри Сакс, знаменитый специалист по экономике развития, однажды рассказал мне историю, иллюстрирующую силу подобных предпочтений в мышлении людей. Он был в Бангладеш вскоре после масштабного наводнения, разорившего один из регионов страны, и разговаривал с фермером, потерявшим дом, поля, весь скот и одного из детей: «Мне очень жаль, вы, конечно, в страшном горе». «Ничего подобного, — ответил фермер. — Я прямо-таки счастлив, ведь мой проклятый сосед лишился еще и жены и всех детей!»

Экономический анализ гордыни и зависти — особенно в контексте социального положения и статусного потребления — вышел на первый план в работе американского социолога Торстейна Веблена, издавшего в 1899 г. книгу «Теория праздного класса», в которой раскрываются разрушительные следствия подобного отношения[310], В 1977 г. британский экономист Фред Хирш издал «Социальные пределы роста»[311], где ввел понятие статусного товара. Статусным товаром может быть все что угодно — машина, дом, олимпийская медаль, образование, доход или определенный акцент, — что получает свою воспринимаемую ценность не только из присущих выгод, но и из относительных свойств, в том числе малого количества или превосходства по отношению к кому-то другому. Погоня за статусными товарами, побуждаемая гордыней и завистью, имеет характер игры с нулевой суммой, иными словами, Алиса не может улучшить свое относительное положение, не ухудшив относительное положение Боба, и наоборот. (Это, очевидно, не мешает тратить на эту погоню огромные суммы.) Статусные товары получили повсеместное распространение в современной жизни, и машинам придется понять их общую значимость в предпочтениях индивидов. Более того, специалисты по теории социальной идентичности предполагают, что членство в группе и принадлежность к ней, а также статус всей группы относительно других групп являются принципиально важными составляющими самоуважения человека[312]. Итак, трудно понять поведение человека без понимания того, как индивиды воспринимают самих себя как членов групп — будь то биологического вида, населения страны, этнической группы, политической партии, профессионального круга, семьи или болельщика определенной футбольной команды.

Как и в случае садизма и злобности, мы можем предположить, что Робби должен будет приписывать малый или нулевой вес гордыне и зависти от своих планов помощи Алисе и Бобу. Однако это предложение сталкивается с некоторыми трудностями. Поскольку гордыня и зависть противодействуют заботе в отношении Алисы к благополучию Боба, будет нелегко их разделить. Может оказаться, что Алиса очень заботлива, но в то же время страдает от зависти; трудно отличить эту Алису от другой Алисы, которой лишь самую малость не наплевать на Боба, зато она совсем не завидует ему. Более того, в силу преобладания гордыни и зависти в человеческих предпочтениях критически важно учесть негативные последствия их игнорирования. Возможно, они принципиальны для самооценки, особенно в положительной форме самоуважения и восхищения другими.