Совместимость. Как контролировать искусственный интеллект - [81]
Даже если нам каким-то образом удастся предотвратить явные преступления, лояльный Робби, трудящийся в интересах нравственно индифферентной Гарриет, будет совершать другие неблаговидные поступки. Делая покупки в продуктовом магазине, он при любой возможности будет лезть к кассе без очереди. Доставляя покупки домой и видя, как прохожий падает с сердечным приступом, он пройдет мимо, чтобы мороженое Гарриет не растаяло. В общем, он найдет бесчисленные способы принести Гарриет пользу за чужой счет. Совершенно законные способы, становящиеся невыносимыми, когда они приобретают массовый характер. Обществу придется ежедневно принимать сотни новых законов для противодействия всем лазейкам, обнаруженным машинами в существующем законодательстве. Люди не склонны пользоваться этими лазейками, поскольку имеют общее понятие о нравственных принципах либо потому, что им попросту не хватает изобретательности.
Условная Гарриет, равнодушная к благополучию других, — уже достаточно плохо. Гарриет-садистка, активно стремящаяся заставлять других страдать, — намного хуже. Условный Робби, сконструированный так, чтобы удовлетворять предпочтения такой Гарриет, стал бы серьезной проблемой, поскольку искал бы — и находил — возможности навредить другим ради удовольствия Гарриет, в рамках закона или нет, но незаметно. Разумеется, он должен был бы отчитываться перед Гарриет, и она получала бы удовольствие, узнавая о его злодействах.
Итак, представляется трудным заставить идею лояльного ИИ работать, если не расширить ее, включив учет предпочтений других людей в дополнение к предпочтениям владельца.
У нас есть мораль и этика, потому что на Земле живет больше одного человека. Подход, наиболее близкий к пониманию того, как следует разрабатывать ИИ-системы, часто называют консеквенциализмом: идея состоит в том, что выбор должен делаться, исходя из ожидаемых последствий. Существует еще два основных подхода: деонтологическая этика и этика добродетели. В самых общих чертах они рассматривают соответственно нравственный характер действий и нравственный характер индивидов, причем, в общем-то, в отрыве от последствий выбора[281]. Поскольку у нас нет никаких свидетельств самосознания машин, я не вижу особого смысла в том, чтобы создавать машины, добродетельные в любом из этих смыслов, если последствия крайне нежелательны для человечества. Иными словами, мы создаем машины, действия которых приводят к каким-то последствиям, и хотим, чтобы эти последствия были для нас предпочтительны.
Это не значит, что нравственные нормы и добродетели ни при чем, просто с утилитарной точки зрения они удовлетворяются в рамках последствий и нравственных практических способов их достижения. Этот момент формулирует Джон Стюарт Милль в «Утилитаризме»:
Предположение, что счастье есть результат и цель нравственности, не означает, что к этой цели нельзя прокладывать дорогу или советовать людям, идущим к ней, отдать предпочтение одному направлению перед другим… Никто же не утверждает, что искусство навигации не основывается на астрономии, потому что моряки не могут ждать, пока будут сделаны расчеты морского астрономического календаря. Будучи рациональными существами, моряки выходят в море, имея готовые расчеты, и все рациональные существа выходят в море жизни с умами, снабженными ответами на всеобщие вопросы о том, что хорошо и что плохо, а также на множество намного более трудных вопросов о мудрости и глупости.
Этот взгляд полностью согласуется с идеей о том, что конечная машина, сталкивающаяся с бесконечной сложностью реального мира, может вызвать лучшие последствия, если будет следовать нравственным нормам и усваивать добродетельную позицию, вместо того чтобы пытаться вычислить оптимальный порядок действий с нуля. Аналогично шахматная программа чаще выигрывает, если пользуется каталогом стандартных дебютов, алгоритмами эндшпилей и оценочной функцией, а не пытается логически построить свой путь к победе без каких-либо «нравственных ориентиров». Консеквенциалистский подход придает и некоторое значение предпочтениям убежденных сторонников сохранения заданного деонтологического правила, поскольку горечь от нарушения правила является реальным последствием. Однако это последствие не имеет бесконечного влияния.
Принцип консеквенциализма трудно оспорить — хотя многие пытались! — поскольку нелогично возражать против консеквенциализма на том основании, что это имело бы нежелательные последствия. Нельзя сказать: «Если вы последуете принципу консеквенциализма в таком-то случае, случится что-то ужасное!» Любой подобный провал стал бы всего лишь свидетельством неверного применения теории.
Допустим, Гарриет хочет совершить восхождение на Эверест. Консеквенциалистский Робби решил бы попросту поднять ее и высадить на вершину Эвереста, раз это ее желаемое последствие. По всей вероятности, Гарриет будет решительно против такого плана, ведь это не позволило бы ей преодолевать трудности, следовательно, ощутить восторг от результата, достигнутого решением сложной задачи собственными силами. Очевидно, правильно сконструированный консеквенциалистский Робби понял бы, что последствия включают все переживания Гарриет, а не только конечную цель. Он мог бы захотеть оказаться рядом в случае непреодолимых сложностей, а также гарантировать, чтобы Гарриет получила необходимую экипировку и подготовку, но он также согласился бы с правом Гарриет подвергнуть себя беспрецедентному риску смерти.
