Совместимость. Как контролировать искусственный интеллект - [90]

Канеман предполагает, что с точки зрения экспериментирующего «я» 60 + 30 должно быть строго хуже, чем 60, поскольку включает 60 и еще один неприятный опыт. Тем не менее запоминающее «я» выбирает 60 + 30. Почему?

Объяснение Канемана заключается в том, что запоминающее «я» смотрит на прошлое через весьма причудливые розовые очки, обращая внимание главным образом на «пиковую» ценность (наибольшую или наименьшую гедонистическую ценность) и на «конечную» ценность (гедонистическую ценность в конце опыта). Продолжительность разных частей опыта по большей части не учитывается. Пиковые уровни дискомфорта в схемах 60 и 60 + 30 одинаковы, но конечные уровни разные: в случае 60 + 30 вода на один градус теплее. Если запоминающее «я» оценивает опыт по пиковой и конечной ценности, а не путем суммирования гедонистических ценностей на промежутке времени, то 60 + 30 лучше, что и было обнаружено. Модель «пиковой — конечной ценности» объясняет многие другие, столь же странные наблюдения, описанные в литературе о предпочтениях.

Судя по всему, Канеман (вероятно, справедливо) относится к собственным открытиям двояко. Он предполагает, что запоминающее «я» «попросту ошиблось» и выбрало не тот опыт, потому что его память является дефектной и неполной; он считает это «плохой новостью для верящих в рациональность выбора». В то же время он пишет: «Теория благополучия, игнорирующая желания людей, не может быть надежной». Предположим, к примеру, что Гарриет попробовала пепси и колу и теперь уверенно предпочитает пепси; было бы абсурдом заставлять ее пить колу, исходя из суммы показаний секретного гедонометра, собираемых при каждой пробе.

Дело в том, что никакой закон не требует, чтобы наши предпочтения в отношении того или иного опыта определялись как сумма гедонистических ценностей в отдельные моменты времени. Действительно, стандартные математические модели сосредоточиваются на максимизации суммы вознаграждений [323], но исходным мотивом для этого является математическое удобство. Подтверждения появились позже в виде допущений, согласно которым рационально принимать решения, суммируя вознаграждения [324], но эти допущения необязательно выполняются в реальности. Допустим, Гарриет выбирает одну из двух последовательностей гедонистических ценностей: [10, 10, 10, 10, 10] и [0, 0, 40, 0, 0]. Вполне возможно, что она просто предпочтет вторую последовательность; никакой математический закон не заставит ее делать выбор, исходя из суммы, а не, скажем, максимума.

Канеман признает, что ситуация дополнительно осложняется решающей ролью для благополучия ожиданий и памяти. Память о единичном приятном опыте — своей свадьбе, рождении ребенка, вечере, посвященном сбору ежевики и приготовлению варенья, — способна поддерживать человека долгие годы тяжелой работы и разочарований. Возможно, запоминающее «я» оценивает не только опыт как таковой, но и его совокупное влияние на будущую ценность жизни. Предположительно, именно запоминающее, а не экспериментирующее «я» — лучший судья в вопросе о том, что будет отложено в памяти.

Время и изменение

Очевидно, что разумные люди в XXI в. не захотят перенимать предпочтения, скажем, римского общества II в. с его гладиаторскими бойнями на потеху публики, экономикой на основе рабства и жестоким истреблением покоренных народов. (Незачем подробно разбирать очевидные параллели этих характеристик в современном обществе.) Нормы морали совершенствуются со временем, по мере развития — или дрейфа, если вы предпочитаете этот термин, — нашей цивилизации. Это, в свою очередь, предполагает, что будущим поколениям может показаться совершенно отвратительным наше сегодняшнее отношение, скажем, к благополучию животных. Поэтому важно, чтобы машины, перед которыми поставлена задача реализации человеческих предпочтений, имели возможность реагировать на постепенные изменения этих предпочтений, а не фиксировали их намертво. Три принципа, описанных в главе 7, естественным образом учитывают эти изменения, поскольку требуют, чтобы машины изучали и выполняли нынешние предпочтения нынешних людей, — великого множества разных людей — а не один идеализированный комплекс предпочтений или же предпочтения разработчиков машин, возможно, давно умерших[325].

Возможность изменения типичных предпочтений человеческой популяции за историческое время естественным образом сосредоточивает внимание на вопросе о том, как формируются предпочтения каждого индивида, и о пластичности предпочтений взрослых людей. На наши предпочтения, безусловно, влияет наш организм: так, мы обычно избегаем боли, голода и жажды. Строение нашего тела, однако, остается практически неизменным, следовательно, остальные предпочтения должны зависеть от влияния культуры и семьи. Весьма вероятно, что дети постоянно осуществляют, в той или иной форме, процесс обучения с подкреплением на основе обратной связи, учась обнаруживать предпочтения родителей и сверстников, чтобы объяснить их поведение. Затем дети усваивают эти предпочтения как собственные. Даже у взрослых предпочтения меняются под влиянием СМИ, властей, друзей, работодателей и собственного непосредственного опыта. Возможно, например, что многие сторонники Третьего рейха начинали не с гедонистического садизма и жажды расовой чистоты.