Совесть. Происхождение нравственной интуиции - [33]

.

На ошибке предсказания награды построен протокол AlphaGo — программы машинного обучения в виде искусственной нейросети (ИНС), научившейся игре в го и обыгравшей корейского чемпиона Ли Седоля. По тому же принципу обучается ИНС, которая громит игроков мирового уровня в техасский холдем (разновидность покера)[116]. Тот же самый протокол используется при обучении ИНС распознавать подозрительные клетки в маммограмме. Инженерная стратегия имитации механизмов ошибки предсказания награды в мозге намного превосходит в гибкости и мощи традиционное программирование.

Не просто обусловливание

Научение в результате действий может принимать самые замысловатые формы, особенно когда оно основывается на сложных фоновых моделях устройства окружающего мира. Выращивая, допустим, малину, вы опираетесь на какие-то фоновые знания из области садоводства, откуда бы они ни были почерпнуты. Вы учитесь определять меру полива: не слишком много и не слишком мало, и когда удобрения способны повысить урожайность. Обрезка ветвей — настоящее искусство, в котором почти нет правил, там все получается на чистой интуиции, «перебор или недобор». Так что остается только экспериментировать, пока не набьешь руку. Двухлетняя малина плодоносит на побегах прошлого года, поэтому при осенней обрезке важно понять, насколько укоротить побеги, чтобы на следующее лето они дали оптимальный урожай. Насколько правильной окажется ваша стратегия обрезки, вы узнаете лишь через год. Условия при этом осложняются тем, что на урожайность могут влиять и другие факторы — вредители, например, или нехватка удобрения. Простого оперантного обусловливания для этой задачи обучения явно недостаточно. Возможности ошибки предсказания награды реализуются шире, когда есть фоновые знания и хорошая память.

Для отказа от неоптимальных решений — таких, например, как предпочтение немедленного вознаграждения в ущерб более ценному, но отсроченному, — необходим самоконтроль, за который отвечают определенные области фронтальной коры. Грубо говоря, чем больше нейронов в лобных областях, тем выше способность контролировать свои порывы. Тем не менее даже грызуны с их весьма скромными размерами префронтальной коры демонстрируют впечатляющее самообладание.

Вот откуда мы это знаем. Крысы легко усваивают, что нажатие рычага А дает одну гранулу корма, зато нажатие рычага Б — целых пять. При каждой попытке крысе позволяется нажать рычаг только один раз, поэтому ей приходится выбирать — А или Б. Очевидно, что лучше Б. А теперь представим, что экспериментатор введет отсрочку подачи корма при нажатии на рычаг Б. Однако часть крыс все равно выбирает Б, даже если им приходится дожидаться корма по 30 секунд. Ожидание дает им возможность оптимизировать награду[117]. Но у крыс, как и у людей, способность к самоконтролю неодинакова[118]. Некоторые крысы, как и люди, плохо контролируют свою тягу к немедленному удовлетворению желания и обычно предпочитают менее ценную, но более скорую награду.

Как выясняется, у человека под воздействием сильного стресса меняются нейронные связи между корой и базальными ядрами, в результате чего усиливается ценность немедленного вознаграждения (например, печенья), а ценность отсроченного (например, сыра) снижается[119]. На самоконтроль могут влиять и другие обстоятельства, такие как усталость и страх.

Один из факторов, усложняющих простую схему ошибки прогнозирования награды, касается внутренних изменений в нервной системе животного, от которых зависит, что и в какой степени признается наградой. Если я уже успела напиться сока, он будет для меня совсем не так ценен, как в тот момент, когда я умираю от жажды; в обычных условиях соленые напитки кажутся горькими и противными, но если у меня патологическая нехватка соли, я буду жадно их хлебать и наслаждаться вкусом[120]. При сильном стрессе я могу потерять аппетит, и еда не будет восприниматься как вознаграждение. Многие героиновые наркоманы признаются, что героин уже не вызывает у них эйфории, они принимают его, только чтобы избежать ломки. То есть их все равно тянет на наркотик, однако удовольствия он им уже не доставляет. Некоторые даже ненавидят его за то, во что он превратил их мозг. Так что «хотеть» иногда совершенно не значит «любить». У зависимых людей система вознаграждения и ее нейронные связи претерпевают изменения[121].

Моделирование вариантов

Поехать на рыбалку или поиграть в гольф? Имеет ли смысл переводить ребенка в другую школу, к другому учителю музыки, в другую футбольную команду? Люди и, возможно, некоторые другие животные часто строят планы, воображая и оценивая результаты вероятных действий, при этом выбор зависит от того, какой предполагаемый результат — наилучший для данного индивида в данных обстоятельствах. Этот процесс называется перспективной оптимизацией[122].

Механизмы, задействованные в более обстоятельной оценке моделируемых результатов (поступать в университет Беркли или Сан-Диего), аналогичны тем, что участвуют в мгновенной оценке (морковку съесть или шоколадный батончик). В сложную совокупность когнитивных процессов, которую мы называем размышлением, входит припоминание схожих случаев, визуальное представление, владение относящейся к делу информацией, знание собственных предпочтений и особенностей характера и что угодно еще. Для моделирования и оценки, вне всякого сомнения, требуется участие корковых и подкорковых механизмов, однако разобраться досконально, как именно мозг моделирует неактуальные события, пока не очень удается. Однако в общем и целом процедура заключается в том, чтобы оптимизировать результаты за счет оценки соответствующих вариантов и, применяя самоконтроль, выбирать то, что кажется наилучшим в средней или долгосрочной перспективе. Этот процесс называется также выполнением ограничивающих условий или