Совесть. Происхождение нравственной интуиции - [32]

До сих пор речь шла о положительном подкреплении или его отсутствии. А что происходит, если опыт оказывается болезненным (назовем его по аналогии «отрицательным подкреплением»)? Допустим, вы, не сбавляя хода, заворачиваете на велосипеде на гравийную дорожку, вас заносит, и вы падаете. Колени и руки ободраны до крови. Ожидания катастрофически не оправдались. В следующий раз вы либо не будете сворачивать на гравий, либо сбросите скорость, то есть в любом случае проявите осторожность. Кнут вместо пряника? Похоже на то.

Чувствительные к наказанию нейроны усиливают активность, когда результат оказывается значительно хуже предполагаемого, и ослабляют ее, когда результат превышает ожидания. Урок, усвоенный моим мозгом: не поворачивать на гравий на полном ходу. Как удалось выяснить сотрудникам Национального глазного института — Окихиде Хикосаке и его коллегам, — чувствительные к наказанию нейроны располагаются в небольшой структуре мозга под названием «поводок». От поводка пролегает нейронный путь в ствол мозга, к вентральной области покрышки, и там его главная функция состоит в том, чтобы тормозить нейроны ВОП и подавлять двигательную реакцию, которую нейроны поводка сочтут вредной. «Пожалуй, так делать не надо», — сообщают они. Если нейроны ВОП выделяют дофамин, то нейроны поводка выделяют серотонин[114].

Суть нейронной активности ВОП можно описать и по-другому: она дает оценку предстоящему событию — например, насколько хорошо то, что должно случиться вскоре после вспышки света, стоит ли стремиться к этому, рисковать, гнаться за этим. Таким образом связываются обучение и принятие решений. Чем шире и глубже сенсорное восприятие окружающего мира, доступное базальным ядрам, тем сложнее оценка того, что можно ожидать и как оптимизировать благоприятные возможности. В социальном контексте мозг усваивает социальные ценности. Мы встречаем неодобрение, когда жульничаем, и одобрение, когда терпеливо ждем своей очереди. Одобрение приносит мозгу крупную награду (прилив дофамина). Неодобрение вызывает прилив серотонина. В первом приближении это и есть механизм формирования нашей совести.

Похоже, ошибка в предсказании награды была одной из тех отправных точек, о которых говорил Крик. Программирование сигнала об ошибке в прогнозе вознаграждения представляется принципиально важной составляющей любого обучения с подкреплением, не только классического условного рефлекса. Дальнейшие шаги в исследовании механизмов обучения у млекопитающих можно будет сделать, если выяснится, что базовый механизм объединен с усовершенствованиями и расширениями в неокортексе, которые прольют свет на более сложные виды обучения с подкреплением, чем банальное павловское обусловливание, — то есть если нейроны в ВОП и базальных ядрах аккуратно встроены в сети, развившиеся в ходе эволюции в коре и гиппокампе. И — о чудо! — так оно и есть. У всех млекопитающих базальные ядра соединены с корой множеством разветвленных связей.

Хотя если начать разбираться в подробностях на клеточном уровне, все не так просто, перед нами все же открывается путь к исследованию более сложных форм обучения с подкреплением. Помимо классического обусловливания существует инструментальное / оперантное обусловливание, или обучение в результате действий, а не просто в процессе ожидания, наблюдения и сопоставления стимулов.

Собака приучается тянуть за веревку звонка, чтобы ее выпустили из дома; крысы усваивают, как нажать на рычаг, чтобы получить гранулы корма; маленькие дети учатся открывать калитку, поднимая щеколду и толкая дверцу, и доставать игрушку с полки, указывая на нее и издавая громкие звуки. Сначала мы исследуем ситуацию, а затем либо повторяем последовательность действий, если попытка увенчалась успехом, либо корректируем, если не удалась. Мы учимся на ошибках, выносим уроки из поражений, побед и даже результатов, не требующих корректировки. Как подсказывает опыт: изучи и пользуйся. Все это примеры обучения с подкреплением, в котором участвуют наши старые знакомые — дофамин, серотонин, прилежащее ядро, ВОП и префронтальная кора.

В завершение этой части главы одно «техническое» примечание: вычислительная модель, на которую ссылались Монтегю и Дайан, объясняя базовый механизм научения с подкреплением в мозге, по сути, представляет собой формат, используемый в машинном обучении, или таинственном ИИ (искусственном интеллекте), любимом детище мира техники.

В машинном обучении компьютерные сети способны осваивать задания, требующие распознавания сложных образов — например, распознавание лиц. Однако, в отличие от классических информационно-вычислительных процессов, сеть не программируется в привычном смысле слова. Для распознавания не пишут специальной программы. Это искусственная нейронная сеть, в которой смоделированы нервные клетки и синапсы, с помощью которых они контактируют. Нейронная сеть учится за счет знакомства с массивом образцов. Как? Посредством механизма ошибки предсказания награды. Точно так же как ВОП и прилежащее ядро. Ознакомившись с примером, машина предлагает ответ и получает на него отклик, обратную связь: «Ага, оно!» или: «У-у-у, не то!». В зависимости от полученного отклика в виртуальных нейронах и виртуальных синапсах автоматически происходят крошечные изменения — примерно как в прилежащем ядре и коре в зависимости от колебаний дофамина. Искусственная нейронная сеть учится путем проб и ошибок