Искусственный интеллект - [116]

Предполагается, что система управления аниматом имеет иерархическую архитектуру. Базовым элементом системы управления является отдельная функциональная система (ФС). Верхний уровень соответствует основным потребностям организма: питания, размножения, безопасности, накопления знаний. Более низкие уровни соответствуют тактическим целям поведения. Блоки всех этих уровней реализуются с помощью ФС. Управление с верхних уровней может передаваться на нижние уровни (от «суперсистем» к «субсистемам») и возвращаться назад. Предполагается, что система управления аниматом функционирует в дискретном времени t= 1, 2, ..., и в каждый такт времени активна только одна ФС.

Предполагается простая формализация ФС на основе адаптивных критиков. Формальная ФС моделирует следующие важные особенности ее биологического прототипа: а) прогноз результата действия, б) сравнение прогноза и результата, и в) коррекцию прогноза путем обучения в соответствующих нейронных сетях.

Схема адаптивного критика. Рассматриваемая схема адаптивного критика состоит из двух нейронных сетей: Модель и Критик. Предполагается, что производные по весам синапсов нейронных сетей могут быть вычислены обычным методом обратного распространения ошибки [42]. Также предполагается, что адаптивный критик предназначен для выбора одного из нескольких действий. Например, при управлении движением действиями могут быть: двигаться вперед, поворачивать вправо, поворачивать влево, стоять на месте. В каждый момент времени t адаптивный критик должен выбрать одно из возможных действий.

Цель адаптивного критика - максимизировать функцию суммарной награды «, U(t):

U{t) = Y_Jr^Jr{t_J) , t = t₀,t_ht₂,-,

J=о

где r(tj) - текущее подкрепление (награда r(l.j) > 0, или наказание r(tj) < 0), полученное адаптивным критиком в данный момент времени tj, у - коэффициент забывания, 0 < у < 1. т = t_J+\ - tj - шаг по времени. Коэффициент забывания учитывает, что чем дальше анимат «заглядывает» в будущее, тем меньше у него уверенность в оценке награды («рубль сегодня стоит больше, чем рубль завтра»).

Модель имеет два типа входов: 1) входы, характеризующие текущую ситуацию S(0 (сигналы из внешней и внутренней среды анимата), и 2) входы, характеризующие действия. Предполагается, что число возможных действий п_а невелико. Роль Модели - прогноз следующей ситуации S^p',(? г) для всех возможных действий о,, /—1,2,..., Па-

РоЛЬ Критика - оценка качества ситуаций F(S), в частности, прогнозируемых ситуаций S^p',(t I т) для всех возможных действий. Величина F(S) есть оценка аниматом функции суммарной награды U(t), которую можно получить в будущем, исходя из данной ситуации S. Эта оценка постепенно уточняется в процессе обучения.

При выборе действия применяется е -жадное правило [22]:

- с вероятностью 1 - £ выбирается действие с максимальным значением F(S^pr,(M-i)):

к = arg max _г{ F(S^p,',(?+x))},

- с вероятностью s выбирается произвольное действие а_к,

О < £ « 1,

к - индекс выбираемого действия.

Применение этого правила означает, что с большой вероятностью выбирается действие, для которого максимальна оценка суммарной награды U(i). ожидаемой в будущем.

Обучение Модели проводится обычным методом обратного распространения ошибки [42]. Смысл обучения Модели -уточнение прогнозов будущих ситуаций.

Обучение Критика проводится методом ошибки временной разности [22]. Смысл обучения Критика состоит в том, чтобы итеративно уточнять оценки качества ситуаций F(S(/)) в соответствии с поступающими подкреплениями г.

Функционирование системы управления аниматом.

Предполагается следующая схема работы ФС в рамках функционирования всей системы управления аниматом. Каждая ФС представляет собой адаптивный критик, имеющий связи с некоторой суперсистемой (системой более высокого уровня иерархии) и, возможно, одной или несколькими субсистемами (системами более низкого уровня иерархии). ФС активизируется командой от суперсистемы; Модель и Критик функционируют так, как описано выше. В результате осуществляется выбор действия а_к. Дальнейшее зависит от вида действия а_к. Если действие - команда для исполнительных элементов, то такое действие выполняется сразу. Далее анимат получает подкрепление г из внешней или внутренней среды, и производится обучение в нейронных сетях Модели и Критика.

Другой тип действий - команды для субсисгем. Для такого действия подается команда активизации определенной субсистемы (выбор конкретной субсистемы определяется номером действия а_к). В этом случае сравнение прогноза и результата, оценка подкрепления г и обучение нейронных сетей откладывается до получения отчета от субсистемы.

После выполнения всех этих действий ФС посылает отчет об окончании своей работы суперсистеме.

Описанный способ работы ФС представляет собой обычный режим функционирования. Вводится также экстраординарный режим, который имеет место, если прогноз существенно отличается от фактического результата. В экстраординарном режиме величина е (вероятность выбора случайного действия) в данной ФС и ее субсистемах резко возрастает, и поиск новых решений включает большую случайную компоненту. Этот поиск может сопровождаться случайным формированием и селекцией новых функциональных систем, аналогично селекции нейронных групп в теории нейродарвинизма Дж. Эдельмана [43]. Таким образом, обычный режим функционирования может рассматриваться как тонкая настройка системы управления аниматом, в то время как экстраординарный режим - это грубый поиск подходящего поведения в чрезвычайных ситуациях.