Совместимость. Как контролировать искусственный интеллект - [22]

Если бы новорожденный научился играть в десятки видеоигр на сверхчеловеческом уровне в первый день жизни или стал чемпионом мира по го, шахматам и сёги, мы заподозрили бы бесовскую одержимость или инопланетное вмешательство. Вспомним, однако, что все эти задачи намного проще реального мира: они полностью наблюдаемы, предполагают короткие временные горизонты, имеют относительно мало статичных пространств и простые предсказуемые правила. Отмена любого из этих условий означает, что стандартные методы не сработают.

Напротив, сегодняшние исследования нацелены именно на выход за рамки стандартных методов, чтобы системы ИИ могли действовать в более широких классах среды. В тот день, когда я писал предыдущий абзац, например, OpenAI объявила, что ее команда из пяти программ ИИ научилась обыгрывать команды опытных игроков в Dota 2. (Для непосвященных, к которым отношусь и я: Dota 2 — обновленная версия «Обороны древних», стратегия в реальном времени из семейства игр Warcraft. На сегодняшний день это самый доходный и конкурентный киберспорт с призами в миллионы долларов.) Dota 2 предполагает коммуникацию, работу в команде и неограниченные время и пространство. Игры длятся десятки тысяч временных шагов, и определенный уровень иерархической организации поведения представляется принципиально важным. Билл Гейтс описал эту новость как «колоссальную веху в создании искусственного интеллекта»[73]. Через несколько месяцев обновленная версия программы победила команду лучших в мире профессиональных игроков в Dota 2[74].

Такие игры, как го и Dota 2, являются отличным способом протестировать методы обучения с подкреплением, поскольку функция вознаграждения заложена в правила игры. Однако реальный мир не столь удобен, и в десятках случаев ошибочное определение вознаграждения ведет к странному и неожиданному поведению[75]. Некоторые ошибки безвредны, например в случае системы эволюционного моделирования, которая должна была эволюционным путем создать быстро движущиеся существа, но на деле сотворила невероятно долговязые существа, которые быстро двигались за счет того, что падали[76]. Есть и менее безобидные ошибки, скажем, оптимизаторы переходов в социальных сетях, превращающие наш мир в кошмар.

Последняя категория агентов, которую я рассмотрю, является самой простой. Это программы, напрямую связывающие восприятие с действием без какого-либо промежуточного обдумывания или мыслительного процесса. В сфере ИИ программа такого типа называется рефлекторным агентом, что отсылает нас к нервным рефлексам нижнего уровня у человека и животных, не связанных мышлением[77]. Например, рефлекс моргания у человека соединяет выходные сигналы низкоуровневых цепей обработки данных зрительной системы непосредственно с двигательной зоной, управляющей веками, так что любая быстро появляющаяся область в поле зрения вызывает сильное моргание. Вы можете проверить это прямо сейчас: попробуйте ткнуть себя (не слишком сильно) пальцем в глаз. Эту рефлекторную систему можно рассматривать как простое «правило» в следующем виде:

if <быстро появляющаяся область в поле зрения> then <моргание>.

Мигательный рефлекс «не знает, что делает»: задача (защитить глазное яблоко от инородных предметов) нигде не представлена; знание (что быстро движущаяся область соответствует предмету, приближающемуся к глазу, и что предмет, приближающийся к глазу, может его повредить) также нигде не представлено. Поэтому, когда нерефлекторная часть вас хочет закапать лекарство в глаза, рефлекторная часть все равно моргает.

Другой всем известный рефлекс — экстренное торможение, когда впереди идущая машина неожиданно останавливается или на дорогу шагает пешеход. Быстро решить, нужно ли тормозить, нелегко: в 2018 г., после того как экспериментальный автомобиль на автопилоте убил пешехода, компания Uber объяснила, что «маневр экстренного торможения запрещен, когда транспортное средство находится под компьютерным управлением, во избежание возможного неуправляемого поведения транспортного средства»[78]. Таким образом, задача разработчика очевидна — не убивать пешеходов, — но политика агента (если он активирован) некорректно ее реализует. Опять-таки задача в агенте не представлена: никакое автономное транспортное средство сегодня не знает, что людям не нравится, когда их убивают.

Рефлекторные действия участвуют и в таких более рутинных задачах, как соблюдение рядности: если автомобиль хотя бы минимально отклонится от идеального положения в ряду, простая система контроля с обратной связью может повернуть рулевое колесо в противоположном направлении и исправить отклонение. Величина поворота будет зависеть от того, насколько быстро машина смещается в сторону. Контрольные системы этого типа обычно разрабатываются так, чтобы минимизировать квадрат бокового отклонения, нарастающего со временем. Разработчик создает закон управления с обратной связью, по которому при определенных условиях в отношении скорости и кривизны дороги приближенно реализуется эта минимизация[79]. Аналогичная система действует всякий раз, когда вы идете и затем останавливаетесь; если бы она прекратила работать, вы тут же упали бы. Как и в случае мигательного рефлекса, довольно трудно отключить этот механизм и позволить себе упасть.