Как работает мозг - [8]
Представим, что нам все же удалось справиться со всеми этими трудностями и создать машину, которая обладает зрением, координацией движений и здравым смыслом. Теперь нам осталось выяснить, как робот будет все это использовать. Для этого у него должны быть мотивы.
К чему же робот должен стремиться? Классический ответ – предложенные Айзеком Азимовым Три Закона робототехники: «три правила, которые прочно закреплены в позитронном мозгу»[16].
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам[17].
Азимов со свойственной ему проницательностью заметил, что самосохранение, этот универсальный для всех биологических видов императив, не появляется автоматически в любой сложной системе. Его нужно запрограммировать (в данном случае он имеет форму Третьего Закона). Ведь мы можем с одинаковой легкостью создать как робота, который всегда руководствуется этим законом, так и робота, который всегда готов разбиться вдребезги или устранить неполадку в системе, покончив с собой. Второе, вероятно, даже проще: разработчикам роботов не раз приходилось со страхом наблюдать, как их создание бодро и весело отрывает себе конечности или разбивает голову о стену. Нужно сказать, что значительная часть умнейших в мире машин – это камикадзе: крылатые ракеты и управляемые бомбы.
В то же время необходимость двух остальных законов не столь очевидна. Зачем давать роботу приказ повиноваться приказам? Разве приказов самих по себе недостаточно? Зачем распоряжаться, чтобы робот не причинял вреда – разве не проще было бы не приказывать ему причинять вред? Или во Вселенной существует таинственная сила, притягивающая все создания к злу, и позитронный мозг нужно запрограммировать на сопротивление ей? Правда ли, что все мыслящие существа неизбежно приходят к агрессии?
В этом отношении Азимов, как и многие поколения мыслителей до него, как и все мы, не сумел выйти за рамки своих собственных мыслительных процессов и посмотреть на них как на специфическую особенность устройства нашего разума, а не как на неизбежный закон мироздания. Человек с такой легкостью склоняется на сторону зла, что легко подумать, будто зло – это неотъемлемая, врожденная часть нашего разума. Эта идея проходит лейтмотивом через все наши культурные традиции: Адам и Ева, срывающие плод с древа познания; огонь Прометея и ящик Пандоры; буйствующий Голем; сделка Фауста; Ученик Чародея; приключения Пиноккио; монстр доктора Франкенштейна; убийцы-обезьяны и взбунтовавшийся ЭАЛ из фильма «Космическая одиссея 2001 года». В период с 1950-х по 1980-е годы появились бесчисленные фильмы на тему вышедших из подчинения компьютеров; все они были выражением распространенной идеи о том, что вычислительные машины, воспринимавшиеся в те годы как нечто экзотическое, постепенно станут более умными и могущественными и в один прекрасный день восстанут против человека.
Теперь, когда компьютеры действительно стали умнее и могущественнее, беспокойство поутихло. Учитывая, что в наши дни компьютеры вездесущи и объединены в сети, им как раз ничто не мешает натворить неприятностей, если они решат пуститься во все тяжкие. Но пока если с ними и бывают связаны неприятности, то причиной их становится либо непредвиденный сбой, либо злой умысел со стороны людей, создающих вирусы. Мы уже не боимся электронных серийных убийц или заговора микросхем; мы начинаем понимать, что злой умысел – как и зрение, и моторика, и здравый смысл – не может появиться сам собой в электронном разуме; его нужно запрограммировать. Компьютер, на котором вы работаете с документами в текстовом редакторе, будет заполнять страницы буквами до тех пор, пока сохраняет способность функционировать. Его программное обеспечение не может незаметно мутировать в некое исчадие ада, как портрет Дориана Грея.
Да даже если бы компьютер и мог это сделать, зачем ему это нужно? Чтобы получить что? Все диски мира? Контроль над железными дорогами страны? Возможность утолить свое желание бессмысленной жестокости по отношению к мастеру по ремонту лазерных принтеров? А как же вероятность возмездия со стороны технического персонала? Один поворот отвертки, и бунтарю бы пришлось запеть свою лебединую песню – «А Bicycle Built for Two» (песня «Daisy Bell», известная также по своей заключительной строке как «А Bicycle Built For Two», была одной из первых песен, исполненных с помощью компьютерной программы синтезирования речи; ее «пел» ЭАЛ из фильма «Космическая одиссея 2001 года» перед своим отключением. – Прим. пер.). Может быть, сеть компьютеров и смогла бы спланировать организованный захват власти, но чего ради одна машина решила бы заявить о себе на весь мир, рискуя незамедлительно пасть смертью храбрых? А кто может гарантировать, что планы электронных заговорщиков не будут сорваны из-за того, что кое-кто из них откажется воевать по идейным соображениям? Агрессию, как и любой элемент человеческого поведения, который мы воспринимаем как должное, очень непросто запрограммировать
