2084: Счастливый новый мир - [19]

Аплодисментов аудитории не последовало, но, кажется, в первый раз с момента открытия форума в атмосфере съезда повеяло неопределенностью. Следующие несколько выступлений были посвящены техническим деталям работы суперкомпьютера SHANE. Свежую струю внес швейцарский юрист, говоривший с сильно резавшим слух немецким акцентом, но здраво по сути. Он отметил, что введение в действие механического алгоритма, не только не уступающего общему человеческому интеллекту, но даже превосходящему его, порождает огромное число потенциальных юридических коллизий во всех областях права. Главная проблема заключалась в том, что такой алгоритм будет иметь все основания претендовать на права человека, да еще и принадлежащего к самому элитному грейду A+. С развитием подобных систем механических алгоритмов с человеческими правами на планете будет становиться все больше, что приведет к необходимости пересмотра большинства сложившихся веками юридических норм.

После еще трех докладов пришла очередь Роберта. У него не было ни малейшего страха выступлений в любой аудитории. Это отчасти врожденный навык, но он отлично тренируется за несколько лет работы лектором, тем более в таком университете, как Гарвард. Надо лишь сосредоточиться на смысле выступления, логике приводимых аргументов и при этом относиться к аудитории, даже такой авторитетной, как эта, как к студентам-первокурсникам.

– Уважаемые коллеги! Я представляю сейчас здесь не столько себя, сколько коллектив исследователей одного из самых авторитетных университетов мира. Мой великий соотечественник – писатель, ученый и пророк научной эры Айзек Азимов – когда-то сформулировал три закона робототехники, не потерявшие актуальность и сегодня. Уверен, все вы о них знаете еще с начальной школы, но я все же позволю себе их повторить с этой высокой трибуны. Мы с моими коллегами – физиками, математиками, компьютерщиками, философами – попытались научно проанализировать то, насколько универсальный ИИ будет им соответствовать. Итак, первый закон. Робот не имеет права нанести вред человеку. К сожалению, до сих пор никто не смог точно, в терминах компьютерных алгоритмов, сформулировать, что есть для человека вред, а что – польза. Современная философия утверждает, что высшая цель прогресса, а значит, и польза – это счастье человека. Допустим, героиновый наркоман просит робота дать ему еще одну дозу, чтобы облегчить его страдания. Отказать наркоману – означает причинить ему немедленный вред. Сможет ли универсальный интеллект разобраться даже в этом простейшем случае, причинить кажущийся сиюминутный вред человеку ради его же куда более важной будущей пользы? А ведь это лишь азы. Когда подобная система интеллекта начнет размышлять о глобальных вопросах человечества, то к каким странным, непонятным нам и, главное, совершенно непредсказуемым выводам она может прийти? Второй закон робототехники. Робот не может допустить своим бездействием, чтобы был нанесен вред человеку. Представьте, что роботизированная система без контроля диспетчеров управляет самолетом, который терпит крушение над населенным городом. Она может попытаться посадить самолет на оживленной улице, что вероятнее всего, спасет пассажиров, но приведет к гибели большого количества случайных пешеходов. Или она может увести падающий самолет за пределы города, но тогда сотни его пассажиров уже ничто не спасет. Как универсальный ИИ сможет принять хоть какое-то решение в ситуации, когда любое выбранное им действие означает одновременное грубейшее нарушение и первого, и второго законов? Сможет ли он вообще хоть как-то функционировать в любой экстренной ситуации, встав перед такой дилеммой? Наконец, третий закон: робот должен заботиться о собственной безопасности, если это не противоречит первым двум законам. Но что, если универсальный ИИ будет осознавать себя достойной самостоятельной личностью, не менее ценной для общества, чем любой отдельный человек, созданный природой из органической белковой материи? Тогда он вполне может логично рассудить, что третий закон должен поменяться местами с первым. И ради собственной безопасности система универсального интеллекта решит, что для сохранения себя она абсолютно вправе пожертвовать человеческими жизнями. Одной жизнью, двумя, миллионом, всем человечеством – не принципиально, для системы это будет лишь вопрос количества, а не качества. На основании вышесказанного мы категорически против легализации универсального ИИ. Причем мы настаиваем не на пятилетнем моратории, как это предлагал наш великий русский коллега ранее сегодня, а на его полном запрещении. Спасибо за внимание.

Аплодисменты на этот раз прозвучали, но очень робкие. Кажется, атмосфера наэлектризовалась теперь уже довольно ощутимо. Спускаясь с трибуны, Роберт почувствовал на себе взгляды сотен пар настороженных глаз. Он случайно заметил в зале того индуса, который накануне вслед за ним регистрировался в гостинице. Тот сидел неподалеку в традиционном белом головном уборе сикхов и провожал его острым пристальным взглядом. Модератор конференции с явным облегчением объявил двадцатиминутный перерыв для кофе и неформального общения делегатов.