Среднего более не дано. Как выйти из эпохи великой стагнации - [47]

Мы снова вернулись в пугающий мир, где важные решения принимаются без малейшей степени ответственности и подконтрольности.

В прочих ситуациях мы просто не сможем не делать прямых моральных суждений. Представим для примера, что вы владеете автомобилем, управляемым компьютером. На какие действия он должен быть запрограммирован в случае неизбежной аварийной ситуации? Следует ли ему избежать наезда на детскую коляску, но с риском сбить двух пожилых пешеходов? Должен ли автомобиль быть запрограммирован врезаться с вами в мачту освещения, если вероятность того, что он может сбить пешехода, составляет 0,6? Подобные вопросы наверняка будут обсуждаться в вечерних выпусках новостей. Не думаю, что общественное мнение позволит программируемым автомобилям действовать чрезмерно «эгоистично». Но что, если водитель возьмет на себя управление автомобилем как раз перед тем, как произойдет наезд? Существующая правовая система предоставляет достаточную свободу интерпретации такой ситуации человеком. Следует ли ужесточать нормы права и для водителей-людей? Станет ли моральная оценка вашей автомобильной программы достаточным свидетельством в судебных слушаниях о вашем безответственном вождении? Вероятно, да. Вы сами видите, что многие из сегодняшних моральных критериев меняются.

Суждение о действиях умных машин на основе внешних и далеко не совершенных стандартов приведет к определенным систематическим проблемам. Что делать, когда высококлассная диагностическая команда вынуждена удовлетворять стандартам, установленным уступающим ей в интеллектуальном плане начальником, губернатором или правовой системой?

Все это однажды выяснится. В будущем нас ждут Неподотчетная Команда «Адванс», Ужасающая Команда «Адванс» и Ущербная Команда «Адванс» — причем все три одновременно.

8. Почему тест Тьюринга не столь уж и важен

Именно благодаря тому, что внедрение технологий в наши жизни будет сложным и продолжительным процессом, мы и сможем пережить пришествие машин сравнительно легко. А вот если бы технологии механического разума — соответствующие двум столетиям их развития — обрушились на нас в одночасье, это породило бы хаос. Множество людей не смогли бы получить никакую работу, поскольку они не были бы способны управлять высокотехнологичными машинами и им понадобилось бы много времени, чтобы освоиться. Мы сравнительно легко справляемся с современными технологиями потому, что их развитие было постепенным и у нас было время поспевать за ними. Развитие технологий — это здорово, но постепенное их развитие — еще лучше.

Если бы я перенесся в Средние века, да даже в XIX век, от моих знаний и умений мне не было бы никакого проку, и, возможно, я не смог бы даже устроиться на работу. Я не смог бы ни подковать лошадь, ни управлять водоподъемным колесом, ни зажечь лампу на китовом масле, ни провести церковную службу на латыни. Со временем чему-то я бы научился, но это не стало бы легким процессом. Травмы, полученные при работе с ручными инструментами, выводили бы меня из себя, а отсутствие электричества — раздражало. Мне гораздо проще будет обращаться с iPhone 6 или следующим поколением компьютерных программ, и это — несмотря на то, что я бы не сказал, что более-менее хорошо разбираюсь в цифровых технологиях.

Что нас ждет в долгосрочной перспективе

Далеко не всем путь в будущее видится пологим и плавным. Существуют и достаточно радикальные концепции того, как именно машинный или искусственный разум преобразит мир. Елиезер Юдковски, известный футуролог и теоретик, предлагает довольно мрачные прогнозы: однажды мы проснемся и узнаем, что какая-то сверхумная машина захватила контроль над миром, как это описано в фильме «Терминатор» с участием Арнольда Шварценеггера. Не исключено, что эта машина уничтожит нас или превратит в рабов. Интересно, что уже в 1909 году в оригинальном для своего времени рассказе «Хозяин Моксона» Амброз Бирс описывает шахматную машину, предположительно убивающую людей.

Елиезер Юдковски опасается лавинообразного развития. Как только технологическое совершенство одной из программ достигнет определенного уровня, она сможет сама создавать программы, которые в свою очередь будут самостоятельно развивать свои возможности. Совокупные способности этих программ могут вырасти в геометрической прогрессии и, вполне возможно, достигнуть значительной мощности. Вспомните девиз киноэпопеи «Терминатор»: «Скайнет ожил». После этого все пошло насмарку, даже несмотря на то, что человек сумел оказать машинам вооруженное сопротивление.

Последствием подобного развития событий стало бы то, что мы превратились бы в обслугу машин и не обязательно — по своей доброй воле.

Если мы ведем речь о достаточно отдаленном будущем, то мы должны допускать, что в будущем может случиться что угодно. Однако свидетельства, имеющиеся на настоящий момент, позволяют говорить о малой вероятности подобного каскадного и нестабильного развития. Развитие даже самых мощных программ невозможно без участия человека. Например, шахматные программы опережают человека в решении лишь крайне узких задач, таких как расчет шахматных вариантов. И им по-прежнему требуется, чтобы человек включил компьютер и запустил программу, не говоря уже о том, что именно человек способен организовать турнир или создать справочник по дебютам. Никто не опасается того, что шахматные программы организуют переворот и захватят власть в Шахматной федерации Соединенных Штатов. Подобное предположение было бы, скажем, глупым. Никаких свидетельств того, что программы «мыслят сами по себе», не существует, а их самые блестящие «логические» находки являются исключительно результатом более глубоких расчетов, а не их способности разрабатывать независимые созидательные планы или ретроспективно размышлять о любви или ненависти к своим оппонентам из числа людей. Несмотря на все их практические способности, каких-либо оснований считать, что данные программы способны прийти к тому, что мы понимаем под самосознанием, не существует, и нетрудно заметить, что принципы их функционирования весьма отличны от принципов функционирования человеческого мозга. Правда такова, что в действительности не существует ни вампиров, ни драконов, ни самопрограммирующихся компьютерных систем. Поэтому давайте не будем переживать о том, что они вдруг материализуются у нас под кроватью или на жестком диске нашего компьютера.