Последнее изобретение человечества - [17]

Кроме того, аргументы Сёрля можно с той же легкостью применить и к человеку: у нас нет формального определения того, что представляет собой в реальности понимание языка — так как же мы можем утверждать, что человек «понимает» какой-то язык? Судя о том, имеется ли в данном случае понимание, мы можем опереться только на наблюдения. В точности как люди вне китайской комнаты Сёрля.

В любом случае что, собственно, такого выдающегося в мозговых процессах и даже в сознании? Тот факт, что сегодня мы не понимаем феномен сознания, не означает, что мы никогда его не поймем. Это не волшебство.

И все же я согласен и с Сёрлем, и с его критиками. Сёрль прав: машинный интеллект не будет похож на нас. Он будет полон вычислительных механизмов, которые никто как следует не понимает. К тому же компьютерные системы, созданные для ИИ человеческого уровня на основе так называемой «когнитивной архитектуры», могут оказаться слишком сложными, чтобы их мог понять один человек. Но критики Сёрля правы в том, что когда-нибудь УЧИ или ИСИ мог бы научиться мыслить, как мы, если бы мы довели его разработку до этого этапа.

Я не думаю, что до этого дойдет. Я считаю, что наше Ватерлоо состоится в обозримом будущем и участвовать в нем будет завтрашний ИИ и нарождающийся УЧИ, появление которого ожидается лет через десять-двадцать. Для выживания человечества, если оно возможно, необходимо, помимо всего прочего, при создании УЧИ встроить в него что-то похожее на совесть и человеческую отзывчивость, даже дружелюбие. Для этого необходимо как минимум до тонкостей понять умные машины, чтобы не было неожиданностей.

Вернемся ненадолго к одному известному определению так называемой «технологической сингулярности». В нем говорится о будущем, когда нам, людям, придется делить планету с другим, более мощным разумом. Рэй Курцвейл предполагает, что человечество сольется с машинами и таким образом уцелеет. Другие специалисты считают, что машины изменят и улучшат нашу жизнь, но сами мы останемся такими же, как прежде, просто людьми, а не человеко-машинными киборгами. Третьи, и я солидарен с ними, считают, что будущее принадлежит машинам.

Исследовательский институт машинного интеллекта был основан для того, чтобы сохранить наши человеческие ценности вне зависимости от формы, которую приобретут наследники.

Вассар в Сан-Франциско сказал мне:

На кону сейчас передача человеческих ценностей преемникам человечества. А через них — и Вселенной.

В институте считают, что первый УЧИ, который выйдет на свободу, должен быть безопасен; тогда он сможет передать человеческие ценности преемникам человечества, какую бы форму они ни приняли. Если обеспечить безопасность УЧИ не удастся, ни сам человек, ни то, что мы ценим, не уцелеют. И на кону не только будущее Земли. Как сказал мне Вассар

миссия нашего института — сделать так, чтобы технологическая сингулярность произошла в наилучших возможных условиях и принесла Вселенной наилучшее возможное будущее.

Как может выглядеть удачный для Вселенной исход дела?

Вассар пристально смотрел за окно на оживленное по случаю часа пик движение; машины только-только начали скапливаться на железном мосту в Окленд. Где-то там, за водной поверхностью, лежало будущее. В его воображении сверхразум уже вышел из-под контроля своих создателей. Он колонизировал сначала Солнечную систему, а затем и Галактику; теперь он занимался переформатированием Вселенной и вырастал в нечто настолько необычное, что сложно поддается человеческому пониманию.

В этом будущем, сказал Вассар, вся Вселенная становится единым компьютером, или единым сознанием; это настолько же опережает наши сегодняшние представления о мире, насколько космический корабль опережает червя. Курцвейл пишет, что это судьба Вселенной. Другие соглашаются, но считают, что, бездумно развивая ИИ, мы сделаем неизбежным как наше собственное уничтожение, так и уничтожение других существ, возможно, обитающих где-то далеко. Если ИСИ не будет ни любить нас, ни ненавидеть, точно так же он не будет ни любить, ни ненавидеть всех остальных существ во Вселенной. Неужели наше стремление построить ИИ человеческого уровня знаменует собой начало галактической эпидемии?

Покидая квартиру Вассара, я размышлял о том, что может помешать этому антиутопическому сценарию осуществиться. Что сможет остановить всеразрушающий искусственный разум человеческого или более высокого уровня? Более того, есть ли в этой антиутопической гипотезе слабые места?

Ну, вообще-то создатели ИИ могли бы сделать его «дружелюбным», чтобы то, что разовьется из первых образцов УЧИ, не уничтожило нас и другие существа во Вселенной. С другой стороны, не исключено, что мы ошибаемся насчет способностей и побудительных мотивов УЧИ и напрасно боимся, что он будет завоевывать Вселенную. Возможно, это ложная дилемма.

Может быть, ИИ никогда не сможет развиться в УЧИ. Есть серьезные основания считать, что эволюция ИИ произойдет иначе и более управляемым способом, чем мы думаем. Короче говоря, мне хотелось знать, что могло бы направить нас по более безопасному пути в будущее.