Последнее изобретение человечества - [22]

Шрифт
Интервал

Что, собственно, я имею в виду. Вероятность того, что первый УЧИ будет создан непременно в Исследовательском институте машинного интеллекта MIRI и потому в него будет встроен модуль дружественности, достаточно мала. И вряд ли создатели первого УЧИ будут особенно много думать о таких вопросах, как дружественность. Тем не менее существует несколько способов заблокировать недружественный УЧИ. Президент Института машинного интеллекта Майкл Вассар[13] рассказал мне об образовательной программе для элитных университетов и математических конкурсов. MIRI и еще одна дружественная организация, Центр прикладного разума (CEAR), организовали «тренировочные лагеря разума», в которых надеются обучить будущих потенциальных строителей ИИ и руководителей, определяющих техническую политику, рациональному мышлению. Когда новая элита подрастет, эта наука пригодится им в работе и поможет избежать самых неприятных ловушек ИИ.

Этот план может показаться наивным, но на самом деле MIRI и CEAR нащупали важный фактор ИИ-риска. Тема сингулярности привлекает общественное внимание, и вопросы сингулярности будут попадать в поле зрения все большего числа все более умных людей. Окно возможностей для просвещения народа и информирования о связанных с ИИ рисках потихоньку открывается. Но любой план создания совещательного или руководящего органа по вопросам ИИ уже опоздал с реализацией; некоторых катастроф избежать уже невозможно. Как упоминалось в главе 1, по крайней мере 56 стран занимается в настоящее время разработкой боевых роботов. Утверждают, что в разгар войны в Ираке три дрона SWORDS фирмы Foster-Miller, вооруженных пулеметами, были выведены из боевой зоны после того, как направили оружие против своих. В 2007 г. в Южной Африке роботизированная зенитная пушка убила 9 и ранила 15 солдат в результате инцидента, продолжавшегося одну восьмую долю секунды.

Конечно, это еще не Терминатор, но дальше — больше. Как только появится продвинутый ИИ, особенно если платить за него будет DARPA или аналогичное агентство другой страны, ничто на свете не помешает оснастить им боевых роботов. Более того, роботы могут послужить платформами для реализации машинного обучения, в результате которого и появится ИИ. Когда же появится дружественный ИИ (если это когда-нибудь произойдет), сами подумайте, станут ли частные компании — производители роботов устанавливать его в машины, разработанные для убийства людей? Акционерам это наверняка не понравится.

С дружественным ИИ есть и еще один вопрос: как, собственно, его дружелюбие переживет интеллектуальный взрыв? То есть останется ли дружественный ИИ таковым после того, как его интеллект вырастет в тысячу раз? Юдковски в статьях и выступлениях описывает то, что может при этом произойти, примерно так:

Ганди не хочет убивать людей. Если предложить Ганди пилюлю, которая заставит его пожелать этого, он откажется принимать ее, поскольку знает, что тогда он кого-нибудь убьет, а нынешний Ганди не хочет убивать людей. Из этого, грубо говоря, следует, что разум, достаточно развитый, чтобы точно модифицировать и улучшать себя, стремится остаться в рамках тех мотиваций, с которых начинал.

Лично меня этот тезис не убедил. Если мы не можем знать, как поведет себя разум более сильный, чем разум человека, как мы можем быть уверены, что он сохранит свою функцию полезности или основные представления о морали? Разве не может случиться так, что он, поумнев в тысячу раз, рассмотрит и отвергнет запрограммированное дружелюбие?

Нет, — ответил Юдковски, когда я спросил об этом. — Он станет в тысячу раз более эффективно сохранять свою функцию полезности.

Но что, если при тысячекратном по сравнению с человеческим росте интеллекта произойдет какой-то системный сбой, который мы сегодня не можем даже предугадать? К примеру, у нас с плоскими червями много общей ДНК. Но вряд ли мы прониклись бы их целями и моралью, если бы даже узнали, что много миллионов лет назад именно плоские черви создали нас, наделив собственными ценностями. Согласитесь, очень скоро мы оправились бы от первоначального удивления и продолжили бы делать ровно то, что считали нужным.

«Очень понятно, почему возникают такие подозрения, — заметил Юдковски. — Но создание дружественного ИИ не похоже на обучение или инструктирование человека. У людей уже есть собственные цели, собственные эмоции и собственные средства реализации. У них есть собственная структура для размышлений о моральных вопросах. Внутри нас существует нечто, что внимательно рассматривает каждое поступающее указание и решает, выполнять его или нет. В случае с ИИ вы формируете разум целиком с нуля. Если убрать из ИИ все программные коды, останется девственно чистый компьютер, который не будет ничего делать, потому что делать ему будет нечего.

И все же я сказал: «Если завтра я поумнел бы в тысячу раз по сравнению с собой сегодняшним, то мне кажется, я оглянулся бы на свои сегодняшние заботы с мыслью о том, что "все это пустое". Не верится, что для моего нового тысячесильного разума то, что я ценил вчера, сохранило бы хоть какую-то значимость».


Рекомендуем почитать
Наполеон Бонапарт: между историей и легендой

Наполеон притягивает и отталкивает, завораживает и вызывает неприятие, но никого не оставляет равнодушным. В 2019 году исполнилось 250 лет со дня рождения Наполеона Бонапарта, и его имя, уже при жизни превратившееся в легенду, стало не просто мифом, но национальным, точнее, интернациональным брендом, фирменным знаком. В свое время знаменитый писатель и поэт Виктор Гюго, отец которого был наполеоновским генералом, писал, что французы продолжают то показывать, то прятать Наполеона, не в силах прийти к окончательному мнению, и эти слова не потеряли своей актуальности и сегодня.


Император Алексей Ι Комнин и его стратегия

Монография доктора исторических наук Андрея Юрьевича Митрофанова рассматривает военно-политическую обстановку, сложившуюся вокруг византийской империи накануне захвата власти Алексеем Комнином в 1081 году, и исследует основные военные кампании этого императора, тактику и вооружение его армии. выводы относительно характера военно-политической стратегии Алексея Комнина автор делает, опираясь на известный памятник византийской исторической литературы – «Алексиаду» Анны Комниной, а также «Анналы» Иоанна Зонары, «Стратегикон» Катакалона Кекавмена, латинские и сельджукские исторические сочинения. В работе приводятся новые доказательства монгольского происхождения династии великих Сельджукидов и новые аргументы в пользу радикального изменения тактики варяжской гвардии в эпоху Алексея Комнина, рассматриваются процессы вестернизации византийской армии накануне Первого Крестового похода.


Продолжим наши игры+Кандибобер

Виктор Пронин пишет о героях, которые решают острые нравственные проблемы. В конфликтных ситуациях им приходится делать выбор между добром и злом, отстаивать свои убеждения или изменять им — тогда человек неизбежно теряет многое.


Краткая история насекомых. Шестиногие хозяева планеты

«Любая история, в том числе история развития жизни на Земле, – это замысловатое переплетение причин и следствий. Убери что-то одно, и все остальное изменится до неузнаваемости» – с этих слов и знаменитого примера с бабочкой из рассказа Рэя Брэдбери палеоэнтомолог Александр Храмов начинает свой удивительный рассказ о шестиногих хозяевах планеты. Мы отмахиваемся от мух и комаров, сражаемся с тараканами, обходим стороной муравейники, что уж говорить о вшах! Только не будь вшей, человек остался бы волосатым, как шимпанзе.


Историческое образование, наука и историки сибирской периферии в годы сталинизма

Настоящая монография посвящена изучению системы исторического образования и исторической науки в рамках сибирского научно-образовательного комплекса второй половины 1920-х – первой половины 1950-х гг. Период сталинизма в истории нашей страны характеризуется определенной дихотомией. С одной стороны, это время диктатуры коммунистической партии во всех сферах жизни советского общества, политических репрессий и идеологических кампаний. С другой стороны, именно в эти годы были заложены базовые институциональные основы развития исторического образования, исторической науки, принципов взаимоотношения исторического сообщества с государством, которые определили это развитие на десятилетия вперед, в том числе сохранившись во многих чертах и до сегодняшнего времени.


Технологии против Человека. Как мы будем жить, любить и думать в следующие 50 лет?

Эксперты пророчат, что следующие 50 лет будут определяться взаимоотношениями людей и технологий. Грядущие изобретения, несомненно, изменят нашу жизнь, вопрос состоит в том, до какой степени? Чего мы ждем от новых технологий и что хотим получить с их помощью? Как они изменят сферу медиа, экономику, здравоохранение, образование и нашу повседневную жизнь в целом? Ричард Уотсон призывает задуматься о современном обществе и представить, какой мир мы хотим создать в будущем. Он доступно и интересно исследует возможное влияние технологий на все сферы нашей жизни.