Последнее изобретение человечества - [6]

Шрифт
Интервал

При этом ИСИ не будет испытывать по отношению к человеку ни ненависти, ни любви. Он не почувствует жалости, перерабатывая молекулы наших тел в программируемое вещество. Не все ли равно, как будут звучать наши вопли, когда микроскопические наноассемблеры двинутся по нашим телам, разбирая их на субклеточном уровне?

Или, может быть, рев миллионов и миллионов нанофабрик, работающих на полной мощности, просто заглушит наши голоса?


Я написал эту книгу, чтобы предостеречь вас и рассказать о том, что искусственный интеллект вполне способен уничтожить человечество. Я хочу объяснить, почему катастрофический исход не просто возможен, но почти неизбежен, если мы сейчас не начнем очень-очень тщательно к нему готовиться. Вы, может быть, уже слышали апокалиптические предсказания, связанные с нанотехнологиями и генной инженерией; может быть, вы, как и я, обратили внимание на то, что среди опасностей отсутствует ИИ. А может, вы еще не осознали, что искусственный интеллект может представлять угрозу существованию человечества — угрозу более серьезную, чем представляет собой ядерное оружие или любая другая технология, которую вы сможете назвать. В таком случае считайте, пожалуйста, эту книгу искренним предложением присоединиться к обсуждению самой важной темы в истории человечества.

В настоящее время ученые заняты созданием образцов искусственного интеллекта все большей мощности и сложности. Кое-что из уже созданных образцов ИИ вы можете найти у себя в компьютере, в различных гаджетах, в смартфоне и автомобиле. Среди них есть мощные системы поиска ответов на вопросы, такие как Watson. А некоторые из них, разрабатываемые в таких организациях, как Cycorp, Google, Novamente, Numenta, Self-Aware Systems, Vicarious Systems и DARPA (Агентство по перспективным оборонным научно-исследовательским разработкам), обладают «когнитивной архитектурой». Создатели таких ИИ надеются, что их детища достигнут человеческого уровня интеллекта; есть и такие, кто полагает, что произойдет это в течение ближайших 10–15 лет.

В работе над ИИ ученые опираются на растушую мощь компьютеров и процессы, которые компьютеры позволяют многократно ускорить. Уже очень скоро — возможно, в пределах вашей жизни — какая-нибудь группа или кто-нибудь из ученых-одиночек создаст ИИ, сравнимый с человеческим, — УЧИ. Вскоре после этого кто-нибудь (или что-нибудь) создаст ИИ умнее человека (именно его часто называют искусственным суперинтеллектом, или ИСИ). И мы вдруг обнаружим тысячу или десять тысяч искусственных суперинтеллектов — каждый из них в сотни или тысячи раз умнее человека, — занятых исключительно проблемой создания новых искусственных суперинтеллектов. Возможно, мы также обнаружим, что машинные поколения взрослеют за считаные секунды, а не за два десятка лет, как мы, люди. Английский статистик Ирвинг Гуд, принимавший активное участие в борьбе с военной машиной Гитлера, назвал простой сценарий, который я только что изложил, интеллектуальным взрывом. Первоначально он считал, что сверхразумная машина принесет пользу в решении проблем, угрожающих существованию человечества. Но со временем он изменил свои взгляды и пришел к выводу, что суперинтеллект сам по себе представляет величайшую опасность для нашего существования.

Одно из человеческих заблуждений — считать, что сверхразумный ИИ будет плохо относиться к людям, как Skynet из фильмов про Терминатора, Hal 9000 из фильма «Космическая одиссея», одержимый манией убийства, и все прочие представители зловредных искусственных разумов, придуманные фантастами. Мы, люди, всегда и ко всему подходим со своим аршином. Ураган стремится погубить нас не более, чем он стремится наделать сэндвичей, но мы даем ему имя и злимся на ливень и молнии, которые он обрушивает на наш район. Мы грозим небу кулаком, как будто в состоянии напугать его.

Иррационально считать, что машина, которая в сотню или тысячу раз умнее нас, будет нас любить или захочет защитить. Это возможно, но никаких гарантий нет. Сам по себе ИИ не почувствует благодарности к людям за то, что его создали, — если, конечно, благодарность не будет в нем запрограммирована заранее. Машины аморальны, и считать иначе — опасно. В отличие от человеческого разума, машинный сверхразум возникнет не в результате развития экосистемы, в которой эмпатия вознаграждается и передается следующим поколениям. У него не будет врожденного дружелюбия. Создание дружелюбного искусственного разума и возможность существования такого разума в принципе — серьезный вопрос и еще более серьезная задача для исследователей и инженеров, работающих над созданием ИИ. Мы не знаем, будут ли у искусственного разума хоть какие-то эмоциональные качества, даже если разработчики приложат к этому все усилия. Однако ученые уверены, как мы увидим далее, что у ИИ обязательно будут собственные желания и мотивации. А у достаточно мощного ИИ будут и хорошие возможности для реализации этих желаний.

И это возвращает нас к основному аспекту проблемы существования на одной планете с разумом, превосходящим наш собственный. Что, если его желания будут несовместимы с выживанием человечества? Не забывайте, мы говорим о машине, которая может быть в тысячу, в миллион, в


Рекомендуем почитать
Продолжим наши игры+Кандибобер

Виктор Пронин пишет о героях, которые решают острые нравственные проблемы. В конфликтных ситуациях им приходится делать выбор между добром и злом, отстаивать свои убеждения или изменять им — тогда человек неизбежно теряет многое.


Черное море

В этой книге океанограф, кандидат географических наук Г. Г. Кузьминская рассказывает о жизни самого теплого нашего моря. Вы познакомитесь с историей Черного моря, узнаете, как возникло оно, почему море соленое, прочтете о климате моря и влиянии его на прибрежные районы, о благотворном действии морской воды на организм человека, о том, за счет чего пополняются воды Черного моря и куда они уходят, о многообразии животного и растительного мира моря. Книга рассчитана на широкий круг читателей.


Краткая история насекомых. Шестиногие хозяева планеты

«Любая история, в том числе история развития жизни на Земле, – это замысловатое переплетение причин и следствий. Убери что-то одно, и все остальное изменится до неузнаваемости» – с этих слов и знаменитого примера с бабочкой из рассказа Рэя Брэдбери палеоэнтомолог Александр Храмов начинает свой удивительный рассказ о шестиногих хозяевах планеты. Мы отмахиваемся от мух и комаров, сражаемся с тараканами, обходим стороной муравейники, что уж говорить о вшах! Только не будь вшей, человек остался бы волосатым, как шимпанзе.


Историческое образование, наука и историки сибирской периферии в годы сталинизма

Настоящая монография посвящена изучению системы исторического образования и исторической науки в рамках сибирского научно-образовательного комплекса второй половины 1920-х – первой половины 1950-х гг. Период сталинизма в истории нашей страны характеризуется определенной дихотомией. С одной стороны, это время диктатуры коммунистической партии во всех сферах жизни советского общества, политических репрессий и идеологических кампаний. С другой стороны, именно в эти годы были заложены базовые институциональные основы развития исторического образования, исторической науки, принципов взаимоотношения исторического сообщества с государством, которые определили это развитие на десятилетия вперед, в том числе сохранившись во многих чертах и до сегодняшнего времени.


Технологии против Человека. Как мы будем жить, любить и думать в следующие 50 лет?

Эксперты пророчат, что следующие 50 лет будут определяться взаимоотношениями людей и технологий. Грядущие изобретения, несомненно, изменят нашу жизнь, вопрос состоит в том, до какой степени? Чего мы ждем от новых технологий и что хотим получить с их помощью? Как они изменят сферу медиа, экономику, здравоохранение, образование и нашу повседневную жизнь в целом? Ричард Уотсон призывает задуматься о современном обществе и представить, какой мир мы хотим создать в будущем. Он доступно и интересно исследует возможное влияние технологий на все сферы нашей жизни.


Лес. Как устроена лесная экосистема

Что такое, в сущности, лес, откуда у людей с ним такая тесная связь? Для человека это не просто источник сырья или зеленый фитнес-центр – лес может стать местом духовных исканий, служить исцелению и просвещению. Биолог, эколог и журналист Адриане Лохнер рассматривает лес с культурно-исторической и с научной точек зрения. Вы узнаете, как устроена лесная экосистема, познакомитесь с различными типами леса, характеризующимися по составу видов деревьев и по условиям окружающей среды, а также с видами лесопользования и с некоторыми аспектами охраны лесов. «Когда видишь зеленые вершины холмов, которые волнами катятся до горизонта, вдруг охватывает оптимизм.