Последнее изобретение человечества - [11]

Шрифт
Интервал

Однако, возражают скептики, вышедшие из-под контроля нанороботы, способные к тому же бесконечно воспроизводить себя, могут превратить нашу планету в «серую слизь». Проблема «серой слизи» — самая темная сторона нанотехнологий. Но почти никто не говорит об аналогичной проблеме ИИ — об «интеллектуальном взрыве», при котором развитие машин умнее человека запустит процесс гибели человечества. Это одна из многочисленных оборотных сторон сингулярности — одна из многих, о которых мы слишком мало знаем и слышим. Этот недостаток информации может объясняться тем, что я называю проблемой двух минут.

Я прослушал лекции о сверхразуме десятков ученых, изобретателей и специалистов по этике. Большинство из них считают его появление неизбежным и радуются благодеяниям, которыми осыплет нас гений ИСИ. Затем, чаще всего в последние две минуты выступления, эксперт замечает, что если ИИ неправильно управлять, то он, вероятно, может уничтожить человечество. Аудитория при этом нервно покашливает и с нетерпением ждет возвращения к хорошим новостям.

У писателей наблюдается два подхода к приближающейся технологической революции. Один подход порождает книги вроде курцвейловской «Сингулярность рядом». Цель авторов таких книг — заложить теоретические основы в высшей степени позитивного будущего. Если бы в таком будущем произошло что-то плохое, вести об этом потонули бы в веселом гомоне оптимизма. Второй подход к проблеме представляет книга Джеффри Стибела «Создан для мысли». Это взгляд на технологическое будущее сквозь призму бизнеса. Стибел убедительно доказывает, что Интернет представляет собой все более усложняющийся мозг с множеством связей, и разработчикам веб-проектов следует это учитывать. Книги, подобные книге Стибела, пытаются научить предпринимателей забрасывать свои сети между интернет-тенденциями и потребителями и извлекать из глубин Интернета полные ведра денег.

Большинство теоретиков в области технологий и писателей упускает из виду не столь блестящий третий вариант, и я своей книгой постараюсь восполнить этот пробел. Я попытаюсь доказать, что завершающей фазой работ по созданию сначала умных машин, затем машин умнее человека, станет не их интеграция в нашу жизнь, а их победа над нами и завоевание Земли. В погоне за ИСИ исследователи получат разум более мощный, нежели их собственный; они не смогут ни контролировать его, ни даже до конца понять.

Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против Тиано, Писарро против Великого Инки, европейцы против американских индейцев.

Приготовьтесь к следующему столкновению цивилизаций — мы с вами против искусственного суперинтеллекта.


Возможно, мудрецы от технологий уже рассмотрели все темные стороны ИИ, но считают, что катастрофический исход слишком маловероятен, чтобы об этом стоило тревожиться. Или, наоборот, понимают неизбежность такого исхода, но считают, что ничто не в состоянии его предотвратить. Известный разработчик ИИ Бен Гёрцель (о его планах касательно ИСИ мы будем говорить в главе 11) рассказал мне, что мы не сможем придумать способа защиты от продвинутого ИИ, пока не накопим достаточно опыта общения и работы с ним. Курцвейл, теории которого мы разберем в главе 9, давно говорит примерно о том же: создание сверхразума и его интеграция с человеком будет проходить постепенно, и мы успеем научиться всему необходимому по ходу дела. И тот и другой утверждают, что истинные опасности ИИ невозможно увидеть из сегодняшнего дня. Иными словами, живя в век конных повозок, невозможно понять, как следует управлять автомобилем на обледенелой дороге. Так что расслабьтесь, мы во всем разберемся, когда придет время.

Для меня проблема такого подхода заключается в том, что, хотя обладающие суперинтеллектом машины спокойно могут стереть человечество с лица земли или просто сделать нас ненужными, мне представляется, что серьезную опасность для нас могут представлять и те ИИ, с которыми мы встретимся на пути к суперинтеллекту. То есть мама-медведица, конечно, представляет опасность для пикника на поляне, но не стоит сбрасывать со счетов и ее веселого медвежонка. Более того, градуалисты — сторонники теории постепенности — уверены, что скачок от основы (интеллекта человеческого уровня) к суперинтеллекту может занять несколько лет, а то и десятилетий. Такое развитие событий подарило бы нам определенный период мирного сосуществования с умными машинами, в течение которого мы успели бы научиться с ними взаимодействовать. Тогда их более продвинутые потомки не застали бы нас врасплох.

Но невозможно гарантировать, что все будет именно так. Скачок от интеллекта человеческого уровня к суперинтеллекту благодаря положительной обратной связи (через самосовершенствование) может произойти стремительно. В этом сценарии ИИ человеческого уровня совершенствует свой интеллект так быстро, что превращается в суперинтеллект за несколько недель, дней или даже часов, а не за месяцы и годы. В главе 1 описана как вероятная скорость, так и вероятный результат такого «жесткого старта». Вполне возможно, что в этом переходе не будет ничего постепенного.


Рекомендуем почитать
Наполеон Бонапарт: между историей и легендой

Наполеон притягивает и отталкивает, завораживает и вызывает неприятие, но никого не оставляет равнодушным. В 2019 году исполнилось 250 лет со дня рождения Наполеона Бонапарта, и его имя, уже при жизни превратившееся в легенду, стало не просто мифом, но национальным, точнее, интернациональным брендом, фирменным знаком. В свое время знаменитый писатель и поэт Виктор Гюго, отец которого был наполеоновским генералом, писал, что французы продолжают то показывать, то прятать Наполеона, не в силах прийти к окончательному мнению, и эти слова не потеряли своей актуальности и сегодня.


Император Алексей Ι Комнин и его стратегия

Монография доктора исторических наук Андрея Юрьевича Митрофанова рассматривает военно-политическую обстановку, сложившуюся вокруг византийской империи накануне захвата власти Алексеем Комнином в 1081 году, и исследует основные военные кампании этого императора, тактику и вооружение его армии. выводы относительно характера военно-политической стратегии Алексея Комнина автор делает, опираясь на известный памятник византийской исторической литературы – «Алексиаду» Анны Комниной, а также «Анналы» Иоанна Зонары, «Стратегикон» Катакалона Кекавмена, латинские и сельджукские исторические сочинения. В работе приводятся новые доказательства монгольского происхождения династии великих Сельджукидов и новые аргументы в пользу радикального изменения тактики варяжской гвардии в эпоху Алексея Комнина, рассматриваются процессы вестернизации византийской армии накануне Первого Крестового похода.


Продолжим наши игры+Кандибобер

Виктор Пронин пишет о героях, которые решают острые нравственные проблемы. В конфликтных ситуациях им приходится делать выбор между добром и злом, отстаивать свои убеждения или изменять им — тогда человек неизбежно теряет многое.


Краткая история насекомых. Шестиногие хозяева планеты

«Любая история, в том числе история развития жизни на Земле, – это замысловатое переплетение причин и следствий. Убери что-то одно, и все остальное изменится до неузнаваемости» – с этих слов и знаменитого примера с бабочкой из рассказа Рэя Брэдбери палеоэнтомолог Александр Храмов начинает свой удивительный рассказ о шестиногих хозяевах планеты. Мы отмахиваемся от мух и комаров, сражаемся с тараканами, обходим стороной муравейники, что уж говорить о вшах! Только не будь вшей, человек остался бы волосатым, как шимпанзе.


Историческое образование, наука и историки сибирской периферии в годы сталинизма

Настоящая монография посвящена изучению системы исторического образования и исторической науки в рамках сибирского научно-образовательного комплекса второй половины 1920-х – первой половины 1950-х гг. Период сталинизма в истории нашей страны характеризуется определенной дихотомией. С одной стороны, это время диктатуры коммунистической партии во всех сферах жизни советского общества, политических репрессий и идеологических кампаний. С другой стороны, именно в эти годы были заложены базовые институциональные основы развития исторического образования, исторической науки, принципов взаимоотношения исторического сообщества с государством, которые определили это развитие на десятилетия вперед, в том числе сохранившись во многих чертах и до сегодняшнего времени.


Технологии против Человека. Как мы будем жить, любить и думать в следующие 50 лет?

Эксперты пророчат, что следующие 50 лет будут определяться взаимоотношениями людей и технологий. Грядущие изобретения, несомненно, изменят нашу жизнь, вопрос состоит в том, до какой степени? Чего мы ждем от новых технологий и что хотим получить с их помощью? Как они изменят сферу медиа, экономику, здравоохранение, образование и нашу повседневную жизнь в целом? Ричард Уотсон призывает задуматься о современном обществе и представить, какой мир мы хотим создать в будущем. Он доступно и интересно исследует возможное влияние технологий на все сферы нашей жизни.