Структура глобальной катастрофы - [6]
Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 %, мы всё равно не узнаем, какова была её исходная вероятность.
Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.
Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 % в первой половине XXI века, а риск Б – 50 % во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 %, потому что в половине случаев мы до него не доживём.
Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 % даст 50 % вымирания за 100 лет, 75% за 200 и 99,9% за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50% вероятность вымирания цивилизации.
Иначе говоря, вероятность вымирания за период времени [0; T] равна:
P(T) = 1 – 2 ,
Где Т – время полураспада. Тогда погодовая вероятность будет P(1) = 1 – 2 , Следующая таблица показывает соотношение этих параметров.
Период, за который глобальная катастрофа случится с вероятностью в 50%: Вероятность этого события в ближайший год, % Вероятность вымирания за 100 лет (то есть к 2107г). Примерно равна шансам вымирания в XXI веке, % Соответствующие шансы выживания за 100 лет: Период гарантированного вымирания с вероятностью
99,9%, лет:
10 000 0.0069% 0,7% 99,3% 100 000
1 600 0.0433% 6% 94% 16 000
400 0.173%
12,5% 87,5% 4 000
200 0.346% 25% 75% 2 000
100 0.691% 50% 50% 1 000
50 1,375% 75% 1 к 4 500
25 2,735% 93,75% 1 к 16 250
12,5 5,394% 99,6% 1 к 256 125
6 10,910% 99,9984% 1 к 16 536 60
Обратите внимание на низ этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада», который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка, нам надо приблизить погодовую вероятность вымирания практически к нулю.
В методологии мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составляет не более одного процента, результат может быть ошибочен в разы и даже порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждения, влияющие на оценку глобальных рисков» приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 процентной уверенности они дают для этих величин. Результаты этих экспериментов удручают (позволю себе большую цитату):
«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated), то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.
![Война и еще 25 сценариев конца света](/storage/book-covers/d8/d8e137d402e2b0895105649d27761eae0e82302e.jpg)
Книга Алексея Турчина – это актуальный обзор последних научных наработок, описывающих, как и когда закончится существование человеческой цивилизации. В ней рассказано обо всех известных на сегодня видах глобальных рисков, которые могут уничтожить человечество, – от астероидов до запуска Большого адронного коллайдера и ядерной войны.Важность книги в эти дни необычайно велика по двум причинам. Во-первых, катастрофа человечества – вопрос, безусловно достойный нашего с вами внимания. Во-вторых, разработка многих новых технологий, способных вызвать глобальные риски, уже идет.
![Литературная Газета, 6607 (№ 29/2017)](/build/oblozhka.dc6e36b8.jpg)
"Литературная газета" общественно-политический еженедельник Главный редактор "Литературной газеты" Поляков Юрий Михайлович http://www.lgz.ru/.
![Марксизм и фантастика](/storage/book-covers/57/5788a98d768e5e14751efa111dee8a8dcd69222b.jpg)
В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.
![Бунт кастратов](/build/oblozhka.dc6e36b8.jpg)
Опубликовано в «Русском журнале» 22 декабря 2011 г. http://russ.ru/Mirovaya-povestka/Bunt-kastratov.
![Литературная Газета, 6603 (№ 25/2017)](/build/oblozhka.dc6e36b8.jpg)
"Литературная газета" общественно-политический еженедельник Главный редактор "Литературной газеты" Поляков Юрий Михайлович http://www.lgz.ru/.
![«И дольше века длится век…»](/storage/book-covers/ea/eaa4f44ae8f40cd08dc996c6d2eb3d60c980165b.jpg)
Николай Афанасьевич Сотников (1900–1978) прожил большую и творчески насыщенную жизнь. Издательский редактор, газетный журналист, редактор и киносценарист киностудии «Леннаучфильм», ответственный секретарь Совета по драматургии Союза писателей России – все эти должности обогатили творческий опыт писателя, расширили диапазон его творческих интересов. В жизни ему посчастливилось знать выдающихся деятелей литературы, искусства и науки, поведать о них современным читателям и зрителям.Данный мемориальный сборник представляет из себя как бы книги в одной книге: это документальные повествования о знаменитом французском шансонье Пьере Дегейтере, о династии дрессировщиков Дуровых, о выдающемся учёном Н.