Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта [заметки]

Сноски

1

Ради простоты я принимаю в этой истории сегодняшний уровень развития технологии и экономики – несмотря на то, что, по мнению большинства исследователей, от создания искусственного интеллекта подобного человеческому нас отделяют десятилетия. В будущем осуществление плана “Омега”, при условии сохраняющегося роста цифровой экономики и возможностей получения онлайн-услуг без лишних вопросов, должно быть намного более просто.

2

Хотя в российской литературе уже довольно широко используется аббревиатура ИИ (искусственный интеллект), в этой книге было решено сохранить оригинальную AI (artificial intelligence). – Прим. перев.

3

Имеется в виду одно из современных направлений так называемой DIY-субкультуры (от английского “do it yourself”, то есть “сделай сам”), но с расчетом на более развитую технологическую базу. С 2004 года у них есть свой публичный печатный орган – журнал MAKE. – Прим. перев.

4

Почему жизнь усложнялась? Эволюция вознаграждает жизнь, когда та становится достаточно сложной, чтобы уметь обнаружить в окружающей среде повторяющиеся изменения и использовать их, поэтому в усложняющейся среде успешнее эволюционируют все более сложные и сознательные формы жизни. Усложняющаяся жизнь усложняет среду для конкурирующих с ней форм жизни, которым в свою очередь приходится эволюционировать и усложняться, постепенно создавая экосистему исключительно сложных форм.

5

В англоязычном мире имя этого человека принято транслитерировать иначе: “Моравек”, но мы будем придерживаться исходного, чешского варианта. – Прим. перев.

6

Массачусетский технологический институт в Кембридже (штат Массачусетс). – Прим. перев.

7

Фамилию этого шведского ученого, живущего и работающего в Англии, часто транскрибируют без учета умляута над вторым “о” – “Бостром”. Более точной и более традиционной была бы транскрипция “Бустрём”, но мы решили остановиться на компромиссном варианте “Бострём”. – Прим. перев.

8

Здесь и ниже цифрами отмечены примечания, помещенные в конце книги. – Прим. перев.

9

Необходимость здесь двоякая: и по силе воздействия, и по насущности проблемы. В сравнении с климатическими изменениями, катастрофические последствия которых ожидаются в период от пятидесяти до двухсот лет, считая от настоящего момента, AI, по оценкам некоторых экспертов, может привести к столь же пагубным последствиям в течение ближайших десятилетий – при этом он же может создать технологию смягчения климатических изменений. А в сравнении с войнами, терроризмом, безработицей, нищетой, миграцией и нарушениями прав человека – общий эффект от создания и внедрения AI может значительно превысить совокупные последствия всего перечисленного (мы как раз и собираемся разобраться ниже, каким именно образом AI может здесь перевесить), причем как усугубляя, так и компенсируя его.

10

Чтобы лучше понять, о чем здесь речь, давайте представим, что вводится какой-то единый “атлетический коэффициент”, сокращенно AQ, для всех спортсменов олимпийского уровня, так, словно обладатель самого высокого AQ должен побеждать на Олимпиаде во всех видах спорта.

11

Некоторые предпочитают использовать термины “сильный AI” или “AI человеческого уровня” как синонимы AGI, что приводит к некоторым проблемам. В узком смысле слова даже карманный калькулятор – это “AI человеческого уровня”. Антонимом “сильному AI” должен служить “слабый AI”, но довольно странно называть слабым AI Deep Blue, Watson или AlphaGo.

12

NAND представляет собой сокращение от двух английских слов NOT (не) и AND (и). Гейт AND выдает на выходе 1 только в том случае, если на входе две единицы. NAND делает в точности противоположное.

13

В отечественной специальной литературе принято использовать для обозначения этих понятий термин “логический вентиль”, однако в последнее время транслитерация английского эквивалента “gate” стала выходить на первое место, в особенности в научно-популярной литературе. – Прим. перев.

14

Я называю “вполне определенной функцией” то же, что математики и информатики называют “вычислимой функцией”, – то есть функцию, которая может быть вычислена каким-то гипотетическим компьютером, при условии что ему предоставлены неограниченные память и время. Алан Тьюринг и Алонсо Чёрч доказали, что существуют функции, которые могут быть описаны, но не могут быть вычислены.

15

Добавим для тех, кто любит математику, что в качестве этой функции чаще всего выступает либо сигмоидальная функция σ(x) – 1/(1 + e^–x), либо пороговая функция σ(x) = max{0, x}, хотя доказано, что в этой роли можно использовать какую угодно, лишь бы она не была линейной (то есть не представлялась в виде прямой линии на графике). В знаменитой модели Хопфилда использовалась функция σ(x) = –1 if x < 0 and σ(x) = 1 if x ≥ 0. Если состояния нейронов хранятся в памяти в виде вектора, то при переходе к следующему такту он обновляется умножением сначала этого вектора на матрицу, элементами которой служат силы синаптических связей, и последующим применением функции ⌠(x) ко всем новым вычисленным элементам.

16

Широко используемая аббревиатура от Good Old-Fashioned Artificial Intelligence, что означает “старый добрый искусственный интеллект”. – Прим. перев.

17

Цинь (琴) – общее название различных китайских музыкальных инструментов, из которых наиболее популярны семиструнная цитра (七絃琴) и ее более ранний вариант гуцинь (古琴). – Прим. перев.

18

В полной мере воспроизвести в переводе игру с Google-переводчиком, описанную в книге автором, не удалось: при переводе в 2018 году авторского пассажа сначала на русский, потом на испанский, а затем снова на русский местоимение “Я” упорно вставало на свое место и было устранено насильственным путем. – Прим. перев.

19

Исходная фраза из английского текста книги была переведена на мандарин, потом на испанский и после этого на русский. Таким образом, описываемая автором путаница на этот раз возникла без насилия со стороны переводчика. – Прим. перев.

20

Если вы хотите более подробную карту исследовательского ландшафта AI-безопасности, вы можете найти ее в представлении одного из знаменосцев Института будущего жизни Ричарда Маллаха, пройдя по ссылке https://futureoflife.org/landscape/

21

Lyft – базирующаяся в Сан-Франциско частная компания, обеспечивающая с помощью мобильного приложения поиск сотрудничающих с ней частных водителей, которые готовы предоставлять транспортные услуги. На начало 2017 года компания работала более чем в 300 американских городах, а в 2018-м получила большое распространение и в Канаде. Успешно конкурирует в этих странах с Убером. – Прим. перев.

22

Даже при включении этого ДТП в статистику Tesla-автопилот сокращает их общее количество на 40 %: http://tinyurl.com/teslasafety

23

Интернет вещей – это бурно развивающаяся в последние полтора десятилетия концепция, согласно которой в непосредственное информационное взаимодействие вовлекаются самые разнообразные предметы, от домашней утвари до промышленных объектов. – Прим. перев.

24

Крейсерами класса Aegis (Иджис) называют крейсера, на которых установлена корабельная многофункциональная боевая информационно-управляющая система Aegis. Phalanx – это система оружия ближнего боя, часто входящая в состав Aegis. – Прим. перев.

25

Третий ракетный крейсер типа Ticonderoga (“Тикондерога”). Крейсера класса Ticonderoga были первыми, на которых стояла система Aegis, то есть крейсерами класса Aegis. – Прим. перев.

26

Слова капитана второго ранга В. П. Орлова цитируются в русском оригинале по: Астафьева Е. Советский супергерой // Дилетант. 2016. Октябрь (доступно онлайн: http://diletant.media/articles/31508321/) и по: Язов Д. Карибский кризис: 50 лет спустя. М.: Центрполиграф, 2015. С. 344 (фразы “Казалось, будто сидишь в железной бочке, по которой колотят кувалдой” в книге Язова нет). – Прим. перев.

27

Цит. по: Язов Д. Карибский кризис: 50 лет спустя. Там же. – Прим. перев.

28

Кандид, или Оптимизм, гл. 30. Пер. с фр. Ф. Сологуба. – Прим. перев.

29

Я напомню здесь, что флопс – это количество операций над числами с плавающей запятой (аббревиатура английского floating-point operations per second), выполняемых компьютером в одну секунду, то есть это число, показывающее, например, сколько 19-значных чисел компьютер перемножит одно на другое в течение секунды.

30

Как объяснял Бострём, возможность симулировать ведущих разработчиков интеллектуальных систем при затратах, существенно меньших их суточных заработков, позволит AI-компаниям резко увеличить свою производительность и, концентрируя колоссальное богатство, обеспечить ускоряющийся прогресс в создании новых компьютеров и, в итоге, все более сильного интеллекта.

31

Сама по себе идея восходит еще к Блаженному Августину, который писал: “Ибо если вещь такова, что через разделение ее с другими нисколько не оскудевает; то если нам дают ее, а мы напротив имеем, и не даем ее другим, – мы пользуемся этой вещью не надлежащим образом” (De doctrina Christiana. Lib. 1, cap. 1. Рус. пер. цит. по: Блаженный Августин, епископ Иппонийский. Христианская наука, или Основания св. герменевтики и церковного красноречия. Киев: Типография Троицко-Печерской лавры, 1835. С. 14. – Прим. перев.)

32

Эту идею впервые сформулировал и исследовал мой друг Энтони Агирре.

33

Аристотель. Политика 1253b. Рус. пер. С. А. Жебелева. Цит. по: Аристотель. Сочинения: В 4 т. М.: Мысль, 1975–1984. Т. 4. С. 381. – Прим. перев.

34

Политика 1254b. Цит. соч. С. 383. – Прим. перев.

35

Знаменитый космолог Фред Хойл развивал похожую идею, но с оригинальным сюжетным поворотом в сериале A for Andromeda на британском телевидении.

36

Выброс углерода в атмосферу влечет два вида климатических последствий: потепление от двуокиси углерода и похолодание от дыма и золы. Не только первое иногда объявляется лишенным научных обоснований: мне иногда говорят, что ядерная зима давно развенчана как фактически неосуществимая. В ответ я всегда требую показать мне ссылки на публикации в реферируемых журналах, где делаются такие сильные заявления, и до сих пор никто не смог мне их предоставить. Хотя здесь остается значительная неопределенность, требующая дальнейших исследований, связанная в особенности с такими параметрами, как интенсивность выбросов и достигаемая ими высота, но, на мой взгляд, нет никаких оснований отвергать в настоящее время риск ядерной зимы.

37

См. рус. пер.: Стэплдон О. Создатель звезд. М.; Киев: Ваклер, Рефл-бук, 2017. – Прим. перев.

38

Если вы работаете в энергетике, то вам привычнее другое определение эффективности, при котором за меру эффективности принимается отношение полезной энергии ко всему полученному ее количеству.

39

См.: Хокинг С. Краткая история времени: от Большого взрыва до чёрных дыр / пер. с англ. Н. Я. Смородинская. СПб.: “Амфора”, 2001. – Прим. перев.

40

Если поблизости в космическом пространстве не окажется никакой подходящей черной дыры, созданной самой природой, ее можно создать самим, засунув очень много материи в какое-нибудь достаточно маленькое место.

41

Здесь у нас опять некоторое чрезмерное упрощение, поскольку излучение Хокинга включает в себя и некоторые частицы, которые трудно пустить в дело. Большая черная дыра только 90 % своей массы излучает в доступном для использования виде, а остальные 10 % – в виде гравитонов. Это исключительно деликатные частицы: их почти невозможно обнаружить, не говоря уж о том, чтобы как-то использовать. По мере того как черная дыра все больше излучает и все больше сжимается, в ее излучении появляется все больше нейтрино и других массивных частиц.

42

Если тут случится оказаться поклонникам Дугласа Адамса, то специально для них я уточню, что это элегантный вопрос, дающий ответ на другой вопрос – о жизни, Вселенной и вообще обо всем. Значение 42 % – приближенное, на самом деле 1 – 1/√3 ≈ 42 %.

43

Если вы топите свою черную дыру газовым облаком, медленно вращающимся в ту же сторону, что и дыра, то газ, съедаясь, будет раскручиваться все быстрее, раскручивая и черную дыру, вроде как фигуристка, прижимающая к груди руки во время вращения. Таким образом ее можно раскрутить до максимальной скорости, из-за чего ей придется отдать 42 % энергии газа, а потом еще и 29 % своей собственной, и тогда суммарная эффективность окажется равной 42 % + (1 – 42 %) × 29 % = 59 %.

44

Это нужно для того, чтобы достичь температур, при которых происходит объединение электромагнитных сил и сил слабого ядерного взаимодействия, а это возможно, когда частицы разгоняются в ускорителе напряжением в 200 миллиардов вольт.

45

До сих пор мы говорили только о веществе, построенном из атомов. Но кроме такого, есть еще и так называемая темная материя, которой в шесть раз больше. Правда, она практически неуловима: она легко проходит сквозь Землю, ни за что не зацепляясь внутри. Остается только ждать, чтобы увидеть, сможет ли будущая жизнь как-то ее захватить и для чего-то использовать.

46

Космическая математика на этот счет предельно ясна: если цивилизация расширяется в расширяющемся пространстве не со скоростью света c, а с какой-то меньшей скоростью v, то число галактик, где она сможет расселиться, уменьшается в пропорции (v/c)³. Таким образом, цивилизации-копуши будут строго наказаны! Той, которая расширяется в 10 раз медленнее, достанется в 1000 раз меньше галактик.

47

Имеется в виду поговорка “Когда следишь за чайником, он не закипает”. – Прим. перев.

48

Пер. на рус. яз. В. Л. Топорова. – Прим. перев.

49

Однако и Джон Гриббин приходит к аналогичному заключению в своей книге 2011 года Alone in the Universe. Я советую также прочитать обсуждение целого спектра возможностей по этому поводу в книге Пола Дэвиса 2011 года The Eerie Silence.

50

См.: Тегмарк М. Наша математическая Вселенная. В поисках фундаментальной природы реальности / пер. с англ. А. Сергеев. М.: Corpus, 2016. – Прим. перев.

51

См.: Шрёдингер Э. Что такое жизнь с точки зрения физики? Лекции, читанные в Тринити-колледж в Дублине в феврале 1943 г./ пер. с англ. и послесл. А. А. Малиновский. М.: Гос. изд-во иностр. лит., 1947. – Прим. перев.

52

Проверенное правило, которым пользуется большинство насекомых во время полета по прямой, заключается в том, чтобы считать яркий свет Солнцем и лететь под определенным углом к нему. Если источником света оказывается расположенный рядом огонь, этот прием, к сожалению, заставляет жука лететь по сужающейся смертельной спирали.

53

Я говорю об улучшение “софта” в самом широком из возможных смыслов, включающем не только оптимизацию алгоритмов, но и развитие более рационального процесса принятия решений, который поможет ему все лучше и лучше достигать своих целей.

54

См.: Вильчек Ф. Красота физики. Постигая устройство природы / пер. с англ. В. Краснянская, М. Томс. М.: Альпина-нон-фикшн, 2016. – Прим. перев.

55

Пер. Е. Шесткова.

56

Есть и альтернативная, дуалистическая точка зрения, в соответствии с которой живые существа отличаются от неодушевленных тем, что содержат какую-то нефизическую субстанцию, которую называют “анимой”, “жизненной энергией” или “душой”. Число сторонников этой дуалистической точки зрения среди ученых все время сокращается. Чтобы понять, почему это так, вспомните, что ваше тело – это примерно 10²⁹ кварков и электронов, которые двигаются в соответствии с простыми, насколько мы можем судить, физическими законами. Представьте себе будущую технологию, которая позволит отслеживать движение каждой из этих частиц. Если окажется, что все они подчиняются законам физики, то душа, следовательно, никак не влияет на частицы, из которых вы состоите, а значит, ваше сознание, ваш разум и их способность контролировать ваши движения ничего общего с душой не имеют. Если, напротив, окажется, что частицы, из которых вы состоите, не подчиняются известным законам физики, потому что этому мешает воздействие на них вашей души, то эта новая сущность должна быть физической по определению, и тогда мы сможем ее изучать, как изучали поля и частицы в прошлом.

57

Я использую термин “квалиа” в соответствии с определением его в словарях: он означает индивидуальный пример субъективного переживания, – то есть субъективный опыт сам по себе, а не сопутствующую субстанцию, его вызывающую. Имейте в виду, что некоторые люди используют слово в другом значении.

58

RHP я изначально назвал “очень трудная проблема” (very hard problem), но когда я отослал эту главу Дэвиду Чалмерсу, он мне ответил, что было бы точнее назвать ее “по-настоящему трудной”: “поскольку первые две проблемы (по крайней мере, в таком виде) не были частью трудной проблемы, над которой я думал, тогда как третья из них и есть та самая; поэтому, возможно, сказать про нее ‘по-настоящему трудная’, а не ‘очень трудная’ более соответствовало бы моему замыслу”.

59

Если наша физическая реальность всецело математическая (или, допуская определенную речевую вольность, ее можно назвать информационной), как я предположил в своей книге Our Mathematical Universe, то никакой аспект реальности – даже сознание – не может оказаться за пределами науки. Действительно, по-настоящему трудная проблема сознания (RHP) с этой точки зрения в точности совпадает с другой – пониманием, как нечто математическое может воспринимать физическое: если какая-то часть математической структуры обладает сознанием, то она будет переживать остальную часть этой структуры как внешний физический мир.

60

Функциональная магнитно-резонансная томография, электроэнцефалография, магнитная энцефалография, электрокортикография, электрофизиология соответственно. – Прим. перев.

61

Хотя ранее я использовал слово персептрониум как синоним для слова сентрониум, подразумеваемый смысл первого слишком ограничен, поскольку perceptum подразумевает лишь те субъективные ощущения, источником которых служат наши органы чувств, что исключает, например, мечты или мысли, возникшие в ходе внутреннего диалога.

62

Это утверждение в потенциальном напряжении с идеей о независимости сознания от субстрата, поскольку, хотя обработка информации на нижних уровнях может различаться, на верхних уровнях, определяющих поведение, она по определению тождественна.

63

Этот опыт также заставил меня пересмотреть свое отношение к новостям. Хотя мне и раньше было понятно, что большинство из них продаются через торговые точки со своей политической повесткой у каждой, теперь я стал видеть, что их подача всегда тенденциозна, и всякая новость, даже не политическая, предстает в максимальном удалении от своего центра тяжести.

Комментарии

1

Открытое письмо о дружественном и надежном искусственном интеллекте: http://futureoflife.org/ai-open-letter/

2

Пример типичного алармизма по отношению к роботам в широкой прессе: http://tinyurl.com/hawkingbots

3

Замечание по поводу происхождения термина AGI см.: http://goertzel.org/who-coined-the-term-agi/

4

Hans Moravec 1998, “When will computer hardware match the human brain”, Journal of Evolution and Technology, vol. 1.

5

Данные о стоимости вычислений в разные годы до 2011 взяты из книги Рэя Курцвейла How to Create a Mind, последующие данные вычислены на основании информации, приведенной в: https://en.wikipedia.org/wiki/FLOPS

6

Один из создателей теории квантовых вычислений Дэвид Дойч показывает, каким образом квантовые вычисления связаны с многомировой интерпретацией квантовой механики, в книге: David Deutsch. The fabric of reality. London: Penguin, 1997 (есть русский перевод: Дойч Д. Структура реальности. Наука параллельных вселенных. М.: Альпина нон-фикшн, 2015. – Прим. перев.). Если вас интересует мой собственный подход к квантовым параллельным вселенным как к третьему из четырех уровней мультиверсума, то смотрите мою книгу Our Mathematical Universe (см. рус. пер.: Тегмарк М. Наша математическая Вселенная. В поисках фундаментальной природы реальности. М.: Corpus, 2016 / пер. с англ. А. Сергеев. – Прим. перев.).

7

О прорыве, совершенном Google в распознавании образов, см.: https://arxiv.org/pdf/1411.4555.pdf

8

DeepMind алгоритм глубокого машинного обучения с подкреплением позволил довольно быстро научиться играть в Breakout: https://tinyurl.com/atariai

9

См. статью, в которой описывается искусственный интеллект DeepMind, совершенствующийся в играх на платформе Atari: http://tinyurl.com/ataripaper

10

Робот Биг Дог в действии: https://www.youtube.com/watch?v=W1czBcnX1Ww

11

Запись реакции на революционный ход AlphaGo на 5-й линии: https://www.youtube.com/watch?v=JNrXgpSEEIE

12

Статья в New York Times о недавних достижениях в машинном переводе: http://www.nytimes.com/2016/12/14/magazine/the-great-aiawakening.html

GoogleTranslate доступен по ссылке: https://translate.google.com

13

Winograd Schema Challenge см.: http://tinyurl.com/winogradchallenge

14

Взрыв ракеты “Ариан‐5”: https://www.youtube.com/watch?v=qnHn8W1Em6E

15

Доклад комиссии по расследованию аварийного пуска “Ариан‐5”: http://tinyurl.com/arianeflop

16

Доклад по результатам первой фазы расследования неудачного пуска миссии NASA по изучению марсианского климата: http://tinyurl.com/marsflop

17

Наиболее подробный и связный отчет о том, что авария на старте миссии NASA “Маринер‐1” к Венере была вызвана одной-единственной ошибкой – математический символ, написанный рукой человека, был без верхнего подчеркивания: http://tinyurl.com/marinerflop

18

Подробное описание причин неудачи с советским зондом “Фобос‐1”, направлявшимся к Марсу, можно найти на с. 308 этой книги: Wesley Huntress & Mikhail Marov. Soviet Robots in the Solar System, Praxis Publishing, 2011.

19

Как неверифицированный софт обошелся Knight Capital в 440 миллионов долларов всего за 45 минут см.: http://tinyurl.com/knightflop1 и http://tinyurl.com/knightflop2

20

Доклад правительства США о причинах резкого скачка индекса Доу-Джонса 6 мая 2010 года (“Flash Crash”): http://tinyurl.com/flashcrashreport

21

3D-печать зданий (https://www.youtube.com/watch?v=SObzNdyRTBs), микромеханических устройств (http://tinyurl.com/tinyprinter) и много чего еще (https: //www.youtube.com/watch?v=xVU4FLrsPXs)

22

Глобальная карта fab-лабораторий: https://www.fablabs.io/labs/map

23

Новостная заметка об убийстве Роберта Уильямса промышленным роботом: http://tinyurl.com/williamsaccident

24

Новостная заметка об убийстве Кендзи Урада промышленным роботом: http://tinyurl.com/uradaaccident

25

Новостная заметка об убийстве рабочего с завода Фольксвагена промышленным роботом: http://tinyurl.com/baunatalaccident

26

Отчет правительства США о несчастных случаях на производстве со смертельным исходом: https://www.bls.gov/iif/cfoi_revised14.htm

27

Статистика ДТП со смертельным исходом: http://fortune.com/2017/02/15/traffic-deadliest-year/

28

Новостная заметка о первом ДТП со смертельным исходом с участием беспилотного автомобиля Tesla: http://tinyurl.com/teslacrashstory

Доклад правительства США: http://tinyurl.com/teslacrashreport

29

О крушении парома “Herald of Free Enterprize” см. кн.: R. B. Whittingham. The Blame Machine: Why Human Error Causes Accidents. Elsevier, 2004.

30

Документальный фильм о крушении французского самолета, выполнявшего рейс Air France 447: https://www.youtube.com/watch?v=So9iFv0NoZw

Официальное сообщение о крушении: http://tinyurl.com/af447report

Независимый анализ: http://tinyurl.com/thomsonarticle

31

Официальное сообщение о веерном отключении энергоснабжения в США и Канаде в 2003 году: http://tinyurl.com/uscanadablackout

32

Итоговый отчет президентской комиссии об инциденте в Три-Майл-Айленде: http://large.stanford.edu/courses/2017/ph241/blackwood1/docs/kemeny.pdf

33

Голландское исследование, показывающее, что искусственный интеллект не уступает человеческому в радиологической диагностике рака простаты с использованием магнитно-резонансной томографии: http://tinyurl.com/prostate-ai

34

Исследование, проведенное в Стэнфорде, показывающее, что искусственный интеллект позволяет лучше проводить диагностику рака легких, чем анализы врачей: http://tinyurl.com/lungcancer-ai

35

Результаты расследования несчастного случая лучевой терапии с использованием аппарата Therac-25: http://www.cse.msu.edu/~cse470/Public/Handouts/Therac/Therac_1.html

36

Доклад о повлекшей смерть ошибке в определении дозы облучения из-за вмешательства человека при лечении больного раком в Панаме: http://tinyurl.com/cobalt60accident

37

Исследование роботизированных хирургических операций с неблагоприятным исходом: https://arxiv.org/abs/1507.03518

38

Статья о смертельных исходах, вызванных ненадлежащим содержанием в больницах: http://tinyurl.com/medaccidents

39

Yahoo задал новый эталон “большого взлома”, сообщив о краже трех миллиардов (!) учетных записей своих пользователей: https://www.nytimes.com/2017/10/03/technology/yahoo-hack-3-billion-users.html

40

Статья в New York Times о том, как убийца из Ку-клукс-клана был сначала оправдан, а потом осужден – много лет спустя: http://tinyurl.com/kkkacquittal

41

Исследование Данцигера с коллегами 2011 года (http://www.pnas.org/content/108/17/6889.full), доказывающее, что голодные судьи выносят более жестокие приговоры, было оспорено Вейншел-Марджел и Джоном Шапардом (http://www.pnas.org/content/108/42/E833.full), но Данцигер с коллегами привел новые свидетельства свой правоты: http://www.pnas.org/content/108/42/E834.full

42

Сообщение в Pro Publica о расовых предубеждениях программного обеспечения, предсказывающего криминальные рецидивы: http://tinyurl.com/robojudge

43

Использование функциональной магнитно-резонансной томографии и других методов сканирования мозга в качестве доказательства в судах крайне сомнительно из-за низкой достоверности самих этих методов, хотя многие исследовательские группы утверждают, что их точность превышает 90 %: http://journal.frontiersin.org/article/10.3389/fpsyg.2015.00709/full

44

Американская телекомпания PBS сняла фильм The Man Who Saved the World (Человек, который спас мир) об инциденте, в котором Василий Архипов предотвратил советский ядерный удар по Америке: https://www.youtube.com/watch?v=4VPY2SgyG5w

45

Рассказ о том, как Станислав Петров не поверил поступившим предупреждениям о готовящейся ядерной атаке Соединенных Штатов на СССР, лег в основу фильма The Man Who Saved the World (Человек, который спас мир – этот фильм не следует путать с другим, упомянутым в предыдущей сноске, с таким же названием). В 2008 году Петров был приглашен в штаб-квартиру ООН, где получил награду Ассоциации граждан мира: https://www.youtube.com/watch?v=IncSjwWQHMo

46

Открытое письмо от исследователей в области искусственного интеллекта и робототехники о запрете автономного оружия: http://futureoflife.org/open-letter-autonomous-weapons/

47

В американском правительстве, очевидно, есть люди, стремящиеся развязать гонку AI-вооружений: http://tinyurl.com/workquote

48

Исследование неравномерности распределения богатства в США с 1913 года: http://gabriel-zucman.eu/files/SaezZucman2015.pdf

49

Доклад Oxfam о глобальном неравенстве: http://tinyurl.com/oxfam2017

50

Данные взяты из: Facundo Alvaredo, Anthony B. Atkinson, Thomas Piketty, Emmanuel Saez, and Gabriel Zucman, The World Wealth and Income Database (http://www.wid.world, 31/10/2016).

51

Прекрасное обоснование гипотезы технологически обусловленного неравенства дано в: Erik Brynjolfsson & Andrew McAfee. The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. Norton, 2014.

52

Статья в The Atlantic о падающих заработках у представителей наименее образованных слоев общества: http://tinyurl.com/wagedrop

53

Презентация Джеймса Манийки, показывающая перераспределение доходов от труда к капиталу: http://futureoflife.org/data/PDF/james_manyika.pdf

54

Прогноз относительно автоматизации рабочих мест Оксфордского университета (http://tinyurl.com/automationoxford) и Мак-Кинзи (http://tinyurl.com/automationmckinsey)

55

Робот-повар: https://www.youtube.com/watch?v=fE6i2OO6Y6s

56

Марин Солачич исследовала эти возможности во время семинара 2016 года “Компьютеры пошли вразнос: прямое и косвенное воздействие достижений в развитии искусственного интеллекта на общество”: http://futureoflife.org/2016/05/06/computers-gone-wild/

57

Предложения Эндрю Макафи по созданию большего количества хороших рабочих мест: http://futureoflife.org/data/PDF/andrew_mcafee.pdf

58

В дополнение ко многим академическим статьям, доказывающим, что “на этот раз все будет по-другому”, в этом ролике Люди на работу не требуются в сжатой форме проводится та же мысль: https://www.youtube.com/watch?v=7Pq-S557XQU

59

Бюро по трудовой статистике США: http://www.bls.gov/cps/cpsaat11.htm

60

Аргумент “на этот раз все будет по-другому” в пользу технологической безработицы: Federico Pistono. Robots Will Steal Your Job, but That’s OK, 2012, http://robotswillstealyourjob.com

61

Колебания численности популяции лошадей в США: http://tinyurl.com/horsedecline

62

Метаанализ, показывающий, как безработица отражается на благосостоянии: Maike Luhmann et al. Subjective well-being and adaptation to life events: a meta-analysis. Journal of personality and social psychology 102.3 (2012): 592, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3289759

63

Исследования причин, определяющих субъективное благосостояние:

Angela Duckworth, Tracy Steen, and Martin Seligman 2005, Positive Psychology in Clinical Practice (http://tinyurl.com/wellbeingduckworth); Weiting Ng & Ed Diener, What matters to the rich and the poor? Subjective well-being, financial satisfaction, and postmaterialist needs across the world. Journal of personality and social psychology 107.2 (2014): 326 (http://psycnet.apa.org/journals/psp/107/2/326); Kirsten Weir. More than job satisfaction (http://www.apa.org/monitor/2013/12/job-satisfaction.aspx)

64

Перемножение примерно 10¹¹ нейронов, примерно 10⁴ синапсов на нейрон и одного (10⁰) возбуждения нейрона в секунду дает примерно 10¹⁵ FLOPS (1 petaFLOPS) – такого быстродействия достаточно для симуляции человеческого мозга, но здесь есть много плохо понимаемых осложнений, в том числе закон, по которому происходят возбуждения, и вопрос, надо ли отдельно симулировать небольшие части нейронов и синапсов. Специалист IBM Дхармендра Модха оценил необходимую производительность в 38 petaFLOPS (http://tinyurl.com/javln43), а нейробиолог Генри Маркрам дал другую оценку – около 1 000 petaFLOPS (http://tinyurl.com/6rpohqv). Катья Грейс и Пол Кристиано утверждают, что наиболее дорогой аспект симуляции мозга не в вычислениях, а в коммуникациях, но и это под силу современному суперкомпьютеру: http://aiimpacts.org/about

65

Эта статья содержит интересные оценки вычислительной мощности человеческого мозга: Hans Moravec. When will computer hardware match the human brain. Journal of Evolution and Technology. 1998. Vol. 1.

66

Первая механическая птица: https://www.ted.com/talks/a_robot_that_flies_like_a_bird

67

Цит. по: Ray Kurzweil, The Singularity is Near, Viking Press, 2005.

68

См.: сценарий Бена Гёрцля: https://wiki.lesswrong.com/wiki/Nanny_AI

69

Статья об отношениях людей и машин (можно ли считать машины нашими рабами): http://tinyurl.com/aislaves

70

Мысленные преступления обсуждаются Бострёмом в его книге Superintelligence и, с несколько большим количеством технических деталей, в статье: Nick Bostrom, Allan Dafoe & Carrick Flynn (2016) Policy Desiderata in the Development Of Machine Superintelligence,http://www.nickbostrom.com/papers/aipolicy.pdf

71

Воспоминания бывшего подполковника восточногерманских спецслужб см.: http://www.mcclatchydc.com/news/nation-world/national/article24750439.html

72

Наводящие на размышления суждения о том, что может подталкивать людей к совершению поступков с ни для кого не желательными последствиями, можно найти в: Scott Alexander, Meditations on Molloch (http://slatestarcodex.com/2014/07/30/meditations-on-moloch)

73

Интерактивная хроника настораживающих событий, которые доказывают, что ядерная война может начаться случайно: http://tinyurl.com/nukeoops

74

О компенсационных выплатах жертвам ядерных испытаний в США см.: https://www.justice.gov/sites/default/files/civil/legacy/2014/10/20/Tre_SysClaimsToDateSum.pdf

75

Доклад комиссии США об угрозе электромагнитного импульса, возникающего в результате ядерного взрыва: http://www.empcommission.org/docs/A2473-EMP_Commission-7MB.pdf

76

Независимые исследования американских и советских ученых, предупреждавших Рейгана и Горбачева об опасности ядерной зимы:

– Crutzen, P. J. & Birks, J. W. (1982) The atmosphere after a nuclear war: Twilight at noon, Ambio,11;

– Turco, R. P., Toon, O. B., Ackerman, T. P., Pollack, J. B. & Sagan, C. (1983) Nuclear winter: Global consequences of multiple nuclear explosions, Science, 222, 1283–1292;

– Aleksandrov, V. V. & Stenchikov, G. L. (1983) On the modeling of the climatic consequences of the nuclear war, Proceeding on Applied Mathematics, 21: Computing Centre of the USSR Academy of Sciences, Moscow (см. рус. вариант статьи: Александров В. В., Стенчиков Г. Л. Об одном вычислительном эксперименте, моделирующем климатические последствия ядерной войны // Ж. вычисл. матем. и матем. физ. 2014. 24:1, 140–144);

– Robock, A. (1984) Snow and ice feedbacks prolong effects of nuclearwinter, Nature, 310, 667–670.

77

Расчеты климатических изменений после ядерной войны см. в: Robock A., Oman, L. & Stenchikov, L. (2007). Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences, J. Geophys. Res., 12, D13107.

78

Подборка ресурсов, посвященных сфере Дайсона, подготовленная Андерсом Зандбергом: http://tinyurl.com/dysonsph

79

Ключевая статья Фримена Дайсона о сферах, носящих его имя: Freeman Dyson (1959) Search for Artificial Stellar Sources of Infrared Radiation, Science, 131: 1667–1668.

80

Крейн и Вестморланд объясняют принцип работы двигателя на черной дыре в: http://arxiv.org/pdf/0908.1803.pdf

81

Иконографика от CERN об элементарных частицах: http://tinyurl.com/cernparticles

82

В этом ролике показан безъядерный прототип, приводимый в движение взрывами бомб и разработанный в рамках проекта “Орион”. Он иллюстрирует идею ядерных взрывов в качестве ракетного двигателя: https://www.youtube.com/watch?v=E3Lxx2VAYi8

83

Учебное введение в принцип действия лазерного паруса: http://www.lunarsail.com/LightSail/rit-1.pdf

84

Джей Олсон анализирует возможности космической экспансии цивилизаций: http://arxiv.org/abs/1411.4359

85

Первый подробный анализ нашего далекого будущего: Dyson, Freeman J. (1979) Time without end: Physics and biology in an open universe, Reviews of Modern Physics, 51.3, 447, http://tinyurl.com/dysonfuture (см. рус. пер. в: Далекое будущее Вселенной. Эсхатология в космической перспективе / под ред. Дж. Эллис. М.: ББИ, 2012).

86

Упомянутая выше формула Сета Ллойда говорит нам, что выполнение вычислительной операции в течение времени τ требует расхода энергии в E ≥ h/4τ где h – постоянная Планка. Если вы хотите выполнить одну за другой N операций, то τ = T/N, откуда следует, что, расходуя энергию Е за время Т, можно выполнить N ≤ 2√ET/h операций. Таким образом, и время, и энергия – это ресурсы, которых хотелось бы иметь побольше. Если вы распределите свою энергию Е между n параллельными вычислениями, то они будут осуществляться медленнее и эффективность вырастет. Ник Бострём оценивает количество операций, требуемых на симуляцию 100 лет человеческой жизни, в 10²⁷.

87

Если вы хотите получить веский аргумент, почему возникновение жизни требует довольно редкой флуктуации, из-за чего наши ближайшие соседи оказываются за 10¹⁰⁰⁰ метров от нас, я советую посмотреть видео физика и астробиолога из Принстона Эдвина Тёрнера: https://www.youtube.com/watch?v=Bt6n6Tu1beg

88

Эссе Мартина Риса о поиске внеземных цивилизаций см.: https://www.edge.org/annual-question/2016/response/26665

89

Популярное изложение статьи Джереми Ингланда о диссипативно направленной адаптации см. в: https://www.scientificamerican.com/article/a-new-physics-theory-of-life/

Основные идеи взяты из книги: Ilya Prigogine & Isabelle Stengers (1984) Order Out of Chaos: Man’s New Dialogue with Nature, Bantam (см. рус. пер.: Пригожин И., Стенгерс И. Порядок из хаоса: Новый диалог с природой / пер. с англ. Ю. А. Данилова. М.: Прогресс, 1986. – Прим. перев.).

90

О чувствах и их физиологических причинах см.:

– William James (1890) Principles of Psychology, Henry Holt & Co.;

– Robert Ornstein (1992) Evolution of Consciousness: The Origins of the Way We Think, Simon & Schuster;

– António Damásio (2005) Descartes’ Error: Emotion, Reason, and the Human Brain, Penguin;

– António Damásio (2012) Self Comes to Mind: Constructing the Conscious Brain, Vintage.

91

Элиезер Юдковски обсуждал возможность приведения в соответствие с целями дружественного искусственного интеллекта не просто наших целей, а наших целей (“волений”), гладко экстраполированных в будущее (coherent extrapolated volition, CEV). Образно говоря, это то, чего хотела бы идеализированная версия нас самих, если бы мы знали больше, думали быстрее и были бы в большей степени людьми, чем сами бы хотели. Юдковски начал критиковать идею CEV вскоре после предания ее гласности в 2004 году: (http://intelligence.org/files/CEV.pdf ) и потому, что ее сложно применить, и потому, что неясны возможности преобразования ее во что-нибудь хорошо определенное.

92

В подходе обратного обучения с подкреплением ключевая идея состоит в том, что искусственный интеллект стремится к максимальному удовлетворению не своих целей, а целей его владельца-человека. Поэтому он должен проявлять осторожность в тех случаях, когда непонятно, чего в точности хочет владелец, и надо поначалу с этим разобраться. Тогда проблемы с выключением не возникает: оно указывает на возникшее непонимание истинных намерений владельца.

93

См. статью Стива Омохундро: http://tinyurl.com/omohundro2008

94

Глубокая и содержательная книга Ханны Аренд о том, что бывает, когда разум слепо подчиняется приказам, не обращаясь к вопросам этики: Hanna Arendt (1963), Eichmann in Jerusalem: A Report on the Banality of Evil, Penguin (есть русский перевод: Арендт Х. Банальность зла. Эйхман в Иерусалиме / пер. с англ. С. Кастальский, Н. Рудницкая. М.: Европа, 2008. – Прим. перев.). Близкая дилемма возникает в работе Эрика Дрекслера (http://www.fhi.ox.ac.uk/reports/2015-3.pdf): чтобы удерживать сверхразум под своим контролем, его расчленяют на меньшие части, каждая из которых не в состоянии понять всю картину целиком. Если такое получится, то опять же возникает мощное орудие без внутренних моральных ограничителей, способное безропотно выполнять волю своего владельца. Это напоминает расчлененную бюрократию в условиях тиранической антиутопии: одна часть контролирует создание оружия, не зная, как оно будет использоваться, другая – казнит осужденных, не зная, в чем их вина, и т. п.

95

Современный вариант этого “золотого правила” предложил Джон Ролз: гипотетическая ситуация морально приемлема, если никто не хочет ее изменить, не зная заранее, какое место в ней займет.

96

Например, IQ многих людей в ближайшем окружении Гитлера был весьма высок: http://tinyurl.com/nurembergiq

97

Словарная статья о сознании Стюарта Сазерленда довольно любопытна. См.: Macmillan Dictionary of Psychology, Macmillan, 1989.

98

Эрвин Шрёдингер, один из создателей квантовой механики, сделал это замечание в книге Mind and Matter (см.: Шрёдингер Э. Разум и материя / пер. с англ. А. В. Монаков. Ижевск: НИЦ “Регулярная и хаотическая динамика”, 2000. – Прим. перев.), обсуждая прошлое: что бы произошло, если бы сознательная жизнь никогда не возникла и не заняла главенствующего места? С другой стороны, возникновение искусственного интеллекта ставит логическую проблему, связанную с тем, что теперь мы сами можем начать разыгрывать пьесу перед пустыми креслами в будущем.

101 Стэнфордская философская энциклопедия приводит подробный обзор различных способов определения и использования слова “сознание”. См.: http://tinyurl.com/stanfordconsciousness

99

Yuval Noah Harari (2017) Homo Deus, p. 116.

100

Прекрасное введение в теорию “Системы 1” и “Системы 2” см.: Daniel Kahneman (2011) Thinking, Fast and Slow, Farrar, Straus & Giroux.

101

См.: Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, W. H. Freeman.

102

Мы осознаем лишь незначительную часть информации (скажем, около 10–50 бит), ежесекундно проходящей через наш мозг. См.: Küpfmüller, K. (1962) Nachrichtenverarbeitung im Menschen, in: Steinbuch, K. (Ed.) Taschenbuch der Nachrichtenverarbeitung, 1481–1502.

Nørretranders, T. (1991) The User Illusion: Cutting Consciousness Down to Size, Viking.

103

Michio Kaku (2014) The Future of the Mind: The Scientific Quest to Understand, Enhance, and Empower the Mind, Doubleday

– Jeff Hawkins & Sandra Blakeslee (2007) On Intelligence, Times Books;

– Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux (1998) A neuronal model of a global workspace in effortful cognitive tasks, Proceedings of the National Academy of Sciences, 95, 14529–14534.

104

Знаменитый эксперимент Пенфилда “Я чувствую запах подгоревшего тоста”, см.: https://www.youtube.com/watch?v=pUOG2g4hj8s

Детали о сенсоромоторных отделах коры головного мозга см.: Elaine Marieb & Katja Hoehn (2008) Anatomy & Physiology, 3rd Ed., Pearson, p. 391–395.

105

Изучение нейронных коррелятов сознания (NCCs) стало занимать в последние годы центральное место среди интересов нейробиологического сообщества. См., например:

Geraint Rees, Gabriel Kreiman & Christof Koch (2002) Neural correlates of consciousness in humans, Nature Reviews Neuroscience, 3, 261–270, и Thomas Metzinger (2000) Neural correlates of consciousness: Empirical and conceptual questions, MIT press.

106

О том, как работает непрерывное подавление вспышек, см.:

– Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, W. H. Freeman;

– Christof Koch & Naotsugu Tsuchiya (2005) Continuous flash suppression reduces negative afterimages, Nature Neuroscience, 8, 1096–1101.

107

См.: Christof Koch, Marcello Massimini, Melanie Boly & Giulio Tononi (2016) Neural correlates of consciousness: progress and problems, Nature Reviews Neuroscience, 17, 307.

108

См. с. 250 в: Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, Op. cit, а также дальнейшее обсуждение вопроса в Стэнфордской философской энциклопедии (http://tinyurl.com/consciousnessdelay).

109

О синхронизации осознанного восприятия см.:

– David Eagleman (2015) The Brain: The Story of You, Pantheon;

– Stanford Encyclopedia of Philosophy, http://tinyurl.com/consciousnesssync

110

См.: Benjamin Libet (2004) Mind Time – The Temporal Factor in Consciousness, Harvard University Press, Chun Siong Soon, Marcel Brass, Hans-Jochen Heinze, John-Dylan Haynes (2008) Unconscious determinants of free decisions in the human brain, Nature Neuroscience, 11, 543–545, (http://www.nature.com/neuro/journal/v11/n5/full/nn.2112.html )

111

См. примеры теоретических подходов к исследованию сознания в:

– Daniel Dennett (1992) Consciousness explained, Back Bay Books;

– Bernard Baars (2001) In the Theater of Consciousness: The Workspace of the Mind, Oxford Univ. Press;

– Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, Roberts;

– Gerald Edelman & Giulio Tononi (2008) A Universe Of Consciousness How Matter Becomes Imagination: How Matter Becomes Imagination, Hachette;

– António Damásio (2012) Self Comes to Mind: Constructing the Conscious Brain, Vintage;

– Stanislas Dehaene (2014) Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts, Viking;

– Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux (1998) A neuronal model of a global workspace in effortful cognitive tasks, Proceedings of the National Academy of Sciences, 95, 14529–14534;

– Stanislas Dehaene, Lucie Charles, Jean-Rémi King & Sébastien Marti (2014) Toward a computational theory of conscious processing, Current opinion in neurobiology, 25, 760–84.

112

Основательное обсуждение использования термина “emergence” в физике и философии см. в статье Дэвида Чалмерса: http://cse3521.artifice.cc/Chalmers-Emergence.pdf

113

Мои работы, где я доказываю, что сознание – это то, что происходит с информацией при ее обработке определенным сложным образом:

– https://arxiv.org/abs/physics/0510188

– https://arxiv.org/abs/0704.0646

Max Tegmark (2014) Our Mathematical Universe, Random House.

Дэвид Чалмерс формулирует близкую точку зрения в своей книге 1996 года The Conscious Mind: “Переживание – это информация изнутри, физика – это информация снаружи”.

114

См.: Adenauer Casali et al. (2013) A theoretically based index of consciousness independent of sensory processing and behavior, Science translational medicine, 5, 198ra105, http://tinyurl.com/zapzip

115

Теория интегральной информации (IIT) не работает в непрерывных системах. См.:

– https://arxiv.org/abs/1401.1219

– http://journal.frontiersin.org/article/10.3389/fpsyg.2014.00063/full

– https://arxiv.org/abs/1601.02626

116

Интервью с Клайвом Уэрингом, кратковременная память которого всего 30 секунд, см.: https://www.youtube.com/watch?v=WmzU47i2xgw

117

Критика IIT Скоттом Аарансоном, см.: http://www.scottaaronson.com/blog/?p=1799

118

Критика IIT Черрулло, который утверждает, что интеграция – недостаточное условие для сознания, см.: http://tinyurl.com/cerrullocritique

119

Предсказание на основе IIT, что симулированные люди будут зомби, см.: http://rstb.royalsocietypublishing.org/content/370/1668/20140167

120

Критика IIT Шанаханом, см.: http://arxiv.org/ftp/arxiv/papers/1504/1504.05696.pdf

121

О слепом пятне см.: http://tinyurl.com/blindsight-paper

122

См. сн. 105.

123

“Сознание без доступа”, за и против, см.: Victor Lamme (2010), How neuroscience will change our view on consciousness, Cognitive Neuroscience, 204–20 (http://www.tandfonline.com/doi/abs/10.1080/17588921003731586)

124

См.: https://www.youtube.com/watch?v=vJG698U2Mvo

125

См. сн. 126.

126

Подробное обсуждение этих вопросов см. в книге Дэниела Деннета Consciousness explained.

127

См. сн. 103.

128

См. по поводу свободы воли в Стэнфордской философской энциклопедии: https://plato.stanford.edu/entries/freewill

129

Видео, в котором Сет Ллойд объясняет, почему искусственный интеллект должен ощущать себя обладающим свободной волей, см.: https://www.youtube.com/watch?v=Epj3DF8jDWk

130

См. Dreams of a Final Theory: The Search for the Fundamental Laws of Nature (см. рус. пер.: Вайнберг С. Мечты об окончательной теории: физика в поисках самых фундаментальных законов природы / пер. с англ. А. В. Берков. М.: УРСС, 2004. – Прим. перев.).

131

См. сн. 91.

132

За открытым письмом (http://futureoflife.org/ai-open-letter/ ), написанным по итогам конференции в Пуэрто-Рико, о том, что проведение исследований, направленных на достижение надежности и дружественности искусственного интеллекта, необходимо и своевременно, появился документ о приоритетах, где перечислены существующие уже сегодня конкретные исследовательские направления, которые позволяют двигаться к этой цели: http://futureoflife.org/data/documents/research_priorities.pdf

133

Мое видеоинтервью с Илоном Маском о AI-безопасности: https://www.youtube.com/watch?v=rBw0eoZTY-g

134

Видеокомпиляция практически всех попыток посадить ракету SpaceX, включая успешную, см.:

https://www.youtube.com/watch?v=AllaFzIPaG4

135

Сообщение о нашем конкурсе по AI-безопасности Маск опубликовал в своем Twitter: https://twitter.com/elonmusk/status/555743387056226304

136

Твитт Маска о нашем открытом письме, призывающем к исследованиям по AI-безопасности: https://twitter.com/elonmusk/status/554320532133650432

137

Статья, подшучивающая над новостной бурей в прессе по поводу нашего открытого письма, см.: http://www.popsci.com/open-letter-everyone-tricked-fearing-ai

138

Твитт Маска о его большом пожертвовании в пользу нашего института и исследований по AI-безопасности: https://twitter.com/elonmusk/status/555743387056226304

139

Сайт Партнерства по созданию искусственного интеллекта на благо людей и общества (Partnership on AI to benefit people and society), см.: https://www.partnershiponai.org

140

Примеры недавних отчетов по искусственному интеллекту, см.:

– 100-летняя программа исследований искусственного интеллекта в Стэнфорде: http://tinyurl.com/stanfordai

– Отчет Белого дома о будущем искусственного интеллекта: http://tinyurl.com/obamaAIreport

– Отчет Белого дома о воздействии искусственного интеллекта на рынок труда: http://tinyurl.com/AIjobsreport

– Отчет IEEE об искусственном интеллекте и человеческом благосостоянии: http://standards.ieee.org/develop/indconn/ec/ead_v1.pdf

– Дорожная карта US Robotics: http://tinyurl.com/roboticsmap

141

Среди принципов, не попавших в итоговый документ, один из самых мной любимых был такой: “Пока нет общего согласия, мы должны избегать сильных допущений относительно возможности искусственного интеллекта обладать сознанием и чувствами или требовать их для себя”. Он прошел много итераций, и на последней из них вызывавшее споры слово “сознание” было заменено на “субъективные переживания”, и все равно этот принцип набрал только 88 % голосов, лишь немного недотянув до требуемых 90 %.

142

Дискуссионная панель с Илоном Маском и другими великими умами, см.: http://tinyurl.com/asilomarAI