Знание-сила, 2009 № 05 (983) - [17]

Кроме психологических, есть и большой класс логических ошибок.

Например, часто гипотезы о том, что нечто возможно и нечто невозможно, воспринимаются как равнозначные (так, например, непрерывно возникают альтернативы в духе «возможен ли самовоспроизводящийся наноробот или нет»).

Следующая важная особенность данного направления исследований — сдвиг в оценке того, какова возможная роль сильного искусственного интеллекта в рисках человеческому существованию. Тот же Юдковски написал статью «ИИ как позитивный и негативный фактор глобального риска». С точки зрения создаваемого ИИ риска, не имеет значения вопрос, обладает ли ИИ сознанием или нет. С точки зрения безопасности, для нас важна способность ИИ побеждать человека в любых играх. Если бы жизнь человечества зависела от поединка Каспарова с Deep Blue, мы бы уже проиграли.

Основная опасность ИИ состоит в том, что теоретически возможен его экспоненциальный рост, после того как он перейдет некий критический порог. Этот процесс самоусиления ИИ опасен тем, что неизвестно, как при этом будет сохраняться неизменной его система целей и какую вообще систему целей следовало бы для него создать. Данный вопрос о программировании будущего сильного ИИ известен под названием проблема «Дружественности ИИ» и исследуется в Институте сингулярности в Калифорнии. Есть также подробно разработанные ответы на вопрос, как сильный ИИ мог бы вырваться из своей родной лаборатории и как бы он мог «установить власть над миром», если бы это соответствовало его целевой функции.

Гипотетический момент возникновения самоусиливающегося ИИ известен под названием «Технологической сингулярности». В. Виндж на основании закона Мура и числа нейронов в мозгу человека предположил, что это событие произойдет между 2005-м и 2030 годом, когда вычислительная мощность крупнейших компьютеров сравняется с мощностью человеческого мозга, а затем превзойдет ее. Ряд других исследователей также склоняются к оценке в районе 2030 года.

В. Виндж

Интересно отметить, что эта оценка независимо возникает и в других прогностических кривых, которые ничего не говорят о проблеме ИИ, а связаны с числом людей на Земле. В 1960 году Хайнц фон Ферстер опубликовал статью, названную «Судный день: пятница, 13 ноября 2026 года», в которой показал, что если тенденция к гиперболическому росту населения, которую он обнаружил на основании данных последних 2000 лет, продолжится, то к названному дню население человечества станет бесконечным. К таким же выводам приходит С. Капица в своей книге «Сколько людей жило, живет и будет жить на Земле».

Разумеется, реальное число людей не может расти с такой скоростью, и уже, начиная с 1973 года, физическое число людей стало отставать от данной прогностической кривой. Но именно 1973 год был очень важным в истории компьютеров. В этом году фирма «Ксерокс» выпустила первый функциональный персональный компьютер с монитором, «Интел» создала процессор 8080, а IBM сконструировала первый жесткий диск типа винчестер. С этого момента количество микропроцессоров в мире стало экспоненциально расти. В начале 1980-х количество установленных в мире микропроцессоров измерялось миллионами; к 2000-му году это число приблизилось к миллиарду гораздо более мощных центральных процессоров в персональных компьютерах и огромному числу специализированных процессоров в микроконтроллерах. К настоящему времени у каждого продвинутого пользователя имеется около 10 независимых компьютеров с файловой системой — настольный, ноутбук, сотовый телефон, фотоаппарат, плеер, на работе и так далее. Недавно «Майкрософт» выпустила прогноз о том, что к 2020 году число процессоров, приходящихся на одного человека, достигнет тысячи. И эти рассуждения не учитывают качество, скорость и степень связанности в единую сеть этих процессоров. Отсюда следует, что закон гиперболического роста продолжается, если учитывать в нем не физических людей, а количество устройств для обработки информации.

Фактически закон гиперболического роста населения, а затем числа микропроцессоров означает постепенный рост коллективного интеллекта человеческой расы. И если принять эту мысль, окажется, что проблема искусственного интеллекта давно решена через некую методику превращения индивидуального человеческого интеллекта в коллективный интеллект всей цивилизации, называемый наукой. Исходя из этого, не кажется удивительным, что ожидаемый момент обращения в бесконечность числа людей и момент создания полностью автономного от человека искусственного интеллекта совпадают с точностью до нескольких лет.

Однако есть разные мнения о том, что будет означать для человечества такой переход. Наилучший сценарий предполагает превращение человечества в нечто богоподобное. Но пик Сингулярности может оказаться вавилонской башней. Возможен также некий качественный переход, описать который мы никак не можем. Выходом из режима с обострением зачастую оказывается разрушение системы. Можно также представить нарастание осцилляций системы по мере приближения к Сингулярности, которые или разрушат человечество, или отбросят его на ранний уровень развития. Существенно, что к моменту Сингулярности система подходит как целое, и нам не удастся отсидеться за рамками национальной безопасности.