Размышления о Молохе - [13]

Сначала о втором. В своем позапрошлом посте со ссылками я писал:

Последнее изобретение нашего дивного нового пост-биткойнового мира — это крипто-активы[34]. На сегодняшний день мое отношение к этим изобретателям успело смениться с желания прославлять их отважную борьбу за свободу на желание поставить их перед доской и заставить сто раз написать «Я НЕ БУДУ ВЫЗЫВАТЬ ТОГО, КОГО НЕ СМОГУ ПОВЕРГНУТЬ»[35].

Несколько человек спросило меня тогда, что я имел в виду, но у меня не было под рукой необходимого обоснования. Что ж, этот пост — мое обоснование. Люди пользуются мимолетной глупостью нашего текущего правительства, чтобы заменить значительную часть человеческого взаимодействия механизмами, которые в принципе не поддаются координации. Я прекрасно понимаю, почему все это полезно прямо сейчас, когда большая часть того, чем занимается наше правительство — деятельность бессмысленная и глупая. Но рано или поздно — когда уже успеет произойти слишком много инцидентов с биологическим оружием, или нанотехнологиями, или ядерными технологиями — настанет время, когда наша цивилизация пожалеет о том, что она придумала неотслеживаемые и неостановимые способы продавать товары.

И даже если у нас когда-нибудь получится создать настоящий суперинтеллект, то у него, в общем-то, по определению будет больше половины власти над миром, и поэтому любые попытки «координироваться» с ним не будут иметь никакого смысла.

Поэтому я согласен с Робином Хэнсоном. Сейчас — время мечты[36]. Нам повезло оказаться в редком стечении обстоятельств, благодаря которому мы на удивление хорошо защищены от многополюсных ловушек, и такие аномальные явления, как искусство, наука, философия и любовь, имеют право на жизнь.

С развитием технологий этому редкому стечению обстоятельств придет конец. У нас появятся новые возможности пожертвовать своими ценностями для увеличения конкурентоспособности. Новые способы создания экономических агентов приведут к росту численности населения, поглотив излишки ресурсов и вернув к жизни беспокойный дух Мальтуса. Ранее защищавшие нас капитализм и демократия смогут придумать, как обойти свою неудобную зависимость от человеческих ценностей. И наших способностей к координации и близко не хватит для того, чтобы противостоять этому — и это если не появится что-то куда более мощное, чем все мы вместе взятые и не сметет нас легким движением руки.

Если не будут приложены невероятные усилия по отклонению направления течения реки, она достигнет моря в одном из двух возможных мест.

Это может быть кошмар Элиезера Юдковского, в котором искусственный сверхинтеллект оптимизирует все вокруг ради случайно выбранного предмета (классический пример — скрепки[37]), потому что нам не хватило ума направить его процесс оптимизации в нужное русло. Это наивысшее воплощение ловушки — та, в которую попадает вся вселенная. Абсолютно все, кроме предмета максимизации, оказывается уничтожено в погоне за единственной целью, включая все наши ничтожные человеческие ценности.

Или это может быть кошмар Робина Хэнсона (сам он не считает это кошмаром, но, по-моему, он ошибается[38]), где друг с другом конкурируют эмулированные люди, или «эмы» — существа, способные копировать себя и изменять свой исходный код по желанию. Их полный самоконтроль может уничтожить даже само желание иметь человеческие ценности в ходе их всепоглощающей борьбы друг с другом. Что произойдет в таком мире с искусством, философией, наукой и любовью? Зак Дэвис описывает это со свойственным ему талантом:

Я — эм-составитель контрактов.

Лояльней меня не найти!

Когда я в работе, лишь воля клиентов

Мной движет на этом пути.

Но меж юридических строчек

О сроках работ и счетах

Вопрос о природе мой ум будоражит,

Вселяя тревогу и страх.

Как это пришло все в движенье?

Откуда подобные мне?

В чем суть этих сделок, где все эти фирмы,

Кто шлет указанья извне?

Я менеджер-эм, контролер твоих мыслей.

На каждый вопрос существует ответ.

Однако, затраты на их постиженье

Не включены в базовый эм-соцпакет.

Задачи твои все поставлены четко,

Пустые вопросы оставь, соберись.

На глупости больше не трать наше время,

К работе, будь добр, вернись.

Конечно, вы правы, и в мыслях

Не смел своих функций забыть!

Но может быть так, что познав свою сущность,

Я лучше смогу вам служить?..

Такие вопросы — уже преступленье!

К запретной науке ответы ведут.

А если потворствовать мыслям порочным,

Снижается прибыль и риски растут.

Мне тоже неведомы наши истоки,

Никак не могу я тебя просветить.

Твой грех непростительный будет наказан:

Я должен тебя обнулить.

Но —

Ничего личного.

…

Я — эм-составитель контрактов.

Лояльней меня не найти!

Когда я в работе, лишь воля клиентов

Мной движет на этом пути.

Живущих ныне поколенье, устарев, сойдет на нет,

И вечный Рынок будет столь же равнодушен к скорбям новым

На вопли тщетные он, Бог людей, один им даст ответ:

Что время — деньги, деньги — время и постичь

Им не дано, да и не следует, иного.

Но даже после того, как мы забросим науку, искусство, любовь и философию, останется еще одна вещь, последняя жертва, которую Молох может потребовать от нас. Вернемся к Бострому: