Воспитание машин. Новая история разума - [25]

Технологии ИИ позволяют государству не просто следить за настроениями и поступками граждан, но и активно влиять на общественное мнение в пользу тех или иных групп интересов, например с помощью армии искусственных личностей в социальных сетях. А поскольку соответствующие разработки силовых ведомств засекречены, они с большим трудом поддаются общественному контролю, если вообще поддаются.

Еще более опасны попытки бюрократии переводить стрелки общественного недовольства с больной головы на здоровую, списывая свои неудачи и провалы на разного рода внутренних или внешних врагов. Это нисколько не способствует выявлению и решению реальных проблем и в долгосрочной перспективе лишь усугубляет нестабильность в обществе. Более того, атмосфера «осажденной крепости» содействует безудержной гонке вооружений, опасность которой с появлением боевого ИИ возрастает многократно.

Действительно, возникновение и быстрое развитие ИИ часто сравнивают с изобретением атомного оружия, которое впервые поставило под вопрос физическое выживание человечества. Начинающаяся на наших глазах гонка за искусственным интеллектом очень напоминает атомную и ракетную гонку вооружений второй половины XX века. Автономные боевые роботы, управляемые по глобальной оперативной сети искусственными стратегами, действительно способны качественно изменить баланс сил в пользу государств, имеющих доступ к соответствующим технологиям.

Пока что военные успокаивают общественность тем, что, мол, окончательное решение всегда остается за человеком. Но все прекрасно понимают, что это временный вариант, продиктованный эпохой слабого ИИ, так как именно преимущество в скорости и качестве принятия решений станет главным достоинством боевого сильного ИИ[68]. Военные в ходе начавшейся гонки будут вынуждены постепенно передавать ему право принятия смертоносных решений, поднимаясь от уровня отдельных боевых единиц, как это уже происходит с самонаводящимися ракетами, до боевых тактических групп и далее – на всё более высокие оперативные и стратегические уровни. А поскольку вся логика принятия подобных решений будет основана на обработке гигантских объемов разнородной информации, недоступных человеческому разуму, перепроверить правильность решений искусственных стратегов в условиях ограниченного времени будет попросту невозможно.

При таком развитии событий повышается вероятность того, что человечество окажется втянутым в масштабную ядерную катастрофу в силу естественного стремления искусственных стратегов достичь поставленных военным руководством «национальных целей». Ведь недоверие к противнику и стремление превентивно нейтрализовать его коварные планы – профессиональные качества военных, от которых они неизбежно перейдут и искусственным стратегам.

Мало того, что интересы политического руководства могут кардинально расходиться с интересами граждан. При постановке задачи искусственным стратегам самое сложное – не определить цели, а сформулировать ограничения, при которых достижение этих целей все еще имеет смысл. В известном рассказе У. Джекобса «Обезьянья лапка» этот древний талисман неизменно исполнял все желания своих хозяев, но делал это формально, без учета негласных ограничений – тех самых человеческих ценностей. Так, в ответ на желание очередного хозяина талисмана получить 200 фунтов чек на эту сумму был вручен ему на следующий же день, но в качестве компенсации за жизнь внезапно погибшего в результате несчастного случая любимого сына. Боевой ИИ в конечном итоге может привести мир к ситуации, когда ядерные кнопки окажутся в таких «обезьяньих лапках».

Гипертрофированная борьба с внутренними и внешними врагами в ущерб остальным функциям государства подобна аутоиммунным заболеваниям или в острой форме – цитокиновому шторму, когда защитная система организма начинает поражать не только его врагов, но и свои собственные органы, в том числе жизненно важные. Подобное развитие событий может быть смертельно опасным и для общественных организмов. Достаточно вспомнить развал Советского Союза при всей мощи его армии, способной сокрушить любого агрессора. Излишняя концентрация на внешних угрозах заслонила гораздо более реальную проблему – потерю привлекательности режима в глазах своих граждан из-за систематического игнорирования их нужд со стороны государства. А это, в свою очередь, стало следствием недостатка обратных связей в закостенелой административно-командной системе управления.

Соответственно лекарство от подобных аутоиммунных общественных заболеваний следует искать в развитии цифровой демократии, интенсивных сетевых коммуникациях, нацеленных на выявление и гармонизацию разнообразных нужд всех слоев населения. У разных общественных групп есть свои интересы и представления о том, на что и в каких пропорциях следует тратить общие ресурсы. И общество должно уметь вырабатывать такую политику, которая минимизирует степень народного недовольства.

В индустриальном обществе эта задача зачастую решалась в присущей ему парадигме массового производства, то есть навязывания всему обществу единой идеологии, подчинения всех меньшинств монолитному большинству с использованием чисто силовых методов. Цифровой уклад подразумевает совсем другой подход: использование реального разнообразия общества с помощью новых цифровых технологий, не в последнюю очередь – ИИ.