Совместимость. Как контролировать искусственный интеллект - [40]

Глава 4. Неправомерное использование ИИ

Гуманное и радостное осуществление вселенского предназначения человечества… Звучит прекрасно, но мы должны считаться с быстрым темпом внедрения инноваций в сфере злоупотреблений. Злоумышленники так быстро изобретают новые способы неправомерного использования ИИ, что эта глава, скорее всего, устареет еще до того, как книга пойдет в печать. Отнеситесь к дальнейшим главам не как к поводу для депрессии, а как к призыву действовать, пока не поздно.

Наблюдение, убеждение и контроль

Автоматизированное Штази >{7}

Ministerium für Staatsicherheit, более известное как Штази, многими считается «одним из самых эффективных и репрессивных ведомств разведки и тайной полиции в истории»[143]. Оно копило досье на большинство восточногерманских домохозяйств, прослушивало телефонные разговоры, читало письма и ставило скрытые камеры в жилых домах и отелях. Оно с безжалостной эффективностью выявляло и пресекало деятельность диссидентов, отдавая предпочтение психологическому уничтожению перед тюремным заключением или физическим устранением. Однако такой уровень контроля давался большой ценой: по некоторым оценкам, более четверти взрослых работоспособного возраста являлись информаторами Штази. Архивы Штази оцениваются в 20 млрд страниц[144], и задача обработки и использования громадных входящих потоков информации начинала превосходить возможности любой организации.

Неудивительно, что разведывательные органы оценили потенциал использования ИИ в своей работе. Долгие годы они применяли простые формы ИИ-технологии, в том числе распознавание голоса и идентификацию ключевых слов и фраз в устной и письменной речи. ИИ-системы все более способны понимать содержание того, что говорят и делают люди, будь то в ходе отслеживания разговоров, текстов или видеоизображения. В странах, где эта технология будет служить задаче контроля, возникнет такая же ситуация, как если бы к каждому гражданину был приставлен личный соглядатай из Штази, следящий за ним 24 часа в сутки[145].

Даже в гражданской сфере в относительно демократических странах за людьми ведется все более эффективное наблюдение. Корпорации собирают и продают информацию о наших покупках, пользовании интернетом, социальными сетями и электробытовыми приборами, звонках и текстовых сообщениях, трудовой занятости и здоровье. Наше местоположение можно отследить по мобильному телефону и автомобилю, имеющему выход в интернет. Уличные видеокамеры распознают наши лица. Все эти и многие другие данные можно собрать воедино с помощью интеллектуальных информационных систем и получить весьма полную картину того, что каждый из нас делает, как живет, кого любит и кого не любит и за кого станет голосовать[146]. По сравнению с этим Штази выглядят жалкими любителями.

Управление вашим поведением

Когда возможности слежки реализованы, следующий шаг — изменить ваше поведение так, как нужно тем, кто использует эту технологию. Одним из методов, довольно грубым, является автоматизированное персонализированное вымогательство. Система, понимающая, что вы делаете, — прослушивающая, читающая или наблюдающая за вами визуально — легко заметит, что вы заняты чем-то таким, чего не следовало бы делать. После этого она вступит с вами в переписку и попытается вытрясти из вас как можно больше денег (или принудить вас к определенному действию, если целью является политический контроль или шпионаж). Получение денег служит идеальным вознаграждающим сигналом, подкреплением для обучающегося алгоритма, и следует полагать, что ИИ-системы будут быстро наращивать возможность идентифицировать ненадлежащее поведение и извлекать из него выгоду. Еще в 2015 г. в разговоре со специалистом по компьютерной безопасности я предположил, что скоро можно будет создать автоматизированные системы вымогательства на основе обучения с подкреплением. Он рассмеялся и ответил, что это уже произошло. Первый бот-вымогатель, о котором много говорили, — «Делайла», обнаруженный в 2016 г.[147]

Более тонкий способ менять поведение людей состоит в изменении их информационного окружения, так, чтобы они приобрели другие убеждения и принимали иные решения. Рекламодатели делают это не одно столетие, меняя покупательское поведение индивидов. Пропаганда как средство войны и политического господства имеет еще более долгую историю.

Что же изменилось? Во-первых, поскольку ИИ-системы способны отслеживать онлайновые читательские привычки, предпочтения и вероятный уровень знаний индивида, они могут подгонять конкретные сообщения под эти особенности, максимизируя воздействие на человека и сводя к минимуму риск, что информации не поверят. Во-вторых, система ИИ знает, читает ли индивид сообщение, сколько времени на это тратит и переходит ли по дополнительным ссылкам внутри сообщения. Затем она использует эти сигналы как моментальную обратную связь об успехе или неудаче своей попытки повлиять на каждого индивида. Таким образом, она быстро становится более эффективной в решении своей задачи. Именно так алгоритмы выбора контента в социальных сетях исподволь повлияли на политические убеждения.