Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - [68]

Шрифт
Интервал

Системы социального кредита (ССК) в Китае могут основываться на тысячах данных. Пока, судя по всему, ни одна такая система не реализовала в полной мере предписания государственного «плана». Однако власти, очевидно, развивают системы оценки, обладающие тремя особенно пугающими качествами. Во-первых, ССК (в национальном или локальном варианте) вскоре будут включать полный или почти полный спектр данных, начиная с онлайн-постов и нарушений дорожного движения и заканчивая семейной жизнью, поведением на работе и многим другим. Во-вторых, черные списки (куда заносятся проштрафившиеся индивиды) и красные списки (с отличниками) означают, что возникает волновое воздействие, распространяющееся далеко за пределы исходного источника нарушения правил[432]. Так, неспособность оплатить долг может повлиять не только на кредитоспособность и финансовый статус данного индивида, но и докатиться до его права передвигаться по стране, получать государственные пособия или пользоваться другими гражданскими привилегиями. В-третьих, позор может повлечь и сетевые последствия, повлияв на баллы семьи или друзей «опозорившегося» человека[433].

Три эти составляющие ССК (полнота, волновой эффект и сетевые последствия) говорят о том, что такие системы способны стать совершенными инструментами социального контроля, особенно если они применяются к коммуникации, предметом которой являются права, политика и сами ССК[434]. Волновой эффект означает то, что отклонение от правил разветвляется, создавая многолетние отголоски. Из-за передовой биометрики (в частности, распознавания по сетчатке глаза, лицу и походке) изменить личность, когда идентичность уже запятнана стигмой, практически невозможно. Даже люди, достаточно смелые, чтобы не бояться следствий неповиновения, скорее всего, не захотят рисковать и возлагать подобный груз на тех, кто им дорог[435]. Волновой эффект занесения в черные списки или снижения рейтинга осложняет оценку полного влияния правонарушения, а может быть, и делает ее невозможной. Занесение в красные списки может служить еще более точечной репрессией, поскольку оно прививает гражданам «алгоритмическую самость», настроенную на максимизацию статуса[436].

Китайское правительство утверждало, что ССК попросту отражают ценности, бытующие ныне в китайских семьях, школах и судах. Но когда стандартный механизм апелляции отсутствует, автоматическое распределение стигматизирующих черных списков (как и похвальных красных) грозит стать заменой авторитету семей, школ и судов, а не их дополнением[437]. Определенные составляющие ССК в итоге могут привести к захвату власти путем квантификации, позволяющему бюрократам утвердить свое владычество над обширными областями социальной жизни, чего они никогда не смогли бы добиться благодаря публичному законотворчеству. Подобное количественное управление культурой представляет собой парадокс. Сама попытка выписать точную ценность манер, эмоций и сетевых сообщений подрывает их подлинность, поскольку спонтанные аффекты и взаимодействия инструментализируются для подсчета рейтинга. Это одна из многих опасностей формализации оценочных критериев в таких неописуемых сферах жизни, как семья, дружба, сообщества и нравы.

Исследователи права уже высказывали опасения в связи с точностью и честностью ССК. Также заметны важные попытки ввести надлежащую правовую процедуру для наград и наказаний, распределяемых этими системами. Но важно заметить, что, если реформаторы будут сосредоточены лишь на легалистских проблемах, в своем стремлении к алгоритмической подотчетности они могут заблудиться в трех соснах. Системы социального кредита – не только правовые проекты, но также культурные и политические. Алгоритмическое правление дает возможность государству и корпорациям (которые часто работают в тандеме) закреплять и подчинять себе репутационные сферы, которые должны быть более децентрализованными и приватными[438]. Оно ведет к тиранической точечности, требовательной и навязчивой[439].

К сожалению, тяга к мониторингу и измерениям не ограничивается ССК. Американские фирмы применяют непрозрачные и неподотчетные варианты ИИ для оценки поведения[440]. Глобальная технообразовательная индустрия требовала бихевиористского тестирования и рейтинга студентов, школ и учителей[441]. Те же технологии мониторинга могут утвердиться в больницах, домах престарелых и яслях. Везде, где превалирует тэйлористское стремление к измерению и управлению, подобные методы могут распространиться. Репутационные валюты перекрещивают подавление в рациональное стимулирование.

Обратить правила судящего ИИ против него самого

Существует огромное множество систем ИИ, которые призваны выставлять баллы, рейтинговать и оценивать людей. Те же, кого искусственный интеллект ставит низко, хотят теперь перевернуть правила игры и заставить его самого соответствовать этическим стандартам. В ССК, финансовых технологиях, анализе лиц и предсказательной полиции ИИ, судящий людей, требует слишком много данных. Он делает непрозрачные, неоправданные или нечестные выводы. Обещая безопасность и инклюзию, он слишком часто создает неустойчивость и стигму. И все это пока еще ущерб на индивидуальном уровне. Столь же важно в долгосрочной перспективе то, что чрезмерные поползновения ИИ грозят подорвать нормы и ценности, на которых держатся наши институты.


Рекомендуем почитать
Закон малинового варенья и еще 103 секрета консалтинга

Джеральд Вайнберг, исходя из своего более чем 50-летнего опыта работы консультантом, делится своими выводами, как запустить и успешно вести свой собственный консалтинговый бизнес. Благодаря использованию юмористичных Правил, Законов и Принципов — таких как Закон малинового варенья, Принцип картофельных чипсов, Правило Руди о брюкве — автор показывает, как, оставаясь самим собой, находить клиентов, завоевывать доверие и устанавливать правильную цену на свои услуги, о которой потом не придется жалеть. Если вы консультант, когда-либо пользовались услугами консультанта или хотите быть одним из них, эта книга будет вам полезна.


Скользящий по лезвию фондового рынка

Джон учитель в средней школе городишка Блусток мечтает сбежать из этого нудного мира на динамичную и ослепительную арену международных финансов. Вместе с Джоном мы начинаем новую карьеру в дилерской фирме «Нью маркет секьюритиз» и наблюдаем, как из наивного стажера он превращается в закаленного трейдера и борется за выживание в беспощадном главном дилинговом зале. Его история наглядный пример опасностей, иллюзий, мечтаний и кошмаров, переживаемых клиентами и дилерами в стремительном мире фондового рынка.Книга «Скользящий по лезвию фондового рынка» в пугающе правдоподобных деталях описывает бизнес, связанный с ценными бумагами.


Понедельник - день тяжелый. Книга-утешение для всех работающих

Перед вами вторая книга Й.Сгрийверса – автора нашумевшего бестселлера «Как быть крысой». Это эссе о тебе и обо мне. Утро понедельника – мы чувствуем, как нас сковывает напряжение. Почему к горлу подступает комок от одной мысли о работе? Это синдром понедельника. Он сигнализирует о том, что в наши дни многие испытывают дискомфорт, связанный с работой. Автор в своей уникальной и яркой манере создает галерею портретов коллег и боссов, среди которых завистливые стервы, мачо, пьяницы, халявщики, реформаторы. Он рассказывает нам о том, как они проникают в наши мозги и вызывают этот синдром понедельника; показывает, как мы попадаем в зависимость от их эмоций, неуемного стремления к деньгам, желания залезть внутрь каждого, а также упорства, с которым они защищают свое кресло или свой отдел от всех и вся.Книга представляет собой средство защиты от тех моментов, когда неприятные стороны жизни наваливаются на вас или приближаются к вам.


Менеджер Мафии. Руководство для корпоративного Макиавелли

Новые главы, новые аксиомы, дополненный словарь, текст, который стал еще более отточенным, изящным, практичным и приземлённым.Яркий фарс, наглядно демонстрирующий, как преуспеть в бизнесе, применяя опыт и понятия итальянской мафии к корпоративному управлению.


Бархатная революция в рекламе

Сегодня на потребителя обрушивается мощный поток рекламной информации. Выбрать между «хорошим» и «лучшим» почти невозможно. Наверное, поэтому все рекламисты мира в один голос отмечают спад эффективности традиционных рекламных подходов.Один из ведущих специалистов по рекламному бизнесу Сержио Зимен предлагает свой революционный взгляд на то, как компании должны строить свою рекламную политику в XXI веке.


Преступные эмбарго (Защита прав на интеллектуальную собственность препятствует распространению наукоемких продуктов, технологий и культурных ценностей)

В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.