Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - [65]
Когда широкий доступ к финансовым услугам становится хищническим и жутким
Расхождение в споре о распознавании и анализе лиц между теми, кто желает увеличить предсказательные способности ИИ, и теми, кто хочет запретить или существенно ограничить его применение, не раз проявлялось не только в праве, но и в финансах. Кредиторы при выдаче кредитов и определении ставок опираются на данные. Они постоянно требуют все больше информации у потенциальных заемщиков, чтобы нарастить предсказательные способности своих алгоритмов. Запрос все большего количества данных может быть настолько назойливым, бесстыдным и спекулятивным, что в нем начинает чувствоваться дегуманизация. Где же провести черту?
Машинное обучение обещает выявить характеристики надежных людей, определяемых по прошлым кредитам, причем эти характеристики могут встречаться и у тех, кому сегодня кредитование недоступно. Например, может статься так, что надежные заемщики обычно спят по меньшей мере семь часов в сутки (что приблизительно измеряется бездействием телефона), в качестве веб-браузера используют Google Chrome и покупают органическую еду. Любая из этих корреляций сама по себе строгой быть не может. Но когда они достигают определенной критической массы, может возникнуть новый динамический профиль надежного заемщика, основанный на больших данных. Микрокредиторы уже используют такие качества, как интернет-активность, для решений по заявкам на кредиты.
Кредиторы говорят, что все эти инновации – достаточная причина для еще большего дерегулирования финансовой отрасли. Зачем беспокоиться о предубеждениях, если ИИ – это просто компьютерная программа, неподвластная человеческим эмоциям и предрассудкам? И зачем пытаться искать потребителей, когда ИИ все лучше и лучше определяет тех, кто может расплатиться по кредиту? По всему миру регулирующие ведомства, поощряемые финансовотехническим утопизмом, ослабляют контроль новых фирм. США и Гонконг ввели «регуляционные песочницы» для финансово-технических фирм, ограничив их контроль. Но это неправильный подход, поскольку применение ИИ в финансовотехнической сфере влечет столько же проблем, как и традиционная оценка платежеспособности, если не больше. Оно ведет к «обществу рейтинга», в котором люди не имеют базовой информации о том, почему их судят именно так[406].
Эти проблемы в абстрактном виде выглядят весьма тревожными. Их конкретные следствия попросту пугают, что было продемонстрировано одним из докладов благотворительной организации Privacy International. Финансово-технические фирмы уже оценивают кредитоспособность на основе политической деятельности, пунктуации и распорядка сна. Как свидетельствует эта организация, «если кредиторы видят в чьем-либо Twitter-аккаунте в Индии признаки политической деятельности, они считают, что такому человеку будет сложнее выплачивать кредит, и не дают его»[407]. Предсказательная аналитика, которая постоянно ищет новые потенциальные корреляции, обнаруживает смысл даже в предельно бытовых действиях: «[Одна фирма] анализирует то, как вы заполняете форму (а не только то, что именно вы в ней пишете), как вы используете веб-сайт, на каком именно устройстве и из какого места»[408]. В Китае распространение «позитивных постов о государстве и о том, как хорошо обстоят дела с экономикой страны, поднимает ваш рейтинг»[409]. По свидетельству некой американской финансово-технической фирмы, одним из предостерегающих знаков является запись фамилии в форму заглавными буквами[410].
Возможно, все мы посылаем «сигналы», которые еще более серьезны. Например, исследователи недавно изучили то, как двигают компьютерной мышью люди, искавшие много информации о болезни Паркинсона в поисковике Bing[411]. Некоторые представители этой группы, в которой, скорее всего, болезнь Паркинсона распространена намного больше, чем среди населения в целом, обычно демонстрировали при движении мышью тремор. Подобные данные о треморе и такие физические характеристики, как скорость печати или движения мышью, – не те действия, по которым нас должны, с нашей точки зрения, судить. По мере составления и анализа все большего числа баз данных будут возникать еще более тонкие сигналы, указывающие на вероятное состояние нашего здоровья в будущем. Чем больше признаков печальной судьбы становится доступно, тем лучше ИИ сможет ее предсказывать.
Возможно, мы согласимся с тем, что нашим врачам такая информация необходима, но нам не нужно, чтобы ее использовали банки, работодатели и все остальные. Жизнь и публичная политика не ограничиваются согласием о трансакциях между заемщиками и финансово-техническими компаниями, обеспечивающим финансовую инклюзию (которая в этой отрасли является общепринятым обоснованием дерегулирования). Если нет подлинных гарантий безопасности, возникнет гонка на понижение – в распространении данных и в то же время в структурировании поведения, когда все больше людей будут конкурировать за лучшие сделки. Это может привести к расцвету хищнической инклюзии (которая больше вредит, чем помогает), жуткой инклюзии (которая предоставляет корпорациям возможность по-вуайеристски заглядывать в наши жизни) и порабощающей инклюзии (которая закрепляет неравенство, заставляя людей сохранять те же паттерны жизни, которые исходно как раз и привели к их отчаянному положению). Законодатели должны затруднять или даже запрещать инклюзию таких типов.
