Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - [59]
Анализ лиц и голосов подрывает также принципы достоинства и автономии. Одно дело, когда ваше резюме анализирует ИИ, и совсем другое – когда о вас судят по непонятным характеристикам вашего поведения и умения себя держать. Я сам выбираю, что включать в резюме; но я не могу определить, не раскрывается ли мой глаз на один лишний миллиметр, когда интервьюер говорит что-то неожиданное. Конечно, собеседования с людьми часто оказываются неловкими и натужными; умелые вруны могут заговорить интервьюера и получить незаслуженную позицию, тогда как другие, более квалифицированные претенденты, – провалиться. И все же чисто механический анализ внешнего вида, осанки и поведения представляется проявлением неуважения. Нам известно, что топ-менеджмент фирмы набирают не так. Почему же подвергать других сотрудников такой бесчеловечной процедуре?
Когда все чаще машины начинают судить людей, возможны по крайней мере четыре разные реакции. Некоторые попытаются найти способ использовать систему, выполнив обратный инжиниринг неявных признаков ловкости, соответствия «духу компании» и любых других характеристик, которые должен предсказывать ИИ. Другая группа попытается повысить точность таких систем; третья, менее значительная, попытается сделать их более справедливыми – техническими методами либо регулированием. Наконец, четвертая группа будет выступать за полный запрет машинных суждений, то есть за то, чтобы в некоторых контекстах они не использовались, или потребует обязательного наличия человека в цепочке решений.
В этой главе основное внимание уделяется двум последним группам – тем, кто хотел бы скорректировать или устранить оценивающий ИИ, который претендует на измерение надежности, кредитоспособности, преступности людей, а также их общего «соответствия» рабочим местам или льготным программам. Машинные суждения о людях очень далеки от распознания изображений в медицине, где все согласны с тем, что усовершенствование технологии действительно служит человечеству[364]. Обнаружение опухоли в легком – совсем не то же самое, что выявление человека, который никуда не годен. Должны ли всевидящие компьютерные глаза усеивать наши школы, улицы и больницы и должны ли они следить за каждым нажатием клавиши – это действительно спорный вопрос. И то же самое можно сказать о новых способах оценки надежности и кредитоспособности, в частности на основе «граничных» данных, собираемых финансово-технологическими стартапами.
Движение в защиту справедливости, подотчетности и прозрачности в машинном обучении предложило много разных способов усовершенствования ИИ, который ныне оценивает человеческие усилия, внимательность, кредитоспособность и достоинство[365]. Но есть немало оснований и для заблаговременного запрета многих подобных технологий, за которым может последовать специальное лицензирование некоторых из них. Например, в целом за школами не должен следить взгляд системы Hikvision (о которой упоминалось в третьей главе), однако мы можем допустить, что она могла бы оказаться полезной в больнице, в которой выявлены случаи злоупотреблений или халатности. Но даже и там следует поставить под вопрос идею компьютерной оценки качества медицинской помощи или квалификации работников. Люди обязаны уделять друг другу внимание и объясняться на человеческом языке, и эту критическую функцию нельзя передать непрозрачному и неподотчетному программному обеспечению.
Привлекательные черты (и опасность) роботизированных суждений
Представьте, что вы получили повестку в суд. Явившись в зал суда, вы обнаруживаете, что там никого нет. Киоск, который там находится, фотографирует вас и выводит на экране инструкцию: вы должны занять место с цифрой 9. Голос из киоска, представляющий собой нечто среднее между голосами Сири и Алексы, заявляет, что ваше дело – девятое по счету. Когда все расселись, звучит объявление: «Всем встать». Занавес в передней части комнаты поднимается и показывает другой экран, с изображением человека в судебной тоге. Лицо судьи – одно из миллионов сфабрикованных лиц, которые порождаются состязательными сетями[366]. Оно составлено на основе изображений судей в выборке из io тыс. фильмов, обычно используемых исследователями ИИ. То есть это ИИ-версия судьи, как он видится при кастинге актеров.
Робот-пристав называет ваше дело, вы выходите за ограждение к стулу и столу, которые установлены для ответчиков. Аватар судьи начинает говорить: «Вы признаны виновным в критической массе правонарушений. Ваш автомобиль по крайней мере десять раз за два последних года превысил допустимую скорость как минимум на пять миль в час. В прошлом году вы нелегально скачали три фильма. На вечеринке вы курили марихуану. Согласно нашему алгоритмическому судебному решению, оптимальным наказанием за этот комплекс правонарушений будет вычитание сорока пунктов из вашего рейтинга, штраф в сумме 5 % от ваших активов и ваше согласие на установку в вашем доме камеры с алгоритмическим мониторингом на следующие шесть месяцев, чтобы вы не смогли снова нарушить закон. Если вы хотите подать апелляцию, пожалуйста, введите основания для апелляции в приложении „Скорое правосудие“, только что загруженном на ваш телефон. Если нет, пожалуйста, выйдите через ту же дверь, через которую вошли, и получите дальнейшие инструкции в автоматическом киоске».
