Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - [36]
Образовательным системам также нужно проявлять осторожность при применении технологии в качестве тотальной системы мониторинга. Благонамеренные администраторы снабжают школьников трекерами Fitbit, считающими шаги, и ноутбуками, которые отслеживают движения глаз и подсчитывают секунды, потраченные на каждую задачу и каждый экран. Ставки такого сбора данных весьма велики. Программирование эмоций стремится зафиксировать значение наморщенного лба, приподнятых бровей, улыбок и других ярких признаков внезапно пришедшей идеи или замешательства. Успешные коммерческие фирмы составили базу данных эмоций, связанных с миллионами выражений лиц. Но любой человек, знающий, что, чтобы чувствовать себя лучше, надо «больше улыбаться», в состоянии понять проблемы, порождаемые системой, которая постоянно опознает и записывает внешние признаки эмоциональных состояний.
Можно представить себе, что при наличии достаточных инвестиций и времени мы получим в будущем среду обучения, в которой будут как практически безграничные задания на заучивание, генерируемые ИИ, так и более креативные задачи. Также учителя-роботы всегда будут готовы провести коррекционный урок для исправления ошибок. Однако в этой же перспективе присутствуют скрытые возможности для манипуляций, возникающие благодаря сбору огромного количества данных о детях. Иногда определенные вмешательства нужны; например, Facebook может алгоритмически выявлять посты подростков с суицидальными намерениями и сообщать о них организациям, занимающимся специальной помощью[222]. Но похожие возможности он продавал и рекламодателям, помогая им выявлять детей, которые считают себя «неуверенными» или «никчемными»[223]. Должна быть определенная граница между попытками помочь и научить и тем подозрительным сбором данных и стигматизирующих характеристик, который разрушает доверие. У учеников и родителей всегда должно быть право отказаться от программирования эмоций.
В настоящее время у нас нет ни малейшего представления о том, как фирмы, разрабатывающие образовательные программы и роботов, собирают, анализируют и применяют данные. Способность современных программ машинного обучения записывать все, что говорит ребенок, и все больше персонализировать ответы, провоцируя его смех или озабоченность, вызывая в нем чувство любви или вины, является совершенно новым компонентом в мониторинге учащихся, который если и надо применять на практике, то крайне осторожно. Прежде чем такие образовательные роботы будут внедряться в массовом порядке, следует ответить на базовые вопросы об их возможностях и целях.
Минусы постоянного внимания
Обычно целью мониторинга являются непосредственные и конкретные выгоды, связанные с долгосрочными и менее определенными опасностями[224]. Роботы в школе, как и другие образовательные технологии, обещают уроки с высоким уровнем персонализации. Также аналитика больших данных могла бы значительно сократить издержки. Фирма может предоставлять образовательных роботов учебным заведениям даром, ставя себе долгосрочную цель собрать данные об учащихся и помочь маркетологам и другим специалистам понять их. Критическое значение имеют условия монетизации. Используются ли данные исключительно в контексте образования, в качестве помощи при обучении? Или они могут послужить для составления цифровых досье, в которых учащихся стигматизируют, о чем они сами не знают?
Социолог Эрвин Гоффман ввел понятие «закулисных» пространств, где можно исследовать альтернативные позиции и формы поведения вне поля зрения других[225]. Плохо регулируемые роботизированные системы могут привести к тому, что каждый момент в школе окажется в «зоне переднего плана», как на сцене. Программируются ли образовательные роботы так, чтобы записывать каждый момент, когда в пределах их досягаемости находится ребенок? Оповещают ли они детей или тех, кто рядом с ними, о том, что ведут запись?[226]Многие объединения потребителей жаловались на то, что игрушечные роботы следят за играющими с ними детьми. Если судить по одной петиции, поданной в Федеральную торговую комиссию США, «эти игрушки в силу своего устройства целенаправленно записывают и собирают личные разговоры детей, никак не ограничивая сбор, применение или публикацию этой личной информации»[227]. Как и многие другие условия предоставления услуг, те, что определяют взаимодействие
