Стеклянная клетка. Автоматизация и мы - [23]

Покорность автоматам может поразить не только людей, бороздящих морские и воздушные просторы, но и офисных работников. В исследовании, посвященном влиянию проектных программ на качество строительства, социолог из Массачусетского технологического института Шерри Теркл документально показала связанное с компьютеризацией изменение внимания архитекторов к деталям проектов. Если план здания выполнен от руки, то архитекторы проверяют и перепроверяют его, прежде чем передать строителям. Все прекрасно понимают, что человеку свойственно ошибаться, и поэтому следуют старому, мудрому принципу – семь раз отмерь, один раз отрежь. Если же план выполнен компьютером по заданной программе, то специалисты проверяют его не так придирчиво. Очевидная точность работы программ при расчетах приводит к тому, что эти данные заранее считают верными. «Я хочу сказать, что с моей стороны было бы большой самонадеянностью проверять работу компьютера, – сказала Шерри Теркл. – Он в тысячу раз превосходит меня в точности, выполняя расчеты с погрешностью до сотых долей дюйма». Такая слепая уверенность, характерная для многих инженеров и строителей, не раз приводила к дорогостоящим ошибкам в проектировании и строительстве. Компьютеры не делают глупостей, убаюкиваем мы себя, хотя прекрасно знаем, что качество их работы зависит от качества введенных человеком данных. «Чем совершеннее компьютерная система, – отмечает один из сотрудников Теркл, – тем больше уверенность в том, что она исправит ваши ошибки, и вы начинаете доверять всему, что появляется на экранах и в распечатках. Это какое-то животное чувство» [6].

Пристрастность к компьютерным данным – это оборотная сторона подчинения. Она возникает, когда люди придают неоправданное значение высвечивающейся на экране монитора информации. Даже если она неверна или вводит в заблуждение, люди все равно склонны ей верить. Уверенность в программном обеспечении оказывается настолько сильной, что мы игнорируем или отбрасываем другие источники информации, включая собственные суждения. Если вам когда-нибудь приходилось блуждать по незнакомому району, следуя указаниям неисправного или устаревшего GPS, то, значит, вы тоже пали жертвой пристрастия к данным автоматики. Даже люди, зарабатывающие на жизнь вождением автомобиля, часто проявляют поразительное отсутствие здравого смысла, полагаясь на спутниковые навигационные системы. Игнорируя дорожные знаки и другие значимые признаки, они выбирают опасные маршруты и порой врезаются в низкие эстакады или запутываются в узких улочках маленьких городков. В 2008 году в Сиэтле водитель автобуса высотой в 12 футов (около 4 метров), перевозившего школьную спортивную команду, врезался в пролет моста высотой в 9 футов. Крышу автобуса снесло от удара, в больницу с травмами попал 21 человек. В полиции водитель сказал, что следовал инструкциям навигатора и «не видел» знаки и предупреждающие сигналы о низком мосте [7].

Пристрастное отношение к компьютерным данным особенно рискованно для людей, принимающих решения на основании аналитических и диагностических компьютерных рекомендаций. С конца девяностых рентгенологи стали использовать программное обеспечение для выявления подозрительных очагов, обнаруженных при маммографии и других рентгенологических исследованиях. Цифровая версия изображения передается в компьютер, программа анализирует его и стрелками указывает врачу области рентгенограммы, на которые следует обратить особенно пристальное внимание. В некоторых случаях такие подсказки действительно способствуют верной диагностике, помогая врачу идентифицировать потенциальный рак в случаях, когда иначе он мог бы пропустить опасное заболевание. Проведенные на эту тему исследования показали, однако, что иногда такие подсказки производили абсолютно противоположный эффект. Идя на поводу у машины, врач лишь бегло осматривает другие области снимка и иногда пропускает угрожающую жизни больного опухоль или иную патологию. Подсказки увеличивают частоту ложноположительных результатов интерпретации снимков, приводящей к ненужным биопсиям.

Проведенный недавно группой специалистов Лондонского университета (University of London) анализ данных маммографий указывает на то, что пристрастное отношение рентгенологов и других специалистов по методам визуализации к компьютерным данным оказывает большее влияние на качество диагностики, чем думали раньше. Ученые обнаружили, что, в то время как компьютерная диагностика повышает надежность работы недостаточно опытных специалистов в выявлении сравнительно простых случаев, она же может подвести опытного рентгенолога при оценке сложных случаев. Полагаясь на программу, специалисты с довольно большой вероятностью пропускают некоторые типы рака [8]. Скрытое пристрастие к автоматизации принятия решений может быть обусловлено врожденным свойством когнитивных систем человеческого мозга реагировать на необычные и тревожные стимулы [9]. Направляя наше внимание в определенное русло, компьютерные подсказки искажают зрительное восприятие снимка.

Подчинение и пристрастие в отношении компьютерных данных и автоматизации вообще порождаются ограниченностью нашей способности концентрировать внимание. Тенденция к подчинению говорит о том, насколько легко исчезает наша сосредоточенность и осознание происходящего, когда отпадает необходимость непосредственного взаимодействия с окружающей реальностью. Склонность к пристрастному отношению в оценке компьютерной информации показывает, что внимание сосредоточивается выборочно и его объект может легко смещаться под влиянием достойных доверия подсказок, даже если они оказались ложными. Пристрастие становится все больше по мере того, как повышается надежность и качество автоматизированных систем [10]. Эксперименты показывают, что если система регулярно совершает ошибки, то мы сохраняем бдительность, следя за ее работой, проверяя ее сравнением данных с информацией, полученной из других источников. Но, если система надежна и редко отказывает, мы становимся ленивыми и нелюбопытными, убеждаясь в ее непогрешимости.