Технологии против человека - [26]
Станут ли в таком случае цифровые помощники Amazon Echo и Google Home такими же инструментами отречения?
В случае с социальным обеспечением, упомянутым выше, тяга к отречению может привести к тому, что государственные служащие передадут свои обязанности машинам. Представим, что этот воображаемый СоцОбесБот постепенно начинает брать на себя человеческие задачи, потому что он на 90 % дешевле и на 1000 % быстрее. Тогда, даже если он будет только на 90 % точен, правительство, скорее всего, скажет, что он все равно намного лучше справляется с работой.
Следующим шагом вниз по этой нисходящей спирали может стать ухудшение положения оставшихся человеческих работников, пользователей и клиентов системы. Уровень фрустрации будет расти, но мы мало что сможем с этим сделать, потому что система будет намного масштабнее, быстрее, эффективнее нас. Отдельные раздражители можно будет устранить, но мы не сможем перестать пользоваться системой, принимая во внимание ее всеобъемлющее присутствие во всех сферах нашей жизни.
В который раз лучшим примером является Facebook. С одной стороны, нас очень раздражают постоянные уведомления о том, что кто-то из тех людей, которых мы едва помним, сменил статус. В то же время мы не хотим потерять связь с теми, кто действительно важен для нас. Удобство платформы, ее власть и охват лишают нас возможности изменить то, что нас в ней не устраивает.
В итоге превращение реальных людей в цифры, абстрактные данные в рамках проекта по автоматизации социального обеспечения грозит тем, что сама идея помощи людям будет безнадежно извращена и перевернута с ног на голову. Это последний этап, наиболее мрачный из пяти стадий автоматизации, до которого мы можем дойти, если не примем меры в рамках осуществления автоматизации на первых двух стадиях (подчинения и отречения).
Можно лишь надеяться, что эффективно осуществляемая и хорошо спроектированная автоматизация не приведет к таким массовым подавлениям воли и только иногда будет провоцировать приступы раздражения. Однако тот факт, что мы не сможем вовремя понять, что теряем контроль над ситуацией, пока не дойдем до поворотной точки, а потом справиться с ней уже будет не в наших силах, – вызывает беспокойство касательно экспоненциальной автоматизации.
Сложность заключается в том, чтобы соблюсти правильный баланс: что мы можем автоматизировать так, чтобы не произошло замещения машинами ценных человеческих проявлений, таких как разговоры или коммуникационные потоки? Когда вы звоните в колл-центр, чтобы изменить номер рейса, хотите ли вы, чтобы сотрудник проявил понимание и эмпатию по отношению к вам? В большинстве случаев – нет, но иногда это необходимо, например, когда возникает непонимание в рамках вежливого общения. Так, до 90 % колл-центров будут автоматизированы в ближайшие несколько лет, но в некоторых случаях нам все равно нужно будет поговорить с живым человеком. Конкретно в этом случае хорошо спроектированная и регулируемая человеком автоматизация может служить примером позитивного развития, но миллионы рабочих мест так или иначе исчезнут.
Продолжим дискуссию о самом ближайшем будущем… Путешествуя самолетом, можно ли довериться полностью автоматизированной беспилотной кабине? Или же нам будет спокойнее, если пилот все-таки будет присутствовать? Проходя медицинское обследование, хотели бы мы, чтобы к нам проявили «гуманность» и сочувствие, или же нам будет достаточно того, чтобы машина сообщила нам только факты? В случае простуды или проблемы с желудком кажется, что автоматический дистанционный диагноз может быть полезен и вполне приемлем. Однако, когда речь идет о постановке таких серьезных диагнозов, как нервное расстройство, астма или диабет, такая автоматизация безусловно дегуманизирует сферу медицинских услуг.
Автоматизации нельзя сказать «да» или «нет»; на вопросы, связанные с ней, необходимо отвечать постепенно и осторожно, стараясь сохранить баланс и всегда заботясь в первую очередь о человеке. Вопрос заключается не в том, смогут ли и как смогут технологии что-либо автоматизировать, а в том, будет ли это способствовать процветанию человечества. В том, за кого мы болеем: за команду технологий или за команду человечества.
Вместе с вещами, которые подвергаются автоматизации вокруг нас, существует также много вещей, которые могут быть автоматизированы внутри нас и начать оказывать влияние на то, как мы думаем и что мы чувствуем. Подумайте о том, как программы и алгоритмы, умные цифровые помощники, облачные сервисы и роботы, оборудованные ИИ, забирают на себя все больше наших ежедневных дел и как некоторые из нас уже автоматизировали дружбу с помощью социальных сетей и мессенджеров.
Что случится с нашим коллективным разумом, проявляющимся в процессе живого общения, в рамках которого мы учимся, спорим, обсуждаем проблемы, принимаем решения и создаем наши общества и демократические режимы? Как будут формироваться наши решения, если все, что мы видим и слышим друг о друге, будет определяться исключительно алгоритмами, созданными для того, чтобы заставить нас увидеть как можно больше рекламных объявлений, а не людей? Что, если эти инструменты не будут подвергаться общественному контролю, надзору и управлению?.. Будут ли нами управлять машины и алгоритмы, находящиеся в собственности огромных международных интернет-платформ и технологических компаний? Станут ли они «системами виртуального распределения дофамина», запрограммированными на то, чтобы вызвать привыкание и одобрение и достигать максимальных результатов для своих владельцев, рекламщиков и других «шпионов», которые хотят анализировать и использовать наши персональные данные?
