Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта [заметки]
1
Полезный обзор максималистских предсказаний дает Кевин Драм, который приходит к выводу, что «какую бы работу ни назвать, роботы смогут ее делать». См.: Kevin Drum, “You Will Lose Your Job to a Robot – and Sooner Than You Think,” Mother Jones, November/ December 2017, at https://www.motherjones.com/politics/2017/1o/ you-will-lose-your-job-to-a-robot-and-sooner-than-you-think/.
2
Экономические смыслы этого нарратива подробно рассматриваются в следующих книгах: Мартин Форд, Роботы наступают: развитие технологий и будущее без работы (Москва: Альпина нон-фикшн, 2016); Jerry Kaplan, Humans Xeed.Not Apply: A Guide to Wealth and Work in the Age of Artificial Intelligence (New Haven: Yale University Press, 2015); Robin Hanson, The Age of Em: Work, Love, and Life When Robots Rule the Earth (Oxford: Oxford University Press, 2016).
3
Eric Brynjolffson and Andrew McAfee, Race against the Machine: How the Digital Revolution Is Accelerating Innovation, Driving Productivity, and Irreversibly Transforming Employment and the Economy (Lexington, MA: Digital Frontier Press, 2014).
4
Айзек Азимов, Хоровод, Чёрный столб (Москва: Знание, 1963). Позже Азимов ввел метапринцип, который он назвал нулевым законом робототехники (утверждающим, что люди не должны вредить человечеству). См.: Айзек Азимов, Миры Азейка Азимова. Кн. 8. Роботы и империя (Рига: Полярис, 1994). Isaac Asimov, Robots and Empire (New York: Doubleday, 1985), 312.
5
Jack Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal 78 (2017): 1, 10. К чести Азимова следует отметить, что он вполне понимал эти двусмысленности и использовал их для создания драматического эффекта в своих рассказах.
6
Эти законы робототехники, как и законы Азимова, служат общим ориентиром, а потому возможны исключения и пояснения. Как хорошо известно специалистам по административному праву, многие нормативы являются не вполне прозрачными и нуждаются в пояснении (а также согласовании с другими, возможно, конфликтующими с ними, законами), предоставляемом специальными агентствами и судами.
7
В этом я следую второму принципу робототехники Исследовательского совета инженерных и физических наук Великобритании (UK EPSRC), которым утверждается, что «ответственность несут люди, а не роботы». См.: Margaret Boden, Joanna Bryson, Darwin Caldwell, Kirsten Dautenhahn, Lillian Edwards, Sarah Kember, Paul Newman et al., Principles of Robotics (2010), https:// epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/ principlesofrobotics/.
8
Государство, гражданское общество, деловые ассоциации и профессиональные общества разрабатывали этические руководства для ИИ; одно из метаисследований подобных руководств см. в: Anna Jobin, Marcello lenca, and Effy Vayena, “The Global Landscape of Ethics Guidelines,” Nature Machine Intelligence i, 389–399 (2019), https://d0i.0rg/10.1038/s42256-019-0088-2. Также появилось много предложений и руководств, составленных регулирующими ведомствами. Согласно Агентству по основополагающим правам ЕС, в странах – членах ЕС насчитывается более 250 инициатив такого рода. Хотя четыре закона робототехники, предложенные в этой книге, не могут, скорее всего, служить основанием для всех этих, весьма разнообразных, документов, они на них в какой-то мере опираются, выделяя ключевые идеи, в которых отражаются общепринятые ценности.
9
Я сосредотачиваюсь на робототехнике, а не роботах, чтобы сделать упор на том, как в социальные системы встраивается технология датчика/процессора/активатора.
10
Harold Wilensky, “The Professionalization of Everyone?” American Journal of Sociology 70, no. 2: 137–158 (ядро профессионального статуса здесь описывается как «успешное притязание на исключительную техническую компетентность и следование идеалу службы»).
11
Эти средства правовой защиты также отражаются в более общей социальной расположенности к ИИ, выполняющему функцию дополнения. См.: The Federal Government of Germany, Artificial Intelligence Strategy 25 (2018), https://ec.europa.eu/knowledge4policy/publication/germany-artificial-intelligence-strategy_en («Потенциал ИИ, способного работать на благо всего общества, заключен в обещанном росте производительности, который должен сочетаться с улучшением ситуации, касающейся рабочей силы, делегированием монотонных или опасных работ машинам, чтобы люди могли сосредоточиться на применении своей креативности в решении проблем»).
12
Lucas Mearian, “A. I. Guardian-Angel Vehicles Will Dominate Auto Industry, Says Toyota Exec,” Computerworld, June 3, 2016.
13
Некоторые формы автопилотирования снижают квалификацию пилотов. См.: Николас Карр, Стеклянная клетка (Москва: КоЛибри, 2015). Но в то же время автопилотирование можно проектировать так, чтобы навыки пилота поддерживались или повышались, что позволит сохранить его профессионализм. См.: Дэвид Минделл, Восстание машин отменяется! Мифы о роботизации (Москва: Альпина нон-фикшн, 2017).
14
Так, даже фирмы, составляющие витрину революции ИИ, в частности Microsoft, утверждают, что их цель «не в том, чтобы заменить людей машинами, а в том, чтобы дополнить человеческие способности безграничной способностью ИИ анализировать огромные объемы данных и находить паттерны, которые в ином случае выявить было бы невозможно». См.: Microsoft, “The Future Computed: Artificial Intelligence and Its Role in Society” (2018), https://blogs.microsoft.com/wp-content/uploads/2018/o2/ The-Future-Computed_2.8.18.pdf.
15
Kate Crawford and Vladan Joler, Anatomy of an Al System (2018), https://anatomyof.ai/.
16
Information Technology Industry Council (ГП), Al Policy Principles Executive Summary 5 (2017), https://www.itic.org/public-policy/ ITIAIPolicyPrinciplesFINAL.pdf.
17
The Agency for Digital Italy, Artificial Intelligence at the Service of Citizens 37, 54, 62 (2018), https://ia.italia.it/assets/whitepaper.pdf. См. также: Artificial Intelligence Industry Alliance (China), Joint Pledge on Artificial Intelligence Industry Self-Discipline (2019), https://www. newamerica.org/cybersecurity-initiative/digichina/blog/translation-chinese-ai-alliance-drafts-self-discipline-joint-pledge/, где утверждается, что развитие ИИ не должно позволить «искусственному интеллекту ослабить или заменить позицию человека».
18
Frank Pasquale, “A Rule of Persons, Not Machines,” George Washington Law Review 87, no. 1 (2019): 1-55.
19
Beijing Academy of Al, Beijing Al Principles (2019), https://www. baai.ac.cn/blog/beijing-ai-principles.
20
Daniella K. Citron and Robert Chesney, “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security,” California Law Review 107 (2019): 1753–1819.
21
European Group on Ethics in Science and New Technologies, European Commission, Statement on Artificial Intelligence, Robotics and ‘Autonomous’ Systems 16 (2018), https://publications.europa.eu/en/publication-detail/-/publication/dfebe62e-4ceg-ne8-beid-oiaa75ed7iai, где цитируется фундаментальный принцип человеческого достоинства. См. также: IEEE, Global Initiative on Ethics of Autonomous and Intelligent Systems, Ethically Aligned Design 39 (1st. ed., 2019), https:// standards.ieee.org/content/ieee-standards/en/industry-connections/ ec/autonomous-systems.html: «Обязанность уважать человеческое достоинство, возможно, потребует определенных ограничений функций и способностей искусственных интеллектов, сузив их возможность заменять людей, человеческие функции и/ или „центральную мыслительную деятельность человека“, примерами которой являются суждение, рассуждение и оценка… Также она, возможно, не позволит ИИ обманывать людей или манипулировать ими».
22
Термин «дети разума» я заимствую у Моравека, хотя у меня совершенно другое представление о будущем робототехники. См.: Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Cambridge, MA: Harvard University Press, 1990).
23
Даже в подобных случаях можно навязать «бремя самострахования». См.: David С. Viadeck, “Machines without Principals: Liability Rules and Artificial Intelligence,” Washington Law Review 89, no. 1 (2014): 117, 150.
24
Термин «потенциально ответственные стороны» опирается на документ: Comprehensive Environmental Response, Compensation, and Liability Act, or CERCLA. 42 U.S.C. § 9607(a) (2012), в котором определяются четыре категории сторон, потенциально связанных обязательствами.
25
Helena Horton, “Microsoft Deletes ‘Teen Girl’ Al after It Became a Hitler-Loving Sex Robot,” Telegraph, March 24, 2017, https://www.telegraph. co.uk/technology/2016/o3/24/microsofts-teen-girl-ai-turns-into-a-hitler-loving-sex-robot-wit/.
26
Различие между закрытой и открытой робототехникой см. в: M. Ryan Calo, “Open Robotics,” Maryland Law Review 70 (2011): 571, 583–591; Diana Marina Cooper, “The Application of a ‘Sufficiently and Selectively Open License’ to Limit Liability and Ethical Concerns Associated with Open Robotics,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 163, 164–165.
27
Staff of the US Securities and Exchange Commission and Staff of the US Commodity Futures Trading Commission, Joint Study on the Feasibility of Mandating Algorithmic Descriptions for Derivatives (April 2011), 16, 16П77, 24, https://www.sec.gov/news/studies/2011/719b-study.pdf.
28
John Markoff, “The Creature That Lives in Pittsburgh,” New York Times, April 21, 1991, http://www.nytimes.com/1991/04/21/business/ the-creature-that-lives-in-pittsburgh.html?pagewanted=all; Rodney Brooks, Flesh and Machines: Ноъо Robots Will Change Us (New York: Pantheon, 2002).
29
См.: Джон Маркофф, Homo Roboticus?Люди и машины в поисках взаимопонимания (Москва: Альпина нон-фикшн, 2017), где описывается первопроходческая работа в области ИИ Дага Энгельбарта и многих его последователей. См. также: Doug Engelbart, Augmenting Human Intellect: A Conceptual Framework (Washington, DC: Air Force Office of Scientific Research, 1962).
30
Marc Andreessen, “Why Software Is Eating the World,” Wall Street Journal, August 20, 2011, https://www.wsj.com/articles/SB1ooo1424053111903480904576512250915629460..
31
Ryan Calo, “Robotics and the Lessons of Cyberlaw,” California Law Review 103, no. 3 (2015): 513–563.
32
Ian Kerr, “Bots, Babes and the Californication of Commerce,” Ottawa Law and Technology Journal 1 (2004): 285–325.
33
Rachel Lerman, “Be Wary of Robot Emotions; ‘Simulated Love Is Never Love,’ ” Phys.org, April 26, 2019, https://phys.org/news/2019-04-wary-r0b0t-em0ti0ns-simulated.html.
34
Natasha Dow Schull, Addiction by Design: Machine Gambling in Las Vegas (Princeton: Princeton University Press, 2014); Ryan Calo, “Digital Market Manipulation,” George Washington Law Review 82 (2014): 995; Neil Richards, “The Dangers of Surveillance,” Harvard Law Review 126 (2019): 1934.
35
Mark Andrejevic, “Automating Surveillance,” Surveillance and Society 17 (2019): 7.
36
Neil Selwyn, Distrusting Educational Technology: Critical Questions for Changing Times (New York: Routledge, 2014).
37
Laurence H. Tribe, Channeling Technology through Law (Chicago: Bracton, 1973).
38
Deborah G. Johnson, “The Role of Ethics in Science and Technology,” Cell 29 (2010): 589–590; Deborah G.Johnson, “Software Agents, Anticipatory Ethics, and Accountability,” in “The Growing Gap between Emerging Technologies and Legal-Ethical Oversight, eds. Gary E. Marchant, Braden R. Allenby, and Joseph R. Herkert (New York: Spring, 2011), 61–76; Ari Ezra Waldman, Privacy as Trust (Oxford: Oxford University Press, 2018).
39
Mary Flanagan and Helen Nissenbaum, Values at Play in Digital Games (Cambridge, MA: MIT Press, 2014).
40
См., например: Ann Cavoukian, “Privacy by Design: The 7 Foundational Principles,” Office of the Information and Privacy Commissioner of Canada (2009).
41
Дополнительную информацию по вопросам конфиденциальности, возникающим в связи с роботами и предсказательной аналитикой, см. в: Drew Simshaw, Nicolas Terry, Kris Hauser, and M. L. Cummings, “Regulating Healthcare Robots: Maximizing Opportunities while Minimizing Risks,” Richmond Journal of Law and Technology 27, no. 3 (2016): 1-38, 3. Об интеграции права и принципов проектирования с целью эффективного извещения см.: Ari Ezra Waldman, “Privacy, Notice, and Design,” Stanford Technology Law Review 21, no. 1 (2018): 129–184.
42
Эту стратегию аргументации Хуфнегл называет «карточной колодой отрицателей». См.: Christopher Jay Hoofnagle, “The Denialists’ Deck of Cards: An Illustrated Taxonomy of Rhetoric Used to Frustrate Consumer Protection Efforts,” ScienceBlogs, February 9, 2007, https:// scienceblogs.com/denialism/the- denialists- deck- of- cards.
43
Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622; Peter Asaro, “Jus Nascendi, Robotic Weapons and the Martens Clause,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 367–386.
44
Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622.
45
См., например: Kenneth Anderson and Matthew C. Waxman, “Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work and How the Laws of War Can,” Hoover Institution Stanford University Task Force on XationalSecurity and Law (2013), где дается ответ на кампанию «Остановить роботов-убийц» (Campaign to Stop Killer Robots).
46
P. W. Singer, Wiredfor War: The Robotics Revolution and Conflict in the 21st Century (New York: Penguin, 2009), 435.
47
Ray Kurzweil, The Age of Spiritual Machines (New York: Penguin, 1999).
48
Rebecca Crootof, “A Meaningful F100r for Meaningful Human Control,” Temple International and Comparative Law Journal 30 (2016): 53–62; Paul Scharre, “Centaur Warfighting: The False Choice of Humans vs. Automation,” Temple International and Comparative Law Journal 30 (2016): 151–166.
49
Jeffrey L. Caton, Autonomous Weapon Systems: A Brief Survey of Developmental, Operational, Legal, and Ethical Issues (Carlisle, PA: US Army War College Press, 2015); Liang Qiao and Xiangsui Wang, Unrestricted Warfare: China’s Master Plan to Destroy America, trans. Al Santoli (Panama City: Pan American Publishing, 2000).
50
Проекты по анализу лиц, упомянутые в этом абзаце, критикуются в работе: Frank Pasquale, “When Machine Learning is Facially Invalid,” Communications of the ACM 61, no. 9 (2018): 25–27.
51
David Castlevecchi, “Can We Open the Black Box of Al?” Scientific American, October 5, 2016, https://www.scientificamerican.com/ article/can-we-open-the-black-box-of-ai/.
52
Jennifer Kavanagh and Michael D. Rich, Truth Decay: An Initial Exploration of the Diminishing Role of Facts and Analysis in American Public Life, Santa Monica, CA: RAND Corporation, 2018, https://www.rand. org/pubs/research_reports/RR23i4.html; Alice Marwick and Rebecca Lewis, Media Manipulation and Disinformation Online (New York: Data and Society, 2017), https://datasociety.net/pubs/oh/DataAndSocie-ty_MediaManipulationAndDisinformationOnline.pdf.
53
О различии между речью и поведении см., например: Claudia Haupt, “Professional Speech,” Yale Law Journal 125, no. 5 (2016): 1238–1303.
54
Как показывает Джил Эйал, экспертные знания вполне могут существовать вне эксперта, не только в виде набора пропозиционально выраженных знаний, но и в качестве институтов. См.: Gil Eyal, The Crisis of Expertise (Medford, MA: Polity Press, 2019).
55
Alex (Sandy) Pentland, Honest Signals: How They Shape Our World (Cambridge, MA: MIT Press, 2008), где обсуждаются социометрические индикаторы.
56
См.: Andrew Abbott, The System of Professions: An Essay on the Division of Expert Labor (Chicago: University of Chicago Press, 2014); Eliot Freidson, Professionalism, The Third Logic: On the Practice of Knowledge (Chicago: University of Chicago Press, 2001).
57
Подробное обсуждение «автоматизации добродетели» см. в: Ian Kerr, “Digital Locks and the Automation of Virtue,” in From Radical Extremism to Balanced Copyright: Canadian Copyright and the Digital Agenda, ed. Michael Geist (Toronto: Irwin Law, 2010), 247–303.
58
Hope Reese, “Updated: Autonomous Driving Levels о to 5: Understanding the Differences,” TechRepublic, January 20, 2016, http:// www.techrepublic.com/article/autonomous-driving-levels-o-to-5-understanding-the-differences/.
59
Кэти О’Нил, Убийственные большие данные: как математика превратилась в оружие массового поражения (Москва: ACT, 2018); Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information (Cambridge, MA: Harvard University Press, 2015); Da-nah Boyd and Kate Crawford, “Critical Questions for Big Data: Provocations for a Cultural, Technological, and Scholarly Phenomenon.” Information, Communication, and Society 15, no. 5 (2012): 662–679.
60
Bryant Walker Smith, “How Governments Can Promote Automated Driving,” New Mexico Law Review 47 (2017): 99-138.
61
Ibid., 114.
62
Я привожу здесь лишь очевидные примеры. Подробное описание будущей работы, сосредоточенное в основном на приспособлении к новой технологии, см. в: Thomas Frey, “55 Jobs of the Future,” Futurist Speaker, November 11, 2011, http://www.futu-ristspeaker.com/business-trends/55-jobs-of-the-future/.
63
US Department of Transportation, Federal Automated Vehicles Policy: Accelerating the Next Revolution in Roadway Safety (September 2016), 9, https://www.transportation.gov/AV/federal-automated-vehicles-policy-september-2016.
64
Критическую роль будут играть правила, определяющие ответственность. См.: Marc Canellas and Rachel Haga, “Unsafe at Any Level: The U. S. NHTSA’s Levels of Automation Are a Liability for Automated Vehicles,” Communications of the ACM 63, no. 3 (2020): 31–34.
65
Чисто технологические проблемы тоже не так-то просто решить. См.: Roberto Baldwin, “Self-Driving Cars are Taking Longer to Build Than Everyone Thought,” Car and Driver, May 10, 2020, https://www.caranddriver.com/features/a32266303/self-driving-cars-are-taking-longer-to-build-than-everyone-thought/.
66
Al Now Institute, Al Now 201g Report, December 2019, 8, 45–47, https://ainowinstitute.org/AI_Now_2019_Report.pdf.
67
Henry Mance, “Britain Has Had Enough of Experts, says Gove,” Financial Times, June 3, 2016, https://www.ft.com/ content/3be49734-29cb-ne6-83e4-abc22d5dio8c.
68
Gil Eyal, The Crisis of Expertise (Cambridge, UK: Polity Press, 2019), 20.
69
По воспоминаниям генерала Рэймонда Томаса (Главное управление войск специального назначения США), который упомянул, что это было сказано ему в июле 2016 г. Эриком Шмидтом, председателем правления Google. См.: Kate Conger and Cade Metz, “ T Could Solve Most of Your Problems’: Eric Schmidt’s Pentagon Offensive,” Xew York Times, May 2, 2020, https://www.nytimes. com/2020/05/02/technology/eric-schmidt-pentagon-google.html.
70
Will Davies, “Elite Power under Advanced Neoliberalism,” Theory, Culture and Society 34, nos. 5–6 (2017): 233.
71
Я считаю, что эта интеграция демократических и экспертокра-тических ценностей может стать ключом к решению проблемы разделения между «диггерами» и «левеллерами» в исследованиях науки и технологии, которую отчетливо сформулировал Филип Мировски в своей недавней работе: Philip Mirowski, “Democracy, Expertise and the Post-truth Era: An Inquiry into the Contemporary Politics of STS,” (working paper, version 1.1, April 2020), https://www.academia.edu/42682483/Democracy_Expertise_ and_the_Post-Truth_Era_An_Inquiry_into_the_Contemporary_ Politics_of_STS.
72
Hubert L. Dreyfus, What Computers Still Can’t Do (Cambridge, MA: MIT Press, 1992).
73
Gert Р. Westert, Stef Groenewoud, John E.Wennberg, Catherine Gerard, Phil DaSilva, Femke Atsma, and David 0. Goodman, “Medical Practice Variation: Public Reporting a First Necessary Step to Spark Change,” International Journal for Quality in Health Care 30, no. 9 (2018): 731–735, https://doi.org/1o.1093/intqhc/mzyo92.
74
Anna B. Laakmann, “When Should Physicians Be Liable for Innovation?” Cardozo Law Review 36 (2016): 913–968.
75
Andy Kiersz, “These Are the Industries Most Likely to Be Taken Over by Robots,” World Economic Forum, April 25, 2019, https://www. weforum.org/agenda/2019/o4/these-are-the-industries-most-likely-to-be-taken-over-by-robots; Andrew Berg, Edward F. Buffie, and Luis-Felipe Zanna, “Should We Fear the Robot Revolution? (The Correct Answer Is Yes),” IMF Working Paper WP/18/116, May 21, 2018, https://www.imf.org/en/Publications/WP/Issues/2018/o5/21/Should-We-Fear-the-Robot-Revolution-The-Correct-Answer-is-Yes-44923.
76
Петро Домингос, Верховный алгоритм: как машинное обучение изменит наш мир (Москва: Манн, Иванов и Фербер, 2016).
77
Hugo Duncan, “Robots to Steal 15 Million of Your Jobs, Says Bank Chief: Doom-Laden Carney Warns Middle Classes Will Be ‘Hollowed Out’ by New Technology,” Daily Mail, December 5, 2008, http://www. dailymail.co.uk/news/article-4oo3756/Robots-steal-15m-jobs-says-bank-chief-Doom-laden-Carney-warns-middle-classes-hollowed-new-technology.html#ixzz4SDCt2Pql.
78
См., например: Clayton M.M. Christensen, Curtis W. Johnson, and Michael B. Horn, Disrupting Class (New York: McGraw-Hill, 2008); and Clayton M. Christensen, Jerome Grossman, and Jason Hwang, The Innovator’s Prescription: A Disruptive Solution for Health Care (New York: McGraw-Hill, 2009), где исследуются прорывные инновации в области здравоохранения.
79
Kenneth Scheve and David Stasavage, Taxing the Rich: A History of Fiscal Fairness in the United States and Europe (Princeton: Princeton University Press, 2016).
80
Alondra Nelson, “Society after Pandemic,” Items: Insights from the Social Sciences, April 23, 2020, at https://items.ssrc.org/covid-19-and-the-social-sciences/society-after-pandemic/. Джон Ури также утверждает, что «исследования будущего должны стать частью социальных наук, а также в определенной мере – частью повседневной жизни». См.: Джон Урри, Как выглядит будущее? (Москва: Издательский дом «Дело» РАНХиГС, 2018), Urry, What Is the Future? (Malden: Polity, 2016), 17–18.
81
Джозеф Вейценбаум, Возможности вычислительных машин и человеческий разум: от суждений к вычислениям (Москва: Радио и связь, 1982).
82
Aaron Smith and Monica Anderson, Automation in Everyday Life (Washington, DC: Pew Research Center, October 4, 2017), https:// www.pewinternet.org/2017/1o/o4/automation-in-everyday-life/.
83
Представление о телах как «оболочке» разума позаимствовано из работы: Richard К. Morgan, Altered Carbon (New York: Ballantine), 2003. Сама тема быстрого развития технологий медицинской помощи стареющим или отсрочки старости распространена в медицинском футуризме. См.: Aubrey De Grey, Ending Aging: The Rejuvenation Breakthroughs That Could Reverse Human Aging in Our Lifetime (New York: St. Martin’s, 2008).
84
Прекрасный обзор проблем права и планирования, который содержит более реалистичный подход, см. в: Ian Kerr and Jason Millar, “Robots and Artificial Intelligence in Healthcare” in Canadian Health Law & Policy, eds. Joanna Erdman, Vanessa Gruben and Erin Nelson (Ottawa: Lexis Nexis: 2017), 257–280.
85
Недостаточность данных во многих системах здравоохранения была наглядно продемонстрирована во время пандемии Covid в 2020 г., когда даже богатые нации не обладали инструментами тестирования, которые бы позволили понять величину и серьезность проблемы.
86
Sarah L. Cartwright and Mark P. Knudson, “Evaluation of Acute Abdominal Pain in Adults,” American Family Physician 77 (2008): 971-978.
87
Sharifa Ezat Wan Puteh and Yasmin Almualm, “Catastrophic Health Expenditure among Developing Countries,” Health Systems Policy and Research 4, no. 1 (2017), doi:10.21767/2254–9137.100069; Daniel Callahan and Angela A. Wasunna, “The Market in Developing Countries: An Ongoing Experiment,” in Medicine and the Market: Equity v. Choice (Baltimore: The Johns Hopkins University Press, 2006), 117.
88
Veronica Pinchin, “I’m Feeling Yucky: Searching for Symptoms on Google,” Keyword, June 20, 2016, https://googleblog.blogspot.com/2016/06/im-feeling-yucky-searching-for-symptoms.html.
89
Kelly Reller, “Mayo Assists Google in Providing Quick, Accurate Symptom and Condition Information,” Mayo Clinic, June 21, 2016, http://newsnetwork.mayoclinic.org/discussion/mayo-clinic-assists-google-in-providing-quick-accurate-symptom-and-related-condition-information/.
90
Ian Steadman, “IBM’s Watson Is Better at Diagnosing Cancer than Human Doctors,” Wired, February n, 2013, http://www.wired.co.uk/article/ibm-watson-medical-doctor.
91
Ajay Agrawal, Joshua Gans, and Avi Goldfarb, Prediction Machines: The Simple Economics of Artificial Intelligence (Cambridge, MA: Harvard Business Review Press, 2018).
92
Например, система «зрения» беспилотного автомобиля может интерпретировать знак «стоп» как «45 миль в час», если на знак наклеить несколько кусков ленты. См.: Kevin Eykholt, Ivan Evti-mov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, et al., “Robust Physical-World Attacks on Deep Learning Visual Classification,” arXiv:17O7.o8945v5 [cs.CR] (2018).
93
Eric Topol, Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (New York: Basic Books, 2019).
94
Kim Saverno, “Ability of Pharmacy Clinical Decision-Support Software to Alert Users about Clinically Important Drug-Drug Interactions,” Journal of American Medical Informatics Association 18, no. 1 (2011): 32–37.
95
Lorenzo Moja, “Effectiveness of Computerized Decision Support Systems Linked to Electronic Health Records: A Systematic Review and Meta-Analysis,” American Journal of Public Health 104 (2014): ei2-e22; Mariusz Tybinski, Pavlo Lyovkin, Veronika Sniegirova, and Daniel Kopec, “Medical Errors and Their Prevention,” Health 4 (2012): 165–172.
96
Committee on Patient Safety and Health Information Technology Board on Health Care Services, Health IT and Patient Safety: Building Safer Systems for Better Care (Washington, DC: The National Academies Press, 2012), 39.
97
Lorenzo Moja, Koren Hyogene Kwag, Theodore Lytras, Lorenzo Ber-tizzolo, Linn Brandt, Valentina Pecoraro et al., “Effectiveness of Computerized Decision Support Systems Linked to Electronic Health Records: A Systematic Review and Meta-Analysis,” American Journal of Public Health 104 (2014): ei2-e22. См. также: Elizabeth Murphy, “Clinical Decision Support: Effectiveness in Improving Quality Processes and Clinical Outcomes and Factors that May Influence Success,” Yale Journal of Biology and Medicine 87 (2014): 187–197, где показано уменьшение риска на 41 % в таких ситуациях, как тромбоз глубоких вен и эмболия легочной артерии.
98
В частности, если говорить о субсидиях, в США некоторые субсидированные поставщики должны применять СППКР для проверки взаимодействий лекарств или вероятности аллергии. См., например: Health Information Technology for Clinical and Economic Health Act, 42 U.S.C. § 30033(13) (2009), где утверждается, что «квалифицированные электронные медицинские записи» должны быть наделены способностью «предоставлять помощь в принятии клинических решений»; см. также: 45 C.F.R. § 170.314 (2015); Medicare and Medicaid Programs; Electronic Health Record Incentive Program – Stage 3 and Modifications to Meaningful Use in 2015 through 2017, 80 Fed. Reg. 62761, 62838 (October 16, 2015)-
99
M. Susan Ridgely and Michael D. Greenberg, “Too Many Alerts, Too Much Liability: Sorting through the Malpractice Implications of Drug-Drug Interaction Clinical Decision Support,” St. Louis University Journal of Health Law & Policy 5, no. 2 (2012): 257, 274. Регулирующие ведомства co временем обратят внимание на «врачей с высокой степенью игнорирования предложенных рекомендаций», чтобы выяснить, в чем проблема: в СППКР или в суждении самого врача? См.: Karen С. Nanji, Sarah Р. Slight, Diane L. Seger, In-sook Cho, Julie M. Fiskio, Lisa M. Redden, Lynn A. Volk, and David W. Bates, “Overrides Of Medication-Related Clinical Decision Support Alerts in Outpatients, "Journal of American Medical Informatics Association 21, no. 3 (2014): 487–491.
100
A. Michael Froomkin, Ian Kerr, and Joelle Pineau, “When AIs Outperform Doctors: Confronting the Challenges of a Tort-Induced OverReliance on Machine Learning,” Arizona Law Review 61 (2019): 33-100.
101
В случае распознания лиц есть хорошо описанный сбой систем ИИ, которые плохо распознают лица цветных людей. См.: Joy Buolamwini, “Actionable Auditing: Coordinated Bias Disclosure Study,” MIT Civic Media Project, https://www.media.mit.edu/pro-jects/actionable-auditing-coordinated-bias-disclosure-study/over-view/. Эти сбои служат параллелью к расовым неравенствам в американском здравоохранении. См.: Dayna Bowen Matthew, Just Medicine: A Cure for Racial Inequality in American Health Care (New York: New York University Press, 2015).
102
Ziad Obermeyer, Brian Powers, Christine Vogeli, and Sendhil Mul-lainathan, “Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations,” Science 366 no. 6464 (2019): 447–453; Ruha Benjamin, “Assessing Risk, Automating Racism,” Science 366, no. 6464 (2019): 421–422. Существует много способов сократить подобные формы неравенства. См.: Frank Pasquale and Danielle Keats Citron, “Promoting Innovation while Preventing Discrimination: Policy Goals for the Scored Society,” Washington Law Review 89 (2014): 1413–1424.
103
Adewole S. Adamson and Avery Smith, “Machine Learning and Health Care Disparities in Dermatology,” JAMA Dermatology 154, no. 11 (2018): 1247. Подобная нехватка вариантов вредит также и генетическим исследованиям. См.: Alice В. Popejoy, Deborah I. Ritter, Kristy Crooks, Erin Currey, Stephanie M. Fullerton, Lucia A. Hin-dorff, Barbara Koenig, et al., “The Clinical Imperative for Inclusivity: Race, Ethnicity, and Ancestry (REA) in Genomics,” Human Mutation 39, no. 11 (2018): 1713–1720.
104
Tom Baker, The Medical Malpractice Myth (Chicago: University of Chicago Press, 2005); Alex Stein, “Toward a Theory of Medical Malpractice,” Iowa Law Review 97 (2012): 1201–1258.
105
Мередит Бруссард, Искусственный интеллект: пределы возможного (Москва: Альпина нон-фикшн, 2020), 53.
106
LeighAnne Olsen, J. Michael McGuinnis, and Dara Alsner, eds., Learning Healthcare System: Workshop Summary (Washington, DC: Institute of Medicine, 2007).
107
См., например: Eric Topol, Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (New York: Basic Books, 2019), где выражается озабоченность «недобросовестным отбором результатов и недостаточной воспроизводимостью»; Matthew Zook, Solon Barocas, danah boyd, Kate Crawford, Emily Keller, Seeta Pena Gangadharan, Alyssa Goodman et al., “10 Simple Rules for Responsible Big Data Research,” PLoS Computational Biology 13, no. 3 (2017): Ш005399, где формулируются подобные ограничения; Danah Boyd and Kate Crawford, “Critical Questions for Big Data,” Journal of Information, Communication and Society 15 (2012): 662–679.
108
Кэролайн Криадо Перес, Невидимые женщины: почему мы живем в мире, удобном только для мужчин. Неравноправие, основанное на данных (Москва: Альпина нон-фикшн, 2020).
109
Там же, 314.
110
Jack Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal 78 (2017): 1, 40.
111
Nathan Cortez, “The Mobile Health Revolution?” University of California at Davis Law Review 47 (2013): 1173–1230.
112
Wendy Wagner, “When All Else Fails: Regulating Risky Products through Tort Regulation,” Georgetown Law Journal 95 (2007): 693, 694.
113
Ibid.
114
John Villasenor, Products Liability and Driverless Cars: Issues and Guiding Principles for Legislation (Brookings Institution, 2014), https://www. brookings.edu/wp-content/uploads/2016/o6/Products_Liability_ and_Driverless_Cars.pdf.
115
Martha Т. McCluskey, “Defining the Economic Pie, Not Dividing or Maximizing It,” Critical Analysis of Law 5, no. 1 (2018): 77–98; Mariana Mazzucato, “The Value of Everything: Making and Taking in the Global Economy (New York: Hachette, 2018).
116
См., например: Tunkl v. Regents of the University of California, 383 P. 2d 441 (Cal. 1963), а также последующие судебные процессы в том же ряду.
117
Margaret Jane Radin, Boilerplate: The Fine Print, Vanishing Rights, and the Rule of Law (Princeton: Princeton University Press, 2012).
118
О переносе расходов на страховщиков писали многие комментаторы. См., например: Jacob Turner, Robot Rules: Regulating Artificial Intelligence (Cham, Switzerland: Palgrave MacMillan, 2019), 115.
119
National Academy of Sciences, Best Care at Lower Cost: The Path to Continuously Learning Health Care in America (Washington, DC: National Academies Press, 2013).
120
Frank Pasquale, “Health Information Law,” in The Oxford Handbook ofU. S. Health Law, eds. I. Glenn Cohen, Allison Hoffman, and William M. Sage (New York: Oxford University Press, 2016), 193–212; Sharona Hoffman, Electronic Health Records and Medical Big Data: Law and Policy (New York: Cambridge University Press, 2016).
121
Steven E. Dilsizian and Eliot L. Siegel, “Artificial Intelligence in Medicine and Cardiac Imaging: Harnessing Big Data and Advanced Computing to Provide Personalized Medical Diagnosis and Treatment,” Current Cardiology Reports 16 (2014): 441, 445.
122
Melissa F. Hale, Mark E Mcalindon, and Reena Sidhu, “Capsule Endoscopy: Current Practice and Future Directions,” World Journal of Gastroenterology 20 (2014): 7752.
123
James Н. Thrall, “Data Mining, Knowledge Creation, and Work Process Enhancement in the Second Generation of Radiology’s Digital Age,” Journal of the American College of Radiology 10 (2013): 161–162.
124
Simon Head, Mindless: Why Smarter Machines Are Making Dumber Humans (New York: Basic Books, 2014).
125
Nina Bernstein, “Job Prospects Are Dimming for Radiology Trainees,” Kew York Times, March 27, 2013, http://www.nytimes.com/2013/03/28/ health/trainees-in-radiology-and-other-specialties-see-dream-jobs-disappearing.html?pagewanted=all&_r=i&; European Society of Radiology, “The Consequences of the Economic Crisis in Radiology,” Insights into Imaging 6, no. 6 (2015): 573–577.
126
Giles W. L. Boland, “Teleradiology Coming of Age: Winners and Losers,” American Journal of Roentgenology 190 (2008): 1161.
127
Стратеги в этой области фокусировались на сокращении расходов, а не на инвестициях в развитие. Профессиональный взгляд на меняющуюся экономику рентгенографии см. в: Frank Levy and Max P. Rosen, “How Radiologists Are Paid: An Economic History, Part IV: End of the Bubble,” Journal of the American College of Radiology (2020), https://d0i.0rg/10.1016/j.jacr.2020.02.016.
128
Sharona Hoffman, “The Drugs Stop Here,” Food and Drug Law Journal 67, no. 1 (2012): 1.
129
Gerd Gigerenzer, Wolfgang Gaissmaier, Elke Kurz-Milcke, Lisa M. Schwartz, and Steven Woloshin, “Helping Doctors and Patients Make Sense of Health Statistics,” Psychological Science in the Public Interest 8 (2008): 53. В этой статье критикуется недостаточная образованность врачей в области статистики и особенно незнание такого важного в медицине показателя, как «число пролеченных больных на одного излеченного».
130
Geoff White, “Child Advice Chatbots Fail to Spot Sexual Abuse,” BBCKews, December 11, 2018, https://www.bbc.com/news/technology-46507900.
131
Dinesh Bhugra, Allan Tasman, Sounitra Pathare, Stefan Prebe, Shu-balade Smith, John Torous, Melissa Arbuckle et al., “The WPA Lancet Psychiatry Commission on the future of Psychiatry,” The Lancet Psychiatry 4, no. 10 (2017): 775–818.
132
Обзор проблем, связанных с конфиденциальностью, см. в: Piers Gooding, “Mapping the Rise of Digital Mental Health Technologies: Emerging Issues for Law and Society,” International Journal of Law and Psychiatry (2019): 1-11. Ключевой проблемой в США является то, что «в отличие от лицензированных специалистов, предоставляющих услуги в области традиционной психиатрии и психологии, чат-боты не несут никаких обязательств хранить конфиденциальность». См.: Scott Stiefel, “The Chatbot Will See You Now: Protecting Mental Health Confidentiality in Software Applications,” Columbia Science and Technology Law Review 20 (2019): 333–387.
133
Например, австралийские исследователи пришли к выводу, что «коммерческие агенты, включая крупных продавцов приложений и коммерческие третьи стороны, редко участвовали в официальных инициативах, несмотря на то что они оказывают значительное влияние на опыт пользователей и их результаты». См.: Lisa Parker, Lisa Вего, Donna Gillies, Melissa Raven, and Quinn Grundy, “The ‘Hot Potato’ of Mental Health App Regulation: A Critical Case Study of the Australian Policy Arena,” International Journal of Health Policy and Management 8 (2019): 168–176.
134
Simon Leigh and Steve Flatt, “App-Based Psychological Interventions: Friend or Foe?” Evidence Based Mental Health 18 (2015): 97–99.
135
Jack M. Balkin, “Information Fiduciaries and the First Amendment,” UC Davis Law Review 49 (2016): 1183–1234.
136
Maurice E. Stucke and Ariel Ezrachi, “Alexa et al., What Are You Doing with My Data?” Critical Analysis of Law 5 (2018): 148–169; Theodore Lee, “Recommendations for Regulating Software-Based Medical Treatments: Learning from Therapies for Psychiatric Conditions,” Food and Drug Law Journal 73 (2018): 66-102. Качественный общий анализ проблем доверия и конфиденциальности см. в: Ari Ezra Waldman, Privacy as Trust (Cambridge, UK: Cambridge University Press, 2018).
137
Daniel Carpenter, Reputation and Power: Organizational Image and Pharmaceutical Regulation at the FDA (Princeton: Princeton University Press, 2010).
138
Jennifer Akre Hill, “Creating Balance: Problems with DSHEA and Suggestions for Reform,” Journal of Food Law & Policy 2 (2006): 361–396; Peter J. Cohen, “Science, Politics, and the Regulation of Dietary Supplements: It’s Time to Repeal DSHEA,” American Journal of Law & Medicine 31 (2005): 175–214.
139
Джозеф Вейценбаум, Возможности вычислительных машин и человеческий разум: от суждений к вычислениям (Москва: Радио и связь, 1982), 27–28.
140
Enrico Gnaulati, Saving Talk Therapy: How Health Insurers, Big Pharma, and Slanted Science Are Ruining Good Mental Health Care (Boston: Beacon Press, 2018).
141
Elizabeth Cotton, “Working in the Therapy Factory,” Healthcare: Counselling and Psychotherapy Journal 20, no. 1 (2020): 16–18; Catherine Jackson and Rosemary Rizq, eds., The Industrialisation of Care: Counselling, Psychotherapy and the Impact of IAPT (Monmouth, UK: PCCS Books, 2019).
142
Peter Kramer, Against Depression (New York: Viking, 2005).
143
См., например: Йоханн Хари, Пункт назначения: счастье. Как путешествие длиною 40 ооо миль раскрыло реальные причины депрессии (Москва: Эксмо, 2019).
144
Frank A. Pasquale, “Privacy, Autonomy, and Internet Platforms,” in Privacy in the Modern Age: The Search for Solutions, ed. Marc Rotenberg, Julia Horwitz, and Jeramie Scott (New York: New Press, 2015), 165-173-
145
Также имеют значение режимы трудового права. Французские схемы защиты интересов рабочих закладывают более надежное основание для инициатив, связанных с охраной здоровья на рабочем месте, если сравнивать с правом в США. См.: Julie С. Suk, “Preventive Health at Work: A Comparative Approach,” American Journal of Comparative Law 59, no. 4 (2011): 1089–1134.
146
Natasha Dow Schilli, Addiction by Design: Machine Gambling in Law Vegas (Princeton: Princeton University Press, 2014).
147
Gordon Hull and Frank Pasquale, “Toward a Critical Theory of Corporate Wellness,” Biosocieties 13 (2017): 190–212; Уильям Дэвис, Индустрия счастья. Как Big Data и новые технологии помогают добавить эмоцию в товары и услуги (Москва: Эксмо, 2017).
148
Martha Nussbaum, Upheavals of Thought: The Intelligence of Emotions (New York: Cambridge University Press, 2001), 22.
149
Дэвис, Индустрия счастья.
150
Dayna Matthew, Just Medicine: A Cure for Racial Inequality in American Health Care (New York: New York University Press, 2015).
151
Frank Pasquale, “Professional Judgment in an Era of Artificial Intelligence,” boundary2 46 (2019): 73-101.
152
Brett Frischmann and Evan Selinger, Re-engineering Humanity (New York: Cambridge University Press, 2018).
153
Larissa MacFarquhar, “A Tender Hand in the Presence of Death,” Kew Yorker, July 11, 2016, http://www.newy0rker.com/magazine/2016/07/11/ the-work-of-a-hospice-nurse.
154
Nellie Bowles, “Human Contact Is Now a Luxury Good,” New York Times, March 23, 2019, https://www.nytimes.com/2019/03/23/sunday-review/human-contact-luxury-screens.html.
155
Gerijoy, “Care.Coach Intro Video,” YouTube, February 2, 2019, https:// www.youtube.com/watch?v=GSTHIG4vx_o, at 0:50.
156
Kathy Donaghie, “My Robot Companion Has Changed My Life,” Independent IE, April 15, 2019, https://www.independent.ie/life/health-wellbeing/health-features/my-robot-companion-has-changed-my-life-38009121.html.
157
Byron Reeves and Clifford Nass, The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places (New York: Cambridge University Press, 1996), 252.
158
Kate Darling, “ ‘Who’s Johnny?’ Anthropomorphic Framing in Human-Robot Interaction, Integration, and Policy,” in Robot Ethics 2.0: From Autonomous Cars to Artificial Intelligence, eds. Patrick Lin, Ryan Jenkins, and Keith Abney (New York: Oxford University Press, 2017), 173–192.
159
Особенно это относится к записи и предоставлению информации о поведении пожилых. См.: Ari Ezra Waldman, Privacy as Trust (New York: Cambridge University Press, 2018).
160
“Green Nursing Homes,” PBS, Religion and Ethics Newsweekly, July 20, 1997, http://www.pbs.0rg/wnet/religi0nandethics/2007/07/20/ july-20-20O7-green-house-nursing-homes/3i24/.
161
Sherry Turkle, “A Nascent Robotics Culture: New Complicities for Companionship,” AAAI Technical Report Series, July 2006, 1, http:// web.mit.edu/~sturkle/www/nascentroboticsculture.pdf.
162
Aviva Rutkin, “Why Granny’s Only Robot Will Be a Sex Robot,” New Scientist, July 8, 2016, https://www.newscientist.com/article/ 2096530-why-grannys-only-robot-will-be-a-sex-robot/.
163
Ai-Jen Poo, The Age of Dignity: Preparingfor the Elder Boom in a Changing America (New York: The New Press, 2015), 92–99.
164
См., например: Berry Ritholtz, “HavingTrouble Hiring?Try Paying More,” B100mberg Opinion, September 8, 2016, https://www.b100mberg.com/ view/articles/2 016-09-0 8/having-trouble-hiring-try-paying-more; Thijs van Rens, “Paying Skilled Workers More Would Create More Skilled Workers,” Harvard Business Review, May 19, 2016, https://hbr.org/2016/o5/paying-skilled-workers-more-would-create-more-skilled-workers.
165
См., например: Swiss Business Hub Japan, Healthcare Tech in Japan: A Booming Market, 2018, https://swissbiz.jp/wp-content/uploads/ 2018/oi/sge_healthcaretech_japan_infographic.pdf.
166
Joi Ito, “Why Westerners Fear Robots and the Japanese Do Not,” Wired, July 30, 2018, https://www.wired.com/story/ideas-joi-ito-robot-overlords.
167
“Japan Is Both Obsessed with and Resistant to Robots,” Economist, November, 2018, https://www.economist.com/asia/2018/11/o8/japan-is-both-obsessed-with-and-resistant-to-robots.
168
Selina Cheng, “ ‘An Insult to Life Itself’: Hayao Miyazaki Critiques an Animation Made by Artificial Intelligence,” Quartz, December 10, 2016, https://qz.com/859454/the-director-of-spirited-away-says-animation-made-by-artificial-intelligence-is-an-insult-to-life-itself/.
169
Madhavi Sunder, “Cultural Dissent,” Stanford Law Review 54 (2001): 495“568-
170
Amartya Sen, “Human Rights and Asian Values,” Sixteenth Annual Morgenthau Memorial Lecture on Ethics and Foreign Policy, May 25,1997, Carnegie Council for Ethics in International Rights, https://www. carnegiecouncil.org/publications/archive/morgenthau/254. https:// papers, ssrn.com/s0l3/papers.cfm?abstract_id=3O4619/.
171
Danit Gal, “Perspectives and Approaches in Al Ethics: East Asia,” in The Oxford Handbook of Ethics of Artificial Intelligence, eds. Markus Dub-ber, Frank Pasquale, and Sunit Das (Oxford: Oxford University Press, 2020), chapter 32.
172
Martha Fineman, “The Vulnerable Subject and the Responsive State,” Emory Law Journal 60 (2010): 251–276.
173
Huei-Chuan Sung, Shu-Min Chang, Mau-Yu Chin, and Wen-Li Lee, “Robot-Assisted Therapy for Improving Social Interactions and Activity Participation among Institutionalized Older Adults: A Pilot Study,” Asia Pacific Psychiatry 7 (2015): 1–6, https://onlinelibrary.wiley. com/doi/ep d f/10.1111/appy. 12131.
174
Nina j0ranson, Ingeborg Pedersen, Anne Marie Rokstad, Geir Aamodt, Christine Olsen, and Camilla Ihlebaek, “Group Activity with Paro in Nursing Homes: Systematic Investigation of Behaviors in Participants,” International Psychogeriatrics 28 (2016): 1345–1354, https:// d0i.0rg/10.1017/S1041610216000120.
175
Aimee van Wynsberghe, “Designing Robots for Care: Care Centered Value-Sensitive Design,” Science and Engineering Ethics 19, (2013): 4О7-433
176
Ik ben Alice [Alice Cares], directed and written by Sander Burger (Amsterdam: KeyDocs, 2015), DCP, 80 min.
177
European Commission, “Special Eurobarometer 382: Public Attitudes Towards Robots,” September 2012, http://ec.europa.eu/ public_opinion/archives/ebs/ebs_382_en.pdf.
178
Eliot L. Freidson, Professionalism: The Third Logic (Chicago: University of Chicago Press, 2001).
179
Определение «общего благополучия» см. в: U. S. Food and Drug Administration, General Wellness: Policy for Low Risk Devices (2019), at https://www.fda.gov/media/90652/download.
180
Jennifer Nicholas et al., “Mobile Apps for Bipolar Disorder: A Systematic Review of Features and Content Quality,” Journal of Medical Internet Research 17, no. 8 (2015): Ш98.
181
Vinayak К. Prasad and Adam S. Gifu, Ending Medical Reversal: Improving Outcomes, Saving Lives (Baltimore: Johns Hopkins University Press, 2015).
182
Xue Yujie, “Camera above the Classroom: Chinese Schools Are Using Facial Recognition on Students. But Should They?” Sixth Tone, March 26, 2019, http://www.sixthtone.com/news/1oo3759/camera-above-the-classroom.
183
Xue Yujie, “Camera above the Classroom.” См. также: Louise Moon, “Pay Attention at the Back: Chinese School Installs Facial Recognition Cameras to Keep An Eye on Pupils,” South China Morning Post, May 16, 2018, https://www.scmp.com/news/china/society/article/2146387/ pay-attention-back-chinese-school-installs-facial-recognition.
184
“Notice of the State Council Issuing the New Generation of Artificial Intelligence Development Plan,” State Council Document [2017] No. 35, trans. Flora Sapio, Weiming Chen, and Adrian Lo, Foundation for Law and International Affairs, https://flia.org/wp-con-tent/uploads/2017/07/A-New-Generation-of-Artificial-Intelligence-Development-Plan-i.pdf.
185
Melissa Korn, “Imagine Discovering That Your Teaching Assistant Really Is a Robot,” Wall Street Journal, May 6, 2016, http://www.wsj. com/articles/if-your-teacher-sounds-like-a-robot-you-might-be-on-to-something-1462546621.
186
IBM примерно так же определяла функцию системы Watson для юристов и врачей – преимущественно в качестве инструмента уже работающих специалистов, а не машины, которая их заменяет.
187
Tamara Lewin, “After Setbacks, Online Courses Are Rethought,” Kew York Times, December 10, 2016, https://www.nytimes.com/2013/12/11/ us/after-setbacks-online-courses-are-rethought.html.
188
Neil Selwyn, Distrusting Education Technology: Critical Questions for Changing Times (New York: Routledge 2014), 125.
189
David F. Labaree, “Public Goods, Private Goods: The American Struggle over Educational Goals,” American Educational Research Journal 34, no. i (Spring 1997): 39, 46; Danielle Allen, “What is Education For?” Boston Review, May 9, 2016, http://bostonreview.net/forum/ danielle-allen-what-education.
190
US Department of Education, “Education Department Releases College Scorecard to Help Students Choose Best College for Them,” press release, February 13, 2013, https://www.ed.gov/news/press-releases/ education-department-releases-college-scorecard-help-students-choose-best-college-them.
191
Claudia D. Goldin and Lawrence F. Katz, The Race Between Education and Technology (Cambridge, MA: Harvard University Press, 2009).
192
Charles Taylor, Human Agency and Language: Philosophical Papers, vol. i (Cambridge, UK: Cambridge University Press, 1985).
193
Jane Mansbridge, “Everyday Talk in the Deliberative System,” in Deliberative Politics: Essays on Democracy and Disagreement, ed. by Stephen Macedo (New York: Oxford University Press, 1999), 1-211.
194
Matthew Arnold, Culture and Anarchy (New York: Oxford University Press 2006).
195
Nikhil Goyal, Schools on Trial: How Freedom and Creativity Can Fix Our Educational Malpractice (New York: Doubleday, 2016).
196
Audrey Watters, “The Monsters of Education Technology,” Hack Education (blog), December 1, 2014, http://hackeducation.com/ 2014/12/01/the-monsters-of-education-technology.
197
Stephen Petrina, “Sidney Pressey and the Automation of Education 1924–1934,” Technology and Culture 45 (2004): 305–330.
198
Sidney Pressey, “A Simple Apparatus Which Gives Tests and Scores – And Teaches,” School and Society 23 (1926): 373–376.
199
B. F. Skinner, The Technology of Teaching, e-book ed. (1968; repr., Cambridge, MA: B. F. Skinner Foundation, 2003), PDF.
200
Audrey Watters, “Teaching Machines,” Hack Education (blog), April 26, 2018, http://hackeducati0n.com/2018/04/26/cuny-gc.
201
Natasha Dow Schiill, Addiction by Design (Princeton: Princeton University Press, 2012).
202
Rowan Tulloch and Holly Eva Katherine Randell-Moon, “The Politics of Gamification: Education, Neoliberalism and the Knowledge Economy,” Review of Education, Pedagogy, and Cultural Studies 40, no. 3 (2018): 204–226.
203
Tristan Harris, “How Technology Is Hijacking Your Mind – From a Magician and Google Design Ethicist,” Medium, May 18, 2016, htt-ps://medium.com/swlh/how-technology-hijacks-peoples-minds-from-a-magician-and-google-s-design-ethicist-56d62ef5edf3#. ryse2C3rl.
204
Kate Darling, “Extending Legal Protection to Social Robots: The Effects of Anthropomorphism, Empathy and Violent Behavior towards Robotic Objects,” in Robot Law, ed. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Northampton, MA: Edward Elgar, 2016), 213–233.
205
Hashimoto Takuya, Naoki Kato, and Hiroshi Kobayashi, “Development of Educational System with the Android Robot SAYA and Evaluation,” International Journal of Advanced Robotic Systems 8, no. 3 (2011): 51–61.
206
Ibid., 52.
207
Ibid., 60.
208
Hashimoto Takuya, Hiroshi Kobayashi, Alex Polishuk, and Igor Verner, “Elementary Science Lesson Delivered by Robot,” Proceedings of the 8th ACM /IEEE International Conference on Human-Robot Interaction (March 2013): 133–134; Patricia Alves-Oliveira, Tiago Ribeiro, Sofia Petisca, Eugenio di Tullio, Francisco S. Melo, and Ana Paiva, “An Empathic Robotic Tutor for School Classrooms: Considering Expectation and Satisfaction of Children as End-Users,” in Social Robotics: International Conference on Social Robotics, eds. Adriana Tapus, Elisabeth Andre, Jean-Claude Martin, Francois Ferland, and Mehdi Ammi (Cham, Switzerland: Springer, 2015), 21–30.
209
Neil Selwyn, Should Robots Replace Teachers? (Medford, MA: Polity Press, 2019).
210
Bureau of Labor Statistics, “Employment Characteristics of Families Summary,” news release, April 18, 2019, https://www.bls.gov/news. release/famee.nro.htm. У 63 % детей младше 18 лет в 2018 г. оба родителя работали.
211
Noel Sharkey and Amanda Sharkey, “The Crying Shame of Robot Nannies: An Ethical Appraisal,” Interaction Studies 11 (2010): 161–163.
212
Amanda J. C. Sharkey, “Should We Welcome Robot Teachers?” Ethics and Information Technology 18 (2016): 283–297. Обсуждение возможных иллюзий людей, взаимодействующих с ботами, см. в: Ian Kerr, “Bots, Babes and the Californication of Commerce” Ottawa Law and Technology Journal 1 (2004): 285–325, где обсуждается аватара ElleGirlBuddy.
213
Это воспитание чувств, позволяющее согласиться с тем, что ИИ обладает определенной личностью, является, с моей точки зрения, ключом к пониманию классического «теста» Тьюринга, который является не философским стандартом успешности ИИ, а риторическом устройством, позволяющим приучить читателей к мысли о том, что статус личности может присваиваться после выполнения определенных задач.
214
Это важно, поскольку, как утверждала юрист и философ Мирей Хильдебрандт, «агентность, управляемая данными», обычная для алгоритмических систем, строится на «информации и поведении, а не на смысле и действии». См.: Mireille Hildebrandt, “Law as Information in the Era of Data-Driven Agency,” Modern Law Review 7$ (2016): 1, 2.
215
В главе 8 подробно обсуждается это различие.
216
Darling, “Extending Legal Protection to Social Robots.”
217
Benjamin Herold, “Pearson Tested ‘Social-Psychological’ Messages in Learning Software, with Mixed Results,” Education Week: Digital Education (blog), April 17, 2018, http://blogs.edweek.org/edweek/Digi-talEducation/2018/o4/pearson_growth_mindset_software.html.
218
См., например: James Grimmelmann, “The Law and Ethics of Experiments on Social Media Users,” Colorado Technology Law Journal 13 (2015): 219–227, где обсуждаются письма Гриммельмана и Лесли Мельтцер Генри об эмциональных экспериментах Facebook. См.: Chris Gilliard, “How Ed Tech Is Exploiting Students,” Chronicle of Higher Education, April 8, 2018, https://www.chronicle.com/article/ How-Ed-Tech-Is-Exploiting/243020.
219
Sarah Schwarz, “YouTube Accused of Targeting Children with Ads, Violating Federal Privacy Law,” Education Week: Digital Education (blog), April 13, 2018, http://blogs.edweek.org/edweek/DigitalEduca-tion/2018/o4/youtube_targeted_ads_coppa_complaint.html; John Montgallo, “Android App Tracking Improperly Follows Children, Study,” QR Code Press, April 18, 2018, http://www.qrcodepress.com/ android-app-tracking-improperly-follows-children-study/8534453/.
220
James Bridle, “Something Is Wrong on the Internet,” Medium, November 6, 2017, https://medium.com/(ajamesbridle/something-is-wrong-on-the-internet-c39C47i27id2.
221
Nick Statt, “YouTube Will Reportedly Release a Kids’ App Curated by Humans,” Verge, April 6, 2018, https://www.theverge. com/2 018/4/6/172 0853 2/youtube-kids-non-algorithmic-version-whitelisted- conspiracy-theories.
222
Natasha Singer, “How Companies Scour Our Digital Lives for Clues to Our Health,” New York Times, February 25, 2018, https://www.ny-times.com/2018/o2/25/technology/smartphones-mental-health. html.
223
Sam Levin, “Facebook Told Advertisers It Can Identify Teens Feeling ‘Insecure’ and ‘Worthless,’ ” Guardian, May 1, 2017, https:// www.theguardian.com/technology/2017/may/o1/facebook-advertising-data-insecure-teens.
224
Julie Е. Cohen, “The Regulatory State in the Information Age,” Theoretical Inquiries in Law 17, no. 2 (2016): 369–414.
225
Ирвинг Гофман, Представление себя другим в повседневной жизни (Москва: «КАНОН-пресс-Ц», «Кучково поле», 2000).
226
Пример австралийского судебного разбирательства, на котором суд отказался принять показания, основанные на записи, сделанной игрушкой ребенка, см.: Gorman & Huffman [2015] Fam-CAFC 127.
227
Complaint and Request for Investigation, Injunction, and Other Relief at 2, In re: Genesis Toys and Nuance Communications, submitted by the Electronic Privacy Information Center, the Campaign for a Commercial Free Childhood, the Center for Digital Democracy, and Consumers Union (December 6, 2016), https://epic.org/privacy/kids/ EPIC–IPR-FTC-Genesis-Complaint.pdf. Некоторые европейские власти нашли способ эффектно и креативно вмешаться в проблему. Норвежский совет потребителей представил способность игрушек к мониторингу в созданном им видеофильме. Немецкое федеральное агентство посоветовало родителям уничтожить такие игрушки, поскольку они нарушают закон, запрещающий скрытые шпионящие устройства.
228
Ibid., 10.
229
“Millions of Voiceprints Quietly Being Harvested as Latest Identification Tool,” Guardian, October 13, 2014, https://www.theguardian. com/technology/20i4/oct/i3/millions-of-voiceprints-quietly-being-harvested-as-latest-identification-tool.
230
Nicola Davis, “ ‘High Social Cost’ Adults Can Be Predicted from as Young as Three, Says Study,” Guardian, December 12, 2016, https:// www.theguardian.com/science/2016/dec/12/high-social-cost-adults-can-be-identified-from-as-young-as-three-says-study; Avshalom Cas-pi, Renate M. Houts, Daniel W. Belsky, Honalee Harrington, Sean Hogan, Sandhya Ramrakha, Richie Poulton, and Terrie E. Moffitt, “Childhood Forecasting of a Small Segment of the Population with Large Economic Burden,” Nature Human Behaviour 1, no. 1 (2017): article no. UNSP 0005.
231
Mary Shacklett, “How Artificial Intelligence Is Taking Call Centers to the Next Level,” Tech Pro Research, June 12, 2017, http:// www.techproresearch.com/article/how-artificial-intelligence-is-taking-call-centers-to-the-next-level/.
232
Обзор проблем, вызванных технообразованием, см. в: Audrey Watters, “The 100 Worst Ed-Tech Debacles of the Decade,” Hacked Education (blog), http://hackeducation.com/2019/12/31/what-a-shitshow.
233
Scott R. Peppet, “Unraveling Privacy: The Personal Prospectus and the Threat of a Full-Disclosure Future,” northwestern University Law Review 105 (2011): 1153, 1201.
234
Lisa Feldman Barrett, Ralph Adolphs, Stacy Marsella, Aleix M. Martinez, and Seth D. Pollak, “Emotional Expressions Reconsidered: Challenges to Inferring Emotion from Human Facial Movements,” Psychological Science in the Public Interest 20, no. 1 (2019), https://journals.sagepub.com/stoken/default4-domain/io. 1177 % 2F1529ioo61983293O-FREE/pdf.
235
Kate Crawford, Roel Dobbe, Theodora Dryer, Genevieve Fried, Ben Green, Elizabeth Kaziunas, Amba Kak, et al., Al Now 201g Report (New York: Al Now Institute, 2019), https://ainowinstitute.org/AI_ Now_2019_Report.html.
236
Ben Williamson, Sian Bayne, and Suellen Shayet, “The datafication of teaching in Higher Education: critical issues and perspectives,” Teaching in Higher Education 25, no. 4 (2020): 351–365.
237
Ханна Арендт, Между прошлым и будущим (Москва: Издательство Института Гайдара, 2014), 276: «Ответственность за становление ребенка – это в известном смысле ответственность против мира: ребенок нуждается в особом присмотре и уходе, чтобы
238
Seymour Papert, Mindstorms: Children, Computers and Powerful Ideas, 2nd ed. (New York: Basic Books, 1993), 5.
239
Кэти О’Нил, Убийственные большие данные: как математика превратилась в оружие массового поражения (Москва: ACT, 2018), 22.
240
Jacqueline M. Kory, Sooyeon Jeong, and Cynthia Breazeal, “Robotic Learning Companions for Early Language Development,” Proceedings of the 15th ACM on International Conference on Multimodal Interaction (2013), 71–72, https://dam-prod.media.mit.edu/x/files/wp-con-tent/uploads/sites/14/2015/oi/Ko ryJeongBrezeal-ICMI-13.pdf.
241
Jacqueline M. Kory and Cynthia Breazeal, “Storytelling with Robots: Learning Companion for Preschool Children’s Language Development,” Robot and Human Interactive Communication RO-MAN, The 23rd IEEE International Symposium on IEEE (2014), http://www.jakory.com/ static/papers/kory-storybot-roman-vi-revisionA.pdf.
242
Deanna Hood, Severin Lemaignan, and Pierre Dillenbourg, “When Children Teach a Robot to Write: An Autonomous Teachable Humanoid Which Uses Simulated Handwriting,” Proceedings of the Tenth Annual ACM / IEEE International Conference on Human-Robot Interaction АСМ (2015), 83–90, https://infoscience.epfl.ch/record/20489o/files/ h00d2015when.pdf.
243
Fisher Price, “Think & Learn Code-a-pillar,” https://www.fisher-price.com/en-us/product/think-learn-code-a-pillar-twist-gfp25; KinderLab Robotics, “Kibo,” http://kinderlabrobotics.com/kibo/; Nathan Olivares-Giles, “Toys That Teach the Basics of Coding,” Wall Street Journal, August 20, 2015, https://www.wsj.com/articles/ toys-that-teach-the-basics-of-coding-1440093255.
244
Darling, “Extending Legal Protection to Social Robots.”
245
A. Michael Froomkin and P. Zak Colangelo, “Self-Defense against Robots and Drones,” Connecticut Law Review 48 (2015): 1-70.
246
Evgeny Morozov, То Save Everything, Click Here: The Folly of Technological Solutionism (New York: Public Affairs, 2013).
247
Sherry Turkle, “A Nascent Robotics Culture: New Complicities for Companionship,” in Annual Editions: Computers in Society 10/11, ed. Paul De Palma, 16th ed. (New York: McGraw-Hill, 2010), chapter 37.
248
Margot Kaminski, “Robots in the Home: What Will We Have Agreed to?” Idaho Law Review 51 (2015): 661–678; Woodrow Hartzog, “Unfair and Deceptive Robots,” Maryland Law Review 74 (2015): 785–832; Joanna J. Bryson, “The Meaning of the EPSRC Principles of Robotics,” Connection Science 29, no. 2 (2017): 130–136.
249
Neda Atanasoski and Kalindi Vora, Surrogate Humanity: Race, Robots, and the Politics of Technological Futures (Chapel Hill: Duke University Press, 2019).
250
Kentaro Toyama, Geek Heresy: Rescuing Social Change from the Cult of Technology (New York: Public Affairs, 2015).
251
Пол Принслу предложил подробный и глубокий анализ глобальных влияний разницы в силе на датафикацию образования. См.: Paul Prins100, “Data Frontiers and Frontiers of Power in (Higher) Education: A View of/from the Global South,” Teachingin Higher Education: Critical Perspectives 25, no. 4 (2019): 366–383.
252
Andrew Brooks, “The Hidden Trade in Our Second-Hand Clothes Given to Charity,” Guardian, February 13, 2015, https://www.theguard-ian.com/sustainable-business/sustainable-fashion-blog/2015/feb/13/ second-hand-clothes-charity-donations-africa.
253
Shoshana Zuboff, “The Secrets of Surveillance Capitalism,” Frankfurter Allegemeine Zeitung, March 5, 2016, http://www.faz.net/aktuell/ feuilleton/debatten/the-digital-debate/shoshana-zuboff-secrets-of-surveillance-capitalism-14103616-p2.html.
254
Steven Rosenfeld, “Online Public Schools Are a Disaster, Admits Billionaire, Charter School-Promoter Walton Family Foundation,” AlterNet, February 6, 2016, http://www.alternet.org/educa-tion/online-public-schools-are-disaster-admits-billionaire-charter-school-promoter-walton; Credo Center for Research on Education Outcomes, Online Charter School Study 2015 (Stanford, CA: Center for Research on Education Outcomes, 2015), https://credo.stanford.edu/ pdfs/OnlineCharterStudyFinal2015.pdf.
255
Audrey Watters, “Top Ed-Tech Trends of 2016: The Business of Education Technology,” Hack Education (blog), December 5, 2016, http://2016trends.hackeducation.com/business.html; “Eschools Say They Will Appeal Audits Determining Inflated Attendance,” Columbus Dispatch, October 4, 2016, http://www.dispatch.com/news/20161003/ e schools-say-they-will-appeal-audits-de termining-infl ated-attendance/i; Benjamin Herold, “Problems with For-Profit Management of Pa. Cybers,” Education Week, November 3, 2016, http:// www.edweek.org/ew/articles/2016/11/o3/problems-with-for-profit-management-of-pa-cybers.html; Benjamin Herold, “A Virtual Mess: Inside Colorado’s Largest Online Charter School,” Education Week, November 3, 2016, http://www.edweek.org/ew/articles/2016/11/03/ a-virtual-mess-colorados-largest-cyber-charter.html; Erin McIntyre, “Dismal Performance by Idaho Virtual Charters Result in 20 % Grad Rate,” Education Dive, January 29, 2016, http://www.educationdive, com/news/dismal-performance-by-idaho-virtual-charters-result-in-20-grad-rate/4i2945/.
256
Watters, “Top Ed-Tech Trends of 2016”; “The 100 Worst Ed-Tech Debacles.”
257
Watters, “The Business of Education Technology.”
258
Donald Т. Campbell, “Assessing the Impact of Planned Social Change,” in Social Research and Public Policies, ed. Gene M. Lyons (Hanover, NH: University Press of New England, 1975), 35; Brian Kernighan, “We’re Number One!” Daily Prince Ionian, October 25, 2010.
259
Watters, “The Business of Education Technology.”
260
Lilly Irani, “Justice for ‘Data Janitors,’ ” Public Books, January 15, 2015, http://www.publicbooks.org/nonfiction/justice-for-data-jani-tors; Trebor Scholz, Introduction to Digital Labor: The Internet as Playground and Factory (New York: Routledge, 2013), 1.
261
Phil McCausland, “A Rural School Turns to Digital Education.
Is It a Savior or Devil’s Bargain?” NBC News, May 28, 2018, https:// www.nbcnews.com/news/us-news/rural-school-turns-digital-education-it-savior-or-devil-s-n877806.
262
Douglas Rushkoff, Program or be Programmed: Ten Commandsfor a Digital Age (New York: OR Books, 2010), 7–8.
263
Ibid., 9.
264
Ofcom, “Children and Parents: Media Uses and Attitudes Report: 2018,” January 29, 2019, 11, https://www.ofcom.org.uk/__data/as-sets/pdf_file/oo24/i349O7/children-and-parents-media-use-and-attitudes-2018.pdf; Gwenn Schurgin O’Keeffe and Kathleen Clarke-Pearson, “The Impact of Social Media on Children,” Pediatrics 127, no. 4 (2011): 800, 802.
265
Сенатор Берни Сандерс предложил план, который бы позволил помочь колледжам на этапе этого цифрового перехода, перенаправив фонды со спорта на «деятельность, которая улучшает качество образования и академические результаты». См.: College for All Act of 2019, S.1947,116th Cong. (2019).
266
Todd E. Vachon and Josef (Kuo-Hsun) Ma, “Bargaining for Success: Examining the Relationship between Teacher Unions and Student Achievement,” Sociological Forum 30 (2015): 391, 397–399. Майкл Годси утверждает, что «есть существенная разница между местным экспертом-учителем, использующим интернет и все его ресурсы для дополнения и улучшения своих уроков, и учителем, который упрощает образовательные планы крупных организаций. Почему эта линия не получает четкого публичного выражения и почему она не становится предметом общего обсуждения?». См.: Michael Godsey, “The Deconstruction of the K-12 Teacher: When Kids Can Get Their Lessons from the Internet, What’s Left for Classroom Instructors to Do?” Atlantic, March 25, 2015, https://www.theatlantic.com/educati0n/archive/2015/03/ the-deconstruction-of-the-k-i2-teacher/38863i/.
267
Дополнительное описание специальных комиссий, предложенных для решения проблем новых технологий, см.: Oren Bracha and Frank Pasquale, “Federal Search Commission? Access, Fairness, and Accountability in the Law of Search,” Cornell Law Review 93 (2008): 1149; Ryan Calo, “The Case for a Federal Robotics Commission,” Center for Technology Innovation at Brookings, September 15, 2014, https://www.brookings.edu/wp-content/uploads/2014/o9/ R0b0ticsC0mmissi0nR2_Cal0.pdf. Недавняя работа, в которой поддерживаются те же идеи: Elizabeth Warren, “Unsafe at Any Rate,” Democracy Journal, Summer 2007, no. 5, https://democracy-j0urnal.0rg/magazine/5/unsafe-at-any-rate/.
268
Hartmut Rosa, Social Acceleration: A New Theory of Modernity (New York: Columbia University Press, 2015).
269
График, демонстрирующий рекламные доходы американских газет в период 1950–2015 гг., см. в: Mark J. Perry, “US Newspaper Advertising Revenue: Adjusted for Inflation, 1950 to 2015,” American Enterprise Institute: Carpe Diem, June 16, 2016, http://www.aei.org/pub-lication/thursday-night-links-ю/. Исследование, показывающее, какая доля сетевых рекламных доходов была отнята у медиа и перешла к цифровым посредникам, см. в: PricewaterhouseCoopers, ISBA Programmatic Supply Chain Transparency Study (2020).
270
Anthony Nadler, Matthew Crain, and Joan Donovan, Weaponizing the Digital Influence Machine: The Political Perils of Online Ad Tech (New York: Data & Society, 2018), https://datasociety.net/output/weaponizing-the-digital-influence-machine/; Whitney Phillips, The Oxygen of Amplification: Better Practices for Reporting on Extremists, Antagonists, and Manipulators (New York: Data & Society, 2018), https://datasociety.net/ wp-content/uploads/2018/o5/FULLREPORT_Oxygen_of_Ampli-fication_DS.pdf; Martin Moore, Democracy Hacked: Political Turmoil and Information Warfare in the Digital Age (London: Oneworld, 2018).
271
Philip N. Howard, Lie Machines: How to Save Democracy from Troll Armies, Deceitful Robots, Junk News Operations, and Political Operatives (Oxford: Oxford University Press, 2020); Siva Vaidhyanathan, Anti-Social Media: How Facebook Disconnects Us and Undermines Democracy (Oxford: Oxford University Press, 2018).
272
Bence Kollanyi, Philip N. Howard, and Samuel C. Woolley, “Bots and Automation over Twitter During the Second U. S. Presidential Debate,” COMPROP Data Memo, October 19, 2016, http://politicalbots. org/wp-content/uploads/2016/io/Data-Memo-Second-Presidential-Debate.pdf.
273
Mark Andrejevic, Automated Media (New York: Routledge, 2019), 62.
274
Актуальное отношение между журналистами и ИИ профессионально проанализировано в: Nicholas Diakopolous, Automating the News: How Algorithms Are Rewriting the Media (Cambridge, MA: Harvard University Press, 2019).
275
Реформы, предлагаемые мной, помогут большинству других создателей контента находить сетевую аудиторию, в том числе предпринимателям. В этой главе основное внимание уделяется автоматизации медиа.
276
Amanda Taub and Max Fisher, “Where Countries Are Tinderboxes and Facebook Is a Match,” New York Times, April 21, 2018, htt-ps://www. nytimes.com/2018/o4/21/world/asia/facebook-sri-lanka-riots.html; Damian Tambini, “Fake News: Public Policy Responses,” London School of Economics Media Policy Brief No. 20, March 2017, http://eprints.lse.ac.Uk/73015/1/LSE%20MPP%20P0licy%20 Brief%2020%20-%20Fake%20news_final.pdf.
277
Stephan Russ-Mohl, “Bots, Lies and Propaganda: The New Misinformation Economy,” European Journalism Observatory, October 20, 2016, https://en.ejo.ch/latest-stories/bots-lies-and-propaganda-the-new-misinformation-economy; Carole Cadwalladr, “Facebook’s Role in Brexit – and the Threat to Democracy,” TED talk, filmed April 2019, TED2019 Conference, 15:16, https://www.ted.com/talks/ carole_cadwalladr_facebook_s_role_in_brexit_and_the_ threat_to_democracy/transcript?language=en.
278
Alex Shepard, “Facebook Has a Genocide Problem,” New Republic, March 15, 2018, https://newrepublic.com/article/147486/facebook-genocide-problem; Euan McKirdy, “When Facebook becomes ‘The Beast’: Myanmar Activists Say Social Media Aids Genocide,” CNN, April 6, 2018, https://www.cnn.com/2018/04/06/asia/myanmar-facebook-social-media-genocide-intl/index.html. Критику участия интернет-гигантов в разжигании ненависти см. в: Mary Ann Franks, The Cult of the Constitution (Palo Alto, CA: Stanford University Press, 2019).
279
Michael Н. Keller, “The Flourishing Business of Fake YouTube Views,” New York Times, August 11, 2018, https://www.nytimes.com/interac-tive/2018/08/n/technology/youtube-fake-view-sellers.html.
280
Zeynep Tufekci, “Facebook’s Ad Scandal Isn’t a ‘Fail,’ It’s a Feature,” New York Times, September 23, 2017, https://www.nytimes. com/2 017/09/2 3/opinion/sunday/faceb 00k-ad-scandal.html; Zeynep Tufekci, “YouTube, the Great Radicalizer,” New York Times, March 10, 2018, https://www.nytimes.com/2018/o3/1o/opinion/sun-day/youtube-politics-radical.html; Siva Vaidhyanathan, The Goog-lization of Everything {and Why We Should Worry) (Berkeley: University of Cal fornia Press, 2011); Siva Vaidhyanathan, Antisocial Media: How Facebook Disconnects Us and Undermines Democracy (New York: Oxford University Press, 2018).
281
Evelyn Douek, “Facebook’s ‘Oversight Board’: Move Fast with Stable Infrastructure and Humility,” North Carolina Journal of Law & Technology 21 (2019): 1-78.
282
Frank Pasquale, “Platform Neutrality: Enhancing Freedom of Expression in Spheres of Private Power,” Theoretical Inquiries in Law 17 (2017): 480, 487. Критику этой ситуации см. в: Olivier Sylvain, “Intermediary Design Duties,” Connecticut Law Review 50 (2018): 203–278; Ari Ezra Waldman, “Durkheim’s Internet: Social and Political Theory in Online Society,” New York University Journal of Law and Liberty 7 (2013): 345,373–379.
283
Cm.: Carole Cadwalladr, “How to Bump Holocaust Deniers off Google’s Top Spot?” Guardian, December 17,2016, https://www.theguardian.com/ technology/20i6/dec/17/holocaust-deniers-google-search-top-spot.
284
Sydney Schaedel, “Did the Pope Endorse Trump?” FactCheck.org, October 24, 2016, http://www.factcheck.org/2016/1o/did-the-pope-endorse-trump/; Dan Evon, “Spirit Cooking,” Snopes, November 5, 2016, http://www.snopes.com/john-podesta-spirit-cooking/.
285
Ian Bogost and Alexis C. Madrigal, “How Facebook Works for Trump,” Atlantic, April 18, 2020, https://www.theatlantic.com/tech-nology/archive/2020/04/how-facebooks-ad-technology-helps-trump-win/606403/. For YouTube analysis by engineer Guillaume Chaslot, see Paul Lewis, “ ‘Fiction is Outperforming Reality’: How YouTube’s Algorithm Distorts Truth,” Guardian, February 2, 2018, https://www. theguardian. com/technology/2 o18/feb/o2/ how-youtubes-algorithm-distorts-truth.
286
Kyle Chayka, “Facebook and Google Make Lies As Pretty As Truth,” Verge, December 6, 2016, http://www.theverge.c0m/2016/12/6/ 13 850230/fake-news-sites-google-search-facebook-instant-articles; Janet Guyon, “In Sri Lanka, Facebook Is Like the Ministry of Truth,” Quartz, April 22, 2018, https://qz.com/1259010/ how-facebook-rumors-led-to-real-life-violence-in-sri-lanka/.
287
Eric Lubbers, “There Is No Such Thing as the Denver Guardian, Despite that Facebook Post You Just Saw,” Denver Post, November 5, 2016, http://www.denverp0st.com/2016/11/05/there-is-no-such-thing-as-the-denver-guardian/.
288
Brett Molina, “Report: Fake Election News Performed Better Than Real News on Facebook,” USA Today, November 17, 2016, http://www. usatoday.com/story/tech/news/2016/11/17/report-fake-election-news-performed-better-than-real-news-facebook/94028370/.
289
Timothy B. Lee, “The Top 20 Fake News Stories Outperformed Real News at the End of the 2016 Campaign,” Vox, November 16, 2016, https://www.vox.com/new-money/2016/11/16/1365984o/facebook-fake-news-chart.
290
Joel Winston, “How the Trump Campaign Built an Identity Database and Used Facebook Ads to Win the Election,” Medium, November 18, 2016, https://medium.com/startup-grind/how-the-trump-campaign-built-an-identity-database-and-used-facebook-ads-to-win-the-election-4ff7d24269ac#.4oaz94q5a.
291
Paul Lewis, “ ‘Utterly Horrifying’: Ex-Facebook Insider Says Covert Data Harvesting Was Routine,” Guardian, March 20, 2018, https://www. theguardian.com/news/2018/mar/20/facebook-data-cambridge-analytica-sandy-parakilas; Nicol Perlroth and Sheera Frenkel, “The End for Facebook’s Security Evangelist,” New York Times, March 20, 2018, https://www.nytimes.com/2018/o3/20/technology/ alex-stamos-facebook-security.html.
292
Zeynep Tufekci, “Mark Zuckerberg Is in Denial,” New York Times, November 15, 2016, http://www.nytimes.com/2016/11/15/opinion/mark-zuckerberg-is-in-denial.html?_r=2.
293
Olivier Sylvain, “Intermediary Design Duties,” Connecticut Law Review 50, no. 1 (2018): 203; Danielle Keats Citron and Mary Anne Franks, “The Internet as a Speech Machine and Other Myths Confounding Section 230 Reform” (working paper, Public Law Research Paper No. 20-8, Boston University School of Law, Massachusetts, 2020); Carrie Goldberg, Nobody’s Victim: Fighting Psychos, Stalkers, Pervs, and Trolls (New York: Plume, 2019), 38.
294
Craig Silverman, “Facebook Is Turning to Fact-Checkers to Fight Fake News,” BuzzFeed News, December 15, 2016, https://www.buzz-feed.com/craigsilverman/facebook-and-fact-checkers-fight-fake-news?utm_term=.phQiyoOexV#.sn4XJ8ZoLA.
295
Timothy В. Lee, “Facebook Should Crush Fake News the Way Google Crushed Spammy Content Farms,” Vox, December 8, 2016, http://www.vox.eom/new-money/2 016/12/8/13 8759 6o/facebook-fake-news-google.
296
Safiya Umoja Noble, Algorithms of Oppression: How Search Engines Reinforce Racism (New York: New York University Press, 2018); Carole Cad-walladr, “Google, Democracy and the Truth about Internet Search,” Guardian, December 4,2016, https://www.theguardian.com/technology/ 20i6/dec/o4/google-democracy-truth-internet-search-facebook.
297
Manoel Horta Ribeiro, Raphael Ottoni, Robert West, Virgilio A. F. Almeida, and Wagner Meira Jr., “Auditing Radicalization Pathways on YouTube,” arXivngoS.08313 (2019), https://arxiv.org/abs/ 1908.08313.
298
Evan Osnos, “Can Mark Zuckerberg Fix Facebook before It Breaks Democracy?” New Yorker, September 10, 2018, https://www.newyorker.com/ magazine/2018/09/17/can-mark-zuckerberg-fix-facebook-before-it-breaks-democracy.
299
James Bridle, “Something Is Wrong on the Internet,” Medium, https://medium. com/(3;j amesbridle/some thing-is – wrong-on – the – internet-c39C47i27id2.
300
James Bridle, New Dark Age (New York: Verso, 2018), 230.
301
Max Fisher and Amanda Taub, “On YouTube’s Digital Playground, an Open Gate for Pedophiles,” New York Times, June 3, 2019, https://www. ny times. com/2019/0 6/03/world/americas/you tube – pedophiles. html.
302
Frank Pasquale, “Reclaiming Egalitarianism in the Political Theory of Campaign Finance Reform,” University of Illinois Law Review (2008): 599–660.
303
Rebecca Hersher, “What Happened When Dylann Roof Asked Google for Information about Race?” Houston Public Media, January 10, 2017, http://www.h0ust0npublicmedia.0rg/npr/2017/01/10/508363607/ what-happened-when-dylann-roof-asked-google-for-information-ab out-race/.
304
Hiroko Tabuchi, “How Climate Change Deniers Rise to the Top in Google Searches,” New York Times, December 9, 2017, https://www. nytimes.com/2017/12/29/climate/google-search-climate-change.html.
305
Noble, Algorithms of Oppression.
306
Cadwalladr, “Google, Democracy and the Truth.”
307
Ben Guarino, “Google Faulted for Racial Bias in Image Search Results for Black Teenagers,” Washington Post, June 10, 2016, https:// www.washingtonpost.com/news/morning-mix/wp/2016/o6/1o/ google-faulted-for-racial-bias-in-image-search-results-for-black-teenagers/?utm_term=.ia3595bb8624; также см.: Tom Simonite, “When It Comes to Gorillas, Google Photos Remains Blind,” Wired, January 11, 2018, https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/. О более значительной проблеме см.: Aylin Caliskan, Joanna J. Bryson, and Arvind Nar-arayan, “Semantics Derived Automatically from Language Corpora Contain Human-Like Biases,” Science 356 (2017): 183–186.
308
Annalee Newitz, “Opinion: A Better Internet Is Waiting for Us,” New York Times, November 30, 2019, https://www.nytimes.com/interac-tive/2019/11/30/opinion/social-media-future.html.
309
Ibid.
310
“Preamble,” The Syllabus, accessed May 15, 2020, https://the-sylla-bus.com/preamble-mission/; Maurits Martijn, “The Most Important Technology Critic in the World Was Tired of Knowledge Based on Clicks. So He Built an Antidote,” Correspondent, March 26, 2020, https://thecorrespondent.com/369/the-most-important-technology-critic-in-the-world-was-tired-of-knowledge-based-on-clicks-so-he-built-an-antidote/789698745-92d7coee.
311
Я заимствую термин «инфодемия» из работы: Kate Starbird, “How to Cope with an Infodemic,” Brookings TechStream, April 27, 2020, https://www.brookings.edu/techstream/how-to-cope-with-an-infodemic/.
312
Tim Wu, The Curse of Bigness: Antitrust in the New Gilded Age (New York: Columbia Global Reports, 2019); Matt Stoller, Sarah Miller, and Zephyr Teachout, Addressing Facebook and Google’s Harms Through a Regulated Competition Approach, White Paper of the American Economic Liberties Project (2020).
313
Sanjukta Paul, “Antitrust as Allocator of Coordination Rights,” University of California at Los Angeles Law Review 67 (2020), 378–431.
314
Cat Ferguson, “Searching for Help,” Verge, September 7, 2017, https:// www.theverge.com/2017/9/7/16257 412/rehabs-near-me-google-search-scam-florida-treatment-centers.
315
Эндрю Макафи и Эрик Бриньолфсон, Машина, платформа, толпа: наше цифровое будущее (Москва: Манн, Иванов и Фербер, 2019).
316
David Dayen, “Google Is So Big, It Is Now Shaping Policy to Combat the Opioid Epidemic: And It’s Screwing It Up,” Intercept, October 17, 2017, https://theintercept.com/2017/1o/17/google-search-drug-use-opioid-epidemic/.
317
Ferguson, “Searching for Help”; Dayen, “Google Is So Big.”
318
2017 Fla. Laws 173 (codified at Fla. Stat. § § 397.55, 501.605, 501.606, 8170345)•
319
Ryan Singel, “Feds Pop Google for $50oM for Canadian Pill Ads,” Wired, August 24, 2011, https://www.wired.com/20n/o8/google-drug-fine/.
320
Drew Harwell, “Al Will Solve Facebook’s Most Vexing Problems, Mark Zuckerberg Says. Just Don’t Ask When or How,” Washington Post, April 11, 2018, https://www.washingtonpost.com/news/the-switch/wp/2018/04/n/ai-will-solve-facebooks-most-vexing-problems-mark-zuckerberg-says-just-dont-ask-when-or-how/?utm_term=. аоаусз4оас66.
321
Instagram, “Community Guidelines,” https://help.instagram.com/ 477434105621119; см. также: Sarah Jeong, “I Tried Leaving Facebook. I Couldn’t,” Verge, April 28, 2018, https://www.theverge. com/2018/4/28/17293056/facebook-deletefacebook-social-network-monopoly.
322
Joel Ross, Lilly Irani, M. Six Silberman, Andrew Zaldivar, and Bill Tomlinson, “Who Are the Crowdworkers? Shifting Demographics in Mechanical Turk,” CHI EA To: ACM Conference on Human Factors in Computing Systems (2010), 2863–2872.
323
Jaron Lanier, You Are Not a Gadget: A Manifesto (New York: Knopf, 2010).
324
Julia Powles, “The Case That Won’t Be Forgotten,” Loyola University Chicago Law Journal 47 (2015): 583–615; Frank Pasquale, “Reforming the Law of Reputation,” Loyola University Chicago Law Journal 47 (2015): 515-539.
325
Michael Hiltzik, “President Obama Schools Silicon Valley CEOs on Why Government Is Not Like Business,” Los Angeles Times, October 17, 2016, https://www.latimes.com/business/hiltzik/la-fi-hiltzik-obama-silicon-valley-20161017-snap-story.html.
326
Case C-131/12, Google Spain SL v. Agencia Espanola de Proteccion de Datos (AEPD), (May 13, 2014), http://curia.europa.eu/juris/docu-ment/document.jsf?text=&docid=152065&doclang=EN.
327
Материал не исчез полностью; он может выводиться, если поиск ведется по имени мужа или в результате других запросов. Требование приватности ограничивается здесь поисками по имени вдовы.
328
Julia Powles, “Results May Vary: Border Disputes on the Frontlines of the ‘Right to be Forgotten,’ ” Slate, February 25, 2015, http://www. slate.com/articles/technology/future_tense/2015/o2/google_and_ the_right_to_be_forgotten_should_delisting_be_global_or_lo-cal.html.
329
Justin McCurry, “Japanese Court Rules against Paedophile in ‘Right to be Forgotten’ Online Case,” Guardian, February i, 2017, https:// www.theguardian.com/world/2017/feb/o2/right-to-be-forgotten-online-suffers-setback-after-japan-court-ruling.
330
Более общее обсуждение человеческой гибкости см. в: Geoff Colvin, Humans Are Underrated: What High Achievers Know That Brilliant Machines Never Will (New York: Penguin, 2015); Hubert L. Dreyfus and Stuart E. Dreyfus, Mind over Machine: The Power of Human Expertise and Intuition in the Era of the Computer (New York: Free Press, 1988).
331
Dan Solove, Future of Reputation: Gossip, Rumor and Privacy on the Internet (New Haven, CT: Yale University Press, 2007); Sarah Esther La-geson, Digital Punishment Privacy, Stigma, and the Harms of Data-Driven Criminal Justice (Oxford: Oxford University Press, 2020).
332
Sarah T. Roberts, Behind the Screen: Content Moderation in the Shadows of Social Media (New Haven: Yale University Press, 2019); Lilly Irani, “Justice for ‘Data Janitors,’ ” Public Books, January 15, 2015, http:// www.publicbooks.org/nonfiction/justice-for-data-janitors.
333
Phillips, The Oxygen of Amplification; danah boyd, “Hacking the Attention Economy,” Points: Data & Society (blog), January 5, 2017, https:// points.datasociety.net/hacking-the-attention-economy-9fa1daca7a37; см. также: Pasquale, “Platform Neutrality”; Frank Pasquale, “Asterisk Revisited: Debating a Right of Reply on Search Results,” Journal of Business and Technology Law 3 (2008): 61–86.
334
Mark Bergen, “YouTube Executives Ignored Warnings, Letting Toxic Videos Run Rampant,” B100mberg News, April 2, 2019, https://www. b100mberg.com/news/features/2019-o4-o2/youtube-executives-ignored-warnings-letting-toxic-videos-run-rampant.
335
Здесь моя позиция созвучна названию группы Free Speech for People, выступающей против Citizens United, поскольку я считаю, что доктрина «компьютерной речи» может развиваться в том же опасном направлении, в каком развивалась доктрина корпоративной речи.
336
James Grimmelmann, “Copyright for Literate Robots,” Iowa Law Review 101 (2016): 657–682.
337
Danielle K. Citron and Robert Chesney, “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security,” California Law Review 107 (2019): 1753–1819.
338
Mary Anne Franks and Ari Ezra Waldman, “Sex, Lies, and Videotape: Deep Fakes and Free Speech Delusions,” Maryland Law Review 78 (2019): 892–898. Какой бы интерес к автономии ни утверждался создателями подобных дипфейков, он должен быть соотнесен с заинтересованностью аудитории в наличии неискаженной публичной сферы. См.: Robyn Caplan, Lauren Hanson, and Joan Donovan, Dead Reckoning: Navigating Content Moderation after Fake News (New York: Data & Society, 2018), https://datasociety.net/library/ dead-reckoning/; Alice Marwick and Rebecca Lewis, Media Manipulation and Disinformation Online (New York: Data & Society, 2015), https://datasociety.net/pubs/oh/DataAndSociety_MediaManipula-tionAndDisinformationOnline.pdf.
339
James Grimmelmann, “Listeners’ Choices,” University of Colorado Law Review 90 (2018): 365–410.
340
The BCAP Code: The UK Code of Broadcast Advertising, Appendix 2 (September 1, 2010), http://www.asa.org.uk/uploads/assets/uploaded/e6e8bioa-20e6-4674-a7aa6dc15aa4f8i4.pdf. Американская Федеральная комиссия по коммуникациям дважды рассматривала вопрос, но ничего не сделала. См.: Ryan Calo, “Digital Market Manipulation,” George Washington Law Review 82 (2014): 995-1051.
341
Bolstering Online Transparency Act, California Business & Professions Code § § 17940-43 (2019).
342
Act to Add Article 10 (commencing with Section 17610) to Chapter 1 of Part 3 of Division 7 of the Business and Professions Code, relating to advertising, A.B. 1950, 2017–2018 Reg. Sess. (January 29, 2018), http://leginfo.legislature.ca.gov/faces/billNavClient. xhtml?bill_id=20172018oAB1950.
343
Frederic Lardinois, “The Google Assistant Will Soon Be Able to Call Restaurants and Make a Reservation for You,” TechCrunch, May 8, 2018, https://techcrunch.c0m/2018/05/08/the-g00gle-assistant-will-soon-be-able-to-call-restaurants-and-make-a-reservations-for-you/ (см. видео в момент 0:24).
344
Yaniv Leviathan, “Google Duplex: An Al System for Accomplishing Real-World Tasks over the Phone,” Google Al Blog, May 8, 2018, https://ai.googleblog.com/2018/o5/duplex-ai-system-for-natural-conversation.html?fbclid=IwARoK2LGSd9wLPeN31ejGQhj8TAaJif QLoaKPZgeivpBoQgTAwakOTbPPIMw.
345
Alice Gregory, “R U There? A New Counselling Service Harnesses the Power of the Text Message,” New Yorker, February 2, 2015, https:// www.newyorker.com/magazine/2015/02/09/r-u.
346
Nick Statt, “Google Now Says Controversial Al Voice Calling System Will Identify Itself to Humans,” Verge, May 10, 2018, https:// www.theverge.com/2018/5/10/17342414/google-duplex-ai-assistant-voice-calling-identify-itself-update.
347
Masahiro Mori, “The Uncanny Valley: The Original Essay by Masahiro Mori,” trans. Karl F. MacDorman and Norri Kageki, IEEE Spectrum, June 12, 2012, https://spectrum.ieee.org/automaton/robotics/ humanoids/the-uncanny-valley.
348
Natasha Lomas, “Duplex Shows Google Failingat Ethical and Creative Al Design,” TechCrunch, May io, 2018, https://techcrunch.com/2018/05/10/ duplex-shows-google-failing-at-ethical-and-creative-ai-design/.
349
James Vincent, “Google’s Al Sounds Like a Human on the Phone – Should We Be Worried?” Verge, May 9, 2018, https://www.thev-erge.com/2018/5/9/17334658/google-ai-phone-call-assistant-duplex-ethical-social-implications.
350
Rachel Metz, “Facebook’s Top Al Scientist Says It’s ‘Dust’ without Artificial Intelligence,” CNN, December 5, 2018, https://www.cnn. com/2018/12/05/tech/ai-facebook-lecun/index.html.
351
ИИ в автоматизированной публичной сфере является примером того, что Интрона и Вуд называют «молчащей» технологией, противопоставляемой «заметной». Она является встроенной, темной, гибкой и мобильной (реализуемой в программном обеспечении), а потому противостоит технологии, находящейся на поверхности, прозрачной и зафиксированной. См.: Lucas Introna and David Wood, “Picturing Algorithmic Surveillance: The Politics of Facial Recognition Systems,” Surveillance and Society 2, no. 2/3 (2002): 177–198.
352
Sam Thielman, “Q&A: Mike Ananny, On Facebook, Facts, and a Marketplace of Ideas,” Columbia Journalism Review, April 5, 2018, https:// www.cjr.org/tow_center/qa-usc-annenbergs-mike-ananny-on-face-books-fact-checkers-and-the-problem-with-a-marketplace-of-ideas. php; Mike Ananny, “The Partnership Press: Lessons for Platform-Publisher Collaborations as Facebook and News Outlet Teams to Fight Misinformation,” Tow Center for Digital Journalism Report, April 4, 2018, https://www.cjr.org/tow_center_reports/partnership-press-facebook-news-outlets-team-fight-misinformation.php.
353
Tim O’Reilly, “Media in the Age of Algorithms,” Medium, November 11, 2016, https://medium.com/the-wtf-economy/media-in-the-age-of-algorithms-63e8ob9boa73#.gl86jwgr4.
354
Abby Ohlheiser, “Three Days after Removing Human Editors, Facebook Is Already Trending Fake News,” Washington Post, August 29, 2016, https://www.washingtonpost.com/news/the-intersect/wp/ 2016/08/29/a-fake-headline-about-megyn-kelly-was-trending-on-facebook/?utm_term=.f857ac42b2e9; “Facebook: ‘No Evidence’ Conservative Stories Were Suppressed,” CBS News, May 10, 2016, http:// www.cbsnews.com/news/facebook-no-evidence-conservative-stories-trending-suppressed-gizmodo/.
355
Josh Sternberg, “Layoffs and Local Journalism,” Media Nut, May 14, 2020, https://medianut.substack.eom/p/layoffs-and-local-journalism.
356
Rachael Revesz, “Steve Bannon’s Data Firm in Talks for Lucrative White House Contracts,” Independent, November 23, 2016, http:// www.independent.co.uk/news/world/americas/cambridge-analytica-steve-bannon-robert-rebekah-mercer-donald-trump – conflicts-of-interest-white-a7435536.html; Josh Feldman, “CIA Concluded Russia Intervened in Election to Help Trump, WaPo Reports,” Mediaite, December 9, 2016, http://www.mediaite.com/online/cia-concluded-russia-intervened-in-election-to-help-trump-wapo-reports/.
357
Will Oremus, “The Prose of the Machines,” Slate, July 14, 2014, http:// www.slate.com/articles/technology/technology/2014/o7/automat-ed_insights_to_write_ap_earnings_reports_why_robots_can_t_ take_j ournalis ts. html.
358
Thorstein Veblen, Absentee Ownership and Business Enterprise in Recent Times (London: George Allen & Unwin, 1923); Christopher Meek, Warner Woodworth, and W Gibb Dyer, Managing by the Numbers: Absentee Ownership and the Decline of American Industry (New York: Addison-Wesley, 1988).
359
Проблема еще серьезнее за границей. Марк Цукерберг однажды отметил: «Белка, которая умерла у вас в саду, может быть для вас важнее, чем люди, умирающие в Африке». См.: Jaigris Hodson, “When a Squirrel Dies: The Rapid Decline of Local News,” The Conversation, September 13, 2017, https://theconversation.com/when-a-squirrel-dies-the-rapid-decline-of-local-news-82120. Это замечание стало честным отражением неоколониальной ментальности крупнейших технологических фирм. См.: Nick Couldry and Ulises A. Mejias, The Costs of Connection How Data Is Colonizing Human Life and Appropriating It for Capitalism (Redwood City: Stanford University Press, 2019).
360
Rahel Jaeggi, Alienation (trans. Frederick Neuhouser and Alan E. Smith) (New York: Columbia University Press, 2014), 1.
361
Britt Paris and Joan Donovan, Deepfakes and Cheap Fakes: The Manipulation of Audio and Visual Evidence (New York: Data & Society, 2019).
362
Mike Butcher, “The Robot-Recruiter Is Coming – VCV’s Al Will Read Your Face in a Job Interview,” TechCrunch, April 23, 2019, https:// techcrunch.com/2019/o4/23/the-robot-recruiter-is-coming-vcvs-ai-will-read-your-face-in-a-job-interview/.
363
Miranda Bogen and Aaron Rieke, Help Wanted: An Examination of Hiring Algorithms, Equity, and Bias (Washington, DC: Upturn, 2018), htt-ps://www. upturn.org/static/reports/2018/hiring-algorithms/files/ Upturn%20 – %20Help%20Wanted%20-%20An%20Exploration%20 of%20Hiring%20Algorithms,%20Equity%20and%20Bias.pdf.
364
Есть много примеров того, как технология, оценивающая людей, может воспроизводить и закреплять прежние формы незаслуженных привилегий, нечестных и неблагоприятных условий. См.: Ruha Benjamin, Race after Technology: Abolitionist Tools for the New Jim Code (Cambridge, UK: Polity Press, 2019); Safiya Umo-ja Noble, Algorithms of Oppression: How Search Engines Reinforce Racism (New York: New York University Press, 2018).
365
“Fairness, Accountability, and Transparency in Machine Learning,” FAT / ML, accessed May 1, 2020, https://www.fatml.org/.
366
James Vincent, “All of These Faces Are Fake Celebrities Spawned by Al,” Verge, October 30, 2017, https://www.theverge.com/2017/10/30/ 16569402/ai-generate-fake-faces-celebs-nvidia-gan.
367
Daniel J. Solove, “Privacy and Power: Computer Databases and Metaphors for Information Privacy,” Stanford Law Review 53 (2001): 1393–1462; Philip K. Dick, Ubik (New York: Doubleday, 1969).
368
Jathan Sadowski and Frank Pasquale, “The Spectrum of Control: A Social Theory of the Smart City,” First Monday 20, no. 7 (2015), htt-ps://doi.org/io.52io/fm.v2017.59O3.
369
Дискуссию специалистов по компьютерным наукам, использующим неэффективность в дизайне для того, чтобы «оставить место для человеческих ценностей», см.: Ohm and Jonathan Frankel, “Desirable Inefficiency,” Florida Law Review 70, no. 4 (2018): 777–838. Обсуждение того, как неэффективность дизайна противоречит устремлениям программистов, см. в: Clive Thompson, “Coders’ Primal Urge to Kill Inefficiency – Everywhere,” Wired, March 19, 2019, https://www.wired.com/story/coders-efficiency-is-beautiful/?curator=TechREDEF.
370
Arjun Jayadev and Samuel Bowles, “Guard Labor,” Journal of Development Economics no. 2 (2006): 328–348.
371
I. Bennett Capers, “Afrofuturism, Critical Race Theory, and Policing in the Year 2044,” New York University Law Review 94, no. 1 (2019): 1-60. См. также: William H. Simon, “In Defense of the Panopticon,” Boston Review 39, no. 5 (2014): 58–74.
372
Anthony Funnell, “Internet of Incarceration: How Al Could Put an End to Prisons As We Know Them,” ABC News, August 14, 2017, https://www.abc.net.au/news/2017-o8-14/how-ai-could-put-an-end-to-prisons-as-we-know-them/8794910.
373
Funnell, “Internet of Incarceration.”
374
Benjamin, Race after Technology, 137.
375
В az Dreisinger, Incarceration Nations: A Journey to Justice in Prisons around the World (New York: Other Press, 2016).
376
Big Brother Watch, “Face Off: Stop the Police Using Authoritarian Facial Recognition Cameras,” March 15, 2019, https://bigbrotherwatch. org.uk/all-campaigns/face-off-campaign/#breakdown.
377
Kevin Arthur, “Hartzog and Selinger: Ban Facial Recognition,” Question Technology (blog), August 4, 2018, https://www.questiontechnol-0gy.0rg/2018/08/04/hartz0g-and-selinger-ban-facial-rec0gniti0n/; Woodrow Hartzog and Evan Selinger, “Surveillance As Loss of Obscurity,” Washington and Lee Law Review 72 (2015): 1343–1388.
378
Joy Buolamwini and Timnit Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification,” Proceedings of Machine Learning Research 81 (2018): 1-15, http://proceedings. mlr.press/v8i/buolamwini18a/buolamwini18a.pdf.
379
Richard Feloni, “An MIT Researcher Who Analyzed Facial Recognition Software Found Eliminating Bias in Al Is a Matter of Priorities,” Business Insider, January 23, 2019, https://www.businessinsider.com/ biases-ethics-facial-recognition-ai-mit-joy-buolamwini-2019-1.
380
Jacob Snow, “Amazon’s Face Recognition Falsely Matched 28 Members of Congress with Mugshots,” ACLU, July 26, 2018, https:// www.aclu.org/blog/privacy-technology/surveillance-technologies/ amazons-face-recognition-falsely-matched-28.
381
Zoe Samudzi,“BotsAreTerribleat Recognizing Black Faces. Let’s Keep It that Way,” Daily Beast, February 8,2019, https://www.thedailybeast.com/ bots-are-terrible-at-recognizing-black-faces-lets-keep-it-that-way.
382
Alondra Nelson ((Hjalondra), “Algorithmic Accountability Is Tremendously Important. Full Stop,” Twitter, February 9, 208, 5:48 p. m., htt-ps://twitter.com/alondra/status/962095979553OO9665.
383
Evan Selinger and Woodrow Hartzog, “What Happens When Employers Can Read Your Facial Expressions?” New York Times, October 17, 2019, https://www.nytimes.com/2019/1o/17/opinion/facial-recognition-ban.html.
384
Подробный анализ следствий такого универсального наблюдения см. в: John Gillion and Torin Monahan, Supervision: An Introduction to the Surveillance Society (Chicago: University of Chicago Press, 2012); Ian G. R. Shaw, Predator Empire: Drone Warfare and Full Spectrum Dominance (Minneapolis: University of Minnesota Press, 2018).
385
Evan Selinger and Woodrow Hartzog, “Opinion: It’s Time for an About-Face on Facial Recognition,” Christian Science Monitor, June 22, 2015, https://www.csmonitor.com/World/Passcode/Passcode-Voices/ 2015/0622/Opinion-It-s-time-for-an-about-face-on-facial-recognition.
386
Amy Hawkins, “Beijing’s Big Brother Tech Needs African Faces,” Foreign Policy, July 24, 2018, https://foreignpolicy.com/2018/o7/24/ beijings-big-brother-tech-needs-african-faces/.
387
Darren Byler, “China’s Hi-Tech War on Its Muslim Minority,” Guardian, April 11, 2019, https://www.theguardian.com/news/2019/apr/11/ china-hi-tech-war-on-muslim-minority-xinjiang-uighurs-surveillance-face-recognition; Chris Buckley, Paul Mozur, and Austin Ramzy, “How China Turned a City into a Prison,” New York Times, April 4, 2019, https://www.nytimes.com/interactive/2019/04/04/w0rld/asia/xinjiang-china-surveillance-prison.html; Mozur, “One Month, 500,000 Face Scans.”
388
Luke Stark, “Facial Recognition Is the Plutonium of Al,” XRDS: Crossroads, The ACM Magazine for Students 25, no. 3 (Spring 2019): 50–55; Woodrow Hartzog and Evan Selinger, “Facial Recognition Is the Perfect Tool for Oppression,” Medium, August 2, 2018, https://medium.com/ s/s tory/facial-recognition-is-the-perfect-tool-for-oppression-bc2ao8fofe66.
389
Robert Pear, “On Disability and on Facebook? Uncle Sam Wants to Watch What You Post,” New York Times, March 10, 2019, https://www. nytimes.com/2019/o3/1o/us/politics/social-security-disability-trump-facebook.html.
390
Julie Е. Cohen, Configuring the Networked Self: Law, Code, and the Play of Everyday Practice (New Haven: Yale University Press, 2012). Концепция Коэн о семантической прерывности применима и в сети, где она также защищает пространства анонимности.
391
Margaret Hu, “Big Data Blacklisting,” Florida Law Review 67 (2016): 1735–1809; Eric J. Mitnick, “Procedural Due Process and Reputational Harm: Liberty as Self-Invention,” University of California Davis Law Review 43 (2009): 79-142.
392
Sam Levin, “Face-Reading Al Will Be Able to Predict Your Politics and IQ, Professor Says,” Guardian, September 12, 2017, https:// www.theguardian.com/technology/2017/sep/12/artificial-intelligence-face-recognition-michal-kosinski.
393
Sam Biddle, “Troubling Study Says Artificial Intelligence Can Predict Who Will Be Criminals Based on Facial Features,” Intercept, November 18, 2016, https://theintercept.com/2016/11/18/troubling-study-says-artificial-intelligence-can-predict-who-will-be-criminals-based-on-facial-features/.
394
Matt McFarland, “Terrorist or Pedophile? This Start-Up Says It Can Out Secrets by Analyzing Faces,” Washington Post, May 24, 2016, htt-ps://www.washingtonpost.com/news/innovations/wp/20i6/o5/24/ terrorist-or-pedophile-this-start-up-says-it-can-out-secrets-by-analyzing-faces/?noredirect=on&utm_term=.5ao60615a547. Компания Faception намеревается также классифицировать людей и в более позитивных категориях. См.: Faception, “Our Technology,” https://www.faception.com/our-technology.
395
Dan McQuillan, “People’s Councils for Ethical Machine Learning,” Social Media + Society, April-June 2018: 1-10.
396
Judea Pearl and Dana McKenzie, The Book of Why: The New Science of Cause and Effect (New York: Basic Books, 2018).
397
Frank Pasquale and Glyn Cashwell, “Prediction, Persuasion, and the Jurisprudence of Behaviourism,” University of Toronto Law Journal 68 supp. (2018): 63–81. Также мы должны с осторожностью относиться к данным, основанным на практиках, которые, как было доказано, являются дискриминационными. См.: Rashida Richardson, Jason М. Schultz, and Kate Crawford, “Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice, ” New York University Law Review 94 (2019): 192–233.
398
Fabio Ciucci, “Al (Deep Learning) Explained Simply,” Data Science Central (blog), November 20, 2018, https://www.datasciencecentral. com/profiles/blogs/ai-deep-learning-explained-simply («Методы машинного обучения дают сбой, когда прежние данные достаточно быстро становятся менее значимыми или просто ложными, что бывает часто. Задача или выученные правила должны оставаться теми же, самое большее – изредка обновляться, чтобы вы могли заново провести обучение»).
399
Kiel Brennan-Marquez, “Plausible Cause: Explanatory Standards in the Age of Powerful Machines,” Vanderbilt Law Review 70 (2017): 1249–1302.
400
Robert Н. Sloan and Richard Wagner, “Avoiding Alien Intelligence: A Plea for Caution in the Use of Predictive Systems,” https://papers. ssrn.com/s0l3/papers.cfm?abstract_id=3i63664; Guido Noto La Die-ga, “Against the Dehumanization of Decision-Making: Algorithmic Decisions at the Crossroads of Intellectual Property, Data Protection, and Freedom of Information,” Journal of Intellectual Property, Information Technology andE-commerce Law 9, no. 1 (2018): https://www.jipitec. eu/issues/jipitec-9-1-2018/4677.
401
Patrick Tucker, “The US Military Is Creating the Future of Employee Monitoring,” Defense One, March 26, 2019, https://www.defen-seone.com/technology/2019/o3/us-military-creating-future-employee-monitoring/155 8 2 4/.
402
О ненадежности полиграфа и его запрете в контекстах найма в США см.: Joseph Stromberg, “Lie Detectors: Why They Don’t Work, and Why Police Use Them Anyway,” Vox, Dec 15, 2014, https://www. vox.com/2014/8/14/5999119/polygraphs-lie-detectors-do-they-work.
403
Цит. по ее интервью в: Martin Ford, Architects of Intelligence: The Truth about Al from the People Building It (Birmingham, UK: Packt Publishing, 2018), 217; Мартин Форд, Архитекторы интеллекта: вся правда об искусственном интеллекте от его создателей (Санкт-Петербург: Питер, 2020), 176 (перевод исправлен. – Прим. пер.}.
404
Ifeoma Ajunwa, Kate Crawford, and Jason Schulz, “Limitless Worker Surveillance,” California Law Review 105 (2017): 735–776.
405
Marika Cifor, Patricia Garcia, T. L. Cowan, Jasmine Rault, Tonia Sutherland, Anita Say Chan, Jennifer Rode Anna Lauren Hoffmann, Niloufar Salehi, and Lisa Nakamura, Feminist Data Manifest-No, htt-ps://www.manifestno.com/.
406
Danielle Keats Citron and Frank Pasquale, “The Scored Society: Due Process for Automated Predictions,” Washington Law Review 89 (2014): 1-34. Одним из наиболее амбициозных предложений, нацеленных на устранение угроз конфиденциальности, обсуждавшихся в этой главе, является закон «О подотчетности и прозрачности данных» (Data Accountability and Transparency Act) 2020 г., внесенный на рассмотрение сенатором США Шерродом Брауном.
407
Privacy International, “Case Study: Fintech and the Financial Exploitation of Customer Data,” August 30, 2017, https://www.pri-vacyinternational.org/case-studies/757/case-study-fintech-and-f inancial-exploitation-customer-data.
408
Ibid.
409
Rachel Botsman, “Big Data Meets Big Brother as China Moves to Rate its Citizens,” Wired, Oct. 21, 2017. For a scholarly analysis of SCS’s, see Yu-Jie Chen, Ching-Fu Lin, and Han-Wei Liu, “ ‘Rule of Trust’: The Power and Perils of China’s Social Credit Megaproject,” Columbia Journal of Asian Law 32 (2018): 1-36.
410
James Rufus Koren, “Some Lenders Are Judging You on Much More Than Your Finances,” Los Angeles Times, December 19, 2015, https://www. latimes.com/business/la-fi-new-credit-score-20151220-story.html.
411
Ryen W. White, Р. Murali Doraiswamy, and Eric Horvitz, “Detecting Neurogenerative Disorders from Web Search Signals,” NPJ Digital Medicine 1 (2018): article no. 8, https://www.nature.com/articles/ s41746-018-0016-6.pdf.
412
Louise Seamster and Raphael Charron-Chenier, “Predatory Inclusion and Education Debt: Rethinking the Racial Wealth Gap,” Social Currents 4 (2017): 199–207.
413
Donald Bradley, “КС Man Pays $50,000 Interest on $2,500 in Payday Loans,” Kansas City Star, May 17, 2016, https://www.kansascity.com/ news/local/article78174997.html.
414
“I Borrowed £150… Now I Owe £iok: Christmas Warning over Payday Loans,” Sun, December 16, 2012, updated April 4, 2016, https://www. thesun.co.uk/archives/news/342926/i-borrowed-15o-now-i-owe-1ok/.
415
Kevin P. Donovan and Emma Park, “Perpetual Debt in the Silicon Savannah,” Boston Review, September 20, 2019, http://bostonreview.net/ class-inequality-global-jus tice/kevin-p-dono van-emma-park-perpetual-debt-silicon-savannah.
416
Tressie McMillan Cottom, Lower Ed: The Troubling Rise of For-Profit Colleges in the New Economy (New York: The New Press, 2018).
417
Lauren Berlant, Cruel Optimism (Durham, NC: Duke University Press, 2011); David J. Blacker, The Falling Rate of Earning and the Neoliberal Endgame (Washington, DC: Zero Books, 2013); Andrew McGettigan, The Great University Gamble: Money, Markets and the Future of Higher Education (London: Pluto Press, 2013); Christopher Newfield, The Great Mistake: How We Wrecked Public Universities and How We Can Fix Them (Baltimore: Johns Hopkins University Press, 2016).
418
Frank Pasquale, “Democratizing Higher Education: Defending and Extending Income Based Repayment Programs,” Loyola Consumer Law Review 28 (2015): 1-30.
419
В США тоже есть такая программа, но реализуется она настолько плохо, что ее сложно рекомендовать. Например, в соответствии с ней, кредиты должны прощаться после десяти лет государственной службы, но из первой группы в тысячу истцов менее 1 % получили удовлетворение. См.: Annie Nova, “Here Are the Facts about Public Service Loan Forgiveness,” CNBC, December 21, 2018, https://www.cnbc.com/2018/12/21/1-percent-of-people-were-approved-for-public-service-loan-forgiveness.html. Частные компании, обслуживающие американское студенческое кредитование, зарабатывают тем больше денег, чем дольше они держат заемщиков на крючке выплат, поэтому документы они обрабатывают с крайней медлительностью (а поданные формы часто теряют). Очевидный вывод, который можно сделать из американского опыта, состоит в том, что лучше всего – это простая и ясная программа, которая не должна управляться организациями, заинтересованными в сохранении задолженности.
420
Также исследователи признают ограниченность кредитов как формы социального обеспечения. См.: Abbye Atkinson, “Rethinking Credit as Social Provision,” Stanford Law Review 71 (2019): 1093–1162.
421
Adam Kotsko, Creepiness (Washington, DC: Zero Books, 2015); см. также: Omer Tene and Jules Polonetsky, “A Theory of Creepy: Technology, Privacy, and Shifting Social Norms,” Yale Journal of Law and Technology 16 (2014): 59-102, где приводятся примеры в контексте конфиденциальности, когда «нездоровое поведение давит на традиционные социальные нормы».
422
Например, см.: Jessica Leber, “This New Kind of Credit Score Is All Based on How You Use Your Cell Phone,” Fast Company, April 27, 2016, https://www.fastcompany.com/3058725/this-new-kind-of-credit-score-is-all-based-on-how-you-use-your-cellphone, где обсуждаются гарантии компании Equifax, утверждающей, что в ней были достойные практики безопасности данных и конфиденциальности.
423
ACLU of California, “Metadata: Piecing Together a Privacy Solution,” February 2014, https://www.aclunc.org/sites/default/files/Metada-ta%20report%20FINAL%202%202i%20i4%20cover%20%2B%20in-side%20for%20web%20%283%29.pdf.
424
Ajunwa, Crawford, and Schultz, “Limitless Workplace Surveillance.”
425
Шошана Зубофф, Эпоха надзорного капитализма: битва за человеческое будущее на новых рубежах власти (Москва: Издательство Института Гайдара, 2022).
426
Davis Polk, “Time to Get Serious about Microchipping Employees and Biometric Privacy Laws,” Law Fuel, February 14, 2019, http://www.lawfuel.com/blog/time-to-get-serious-about-microchipping-employees-and-biometric-privacy-laws/.
427
Clement Yongxi Chen and Anne S. Y. Cheung, “The Transparent Self under Big Data Profiling: Privacy and Chinese Legislation on the Social Credit System,” Journal of Comparative Law 12 (2017): 356–378.
428
State Council Notice, Planning Outline for the Construction of a Social Credit System, исходный текст и английский перевод доступны в: China Copyright and Media (June 14, 2014, updated April 25, 2015), htt-ps://chinacopyrightandmedia.wordpress.com/20i4/o6/i4/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/. Исходный официальный текст доступен на сайте китайского правительства: http://www.gov.cn/zhengce/content/2014-o6/27/ content_8913.htm.
429
Evelyn Cheng and Shirley Tay, “China Wants to Track and Grade Each Citizen’s Actions – It’s in the Testing Phase,” CNBC, July 25, 2019, https://www.cnbc.com/2019/07/26/china-s0cial-credit-system-still-in-testing-phase-amid-trials.html. См. также: Sophia Yan, “The Village Testing China’s Social Credit System: Driven by Big Data, Its Residents Earn a Star Rating/’ South China Morning Post, June 2, 2019, https://www.scmp.com/magazines/post-magazine/long-reads/ article/3012574/village-testing-chinas-social-credit-system.
430
Cheng and Tay, “China Wants to Track and Grade Each Citizen’s Actions.” Ченг и Тай цитируют доклад Credit China о тестировании системы социального кредита в Жунчэне (провинция Шаньдун), выпущенный 5 февраля 2018 г. и доступный на сайте китайского правительства: https:// www.creditchina.gov.cn/chengxinwenhua/chengshichengxinwen-hua/201802/t20180205_io8i68.html.
431
Cheng and Tay, “China Wants to Track and Grade Each Citizen’s Actions.”
432
Чен и Чеун назвали этот эффект волновым. См.: Yongxi Chen and Anne S. Y. Cheung, “The Transparent Self under Big Data Profiling: Privacy and Chinese Legislation on the Social Credit System,” Journal of Comparative Law 12 (2017): 356–378. Он напоминает «косвенный ущерб» уголовного приговора или нарушения долговых обязательств в США. См., например: Michael Pinard, “Collateral Consequences of Criminal Convictions: Confronting Issues of Race and Dignity,” New York University Law Review 85 (2010): 457–534.
433
Southern Metropolis Daily, “The Parents Owed Their Debts, and 31 Children Were Recommended by the Court to Drop Out of School,” sr/mgy/, July 18, 2018, https://rn.21jingji.com/article/20180718/herald/ baoff13df6dcb5196cdcb6f886e4726b.html. Этот аспект оценки репутации описывается и критикуется в: Hu Jianmiao, “Can the Children of Those Who Run Red Lights be Restricted from Attending School,” Legal Daily, January 13, 2016, http://opinion.people.com.cn/ m/20i6/oii3/cioo3-28046944.html. Критика Ху указывает на надежные основания, позволяющие противостоять сетевым следствиям в рамках самой правовой системы Китая.
434
Jay Stanley, “China’s Nightmarish Citizen Scores Are a Warning for Americans,” ACLU (blog), October 5, 2015, https://www.aclu.org/ blog/privacy-technology/consumer-privacy/chinas-nightmarish-citizen-scores-are-warning-americans.
435
Возможно, предугадывая негативные репутационные эффекты, гонконгские протестующие против Билля об экстрадиции (2019) использовали маски, карты системы Octopus и лазеры, чтобы подорвать системы распознавания лиц, которые могли бы навсегда стигматизировать их, определив в качестве диссидентов или неблагонадежных.
436
Жиль Делез, «Post scriptum к обществам контроля», в: Жиль Делез, Переговоры (Санкт-Петербург: Наука, 2004); Frank Pasquale, “The Algorithmic Self,” Hedgehog Review, Spring 2015.
437
Nathan Vanderklippe, “Chinese Blacklist an Early Glimpse of Sweeping New Social-Credit Control,” Globe and Mail, January 3, 2018, updated January 18, 2018, https://www.theglobeandmail.com/news/world/ chinese-blacklist-an-early-glimpse-of-sweeping-new-social-credit-control/article374933oo/; Frank Pasquale and Danielle Keats Citron, “Promoting Innovation while Preventing Discrimination: Policy Goals for the Scored Society,” Washington Law Review 89 (2014): 1413–1424; Citron and Pasquale, “The Scored Society.”
438
Dan McQuillan, “Algorithmic States of Exception,” European Journal of Cultural Studies 18 (2015): 564–576.
439
Jathan Sadowski and Frank Pasquale, “The Spectrum of Control: A Social Theory of the Smart City,” First Monday 20, no. 7 (July 6, 2015), https://firstmonday.org/article/view/5903/466o.
440
Violet Blue, “Your Online Activity Is Now Effectively a Social ‘Credit Score,’ ” https://www.engadget.com/2020/o1/17/your-online-activity-effectively-social-credit-score-airbnb/.
441
Audrey Watters, “Education Technology and the New Behaviorism,” HackEducation (blog), December 23, 2017, http://hackeducation. com/2017/12/23/top-ed-tech-trends-social-emotional-learning.
442
Michael Walzer, Spheres of Justice: A Defense of Pluralism and Equality (New York: Basic Books, 1984).
443
О силе и ограниченности утилитаристских и деонтологических теорий см.: Cohen, Configuring the Networked Self Расходясь с западными стандартами либерализма, философия Уолцера хорошо стыкуется с теориями социальной гармонии, которые часто ассоциируются с восточноазиатскими философиями.
444
В идеале значение должны иметь не только корреляции, но и описания причинно-следственной связи. См., например: Kiel Brennan-Marquez, “ ‘Plausible Cause’: Explanatory Standards in the Age of Powerful Machines,” Vanderbilt Law Review 70 (2018): 1249–1301. Мы можем понять, почему задержки платежей в прошлом должны получить кредитную оценку; записывать их – честная игра. Но применять в таких суждениях другие большие данные, не ограничивающиеся ролью человека в качестве должника, уже не так законно, как бы хорошо они ни предсказывали проблемы с выплатами.
445
Jurgen Habermas, The Theory of Communicative Action, vol. 2, Lifeworld and System: A Critique of Functionalist Reason, trans. Thomas McCarthy (Boston, MA: Beacon Press, 1987). Введение в эти идеи см. в: Hugh Baxter, “System and Lifeworld in Habermas’s Theory of Law,” Cardozo Law Review 23 (2002): 473–615.
446
Ирония формулировки Хабермаса (восходящей ко временам, когда «экспертные системы» ИИ можно было легко проинтерпретировать) в том, что метафора «юридификации» указывала на правовое поле как особенно непрозрачную и излишне сложную методику социального упорядочивания, тогда как сегодня базовый для правовой системы стандарт обоснования становится стандартом подотчетности, если применить его к автоматизированным системам.
447
Эта инструментализация самого себя критикуется как разновидность отчуждения в работе: Hartmut Rosa, Resonance: A Sociology of Our Relationship to the World, trans. James Wagner (Cambridge, UK: Polity Press, 2019). См. также: Richard M. Re and Alicia Solow-Niederman, “Developing Artificially Intelligent Justice,” Stanford Technology Law Review 22 (2019): 242, 275, где обсуждается отчуждение от автоматизированных систем.
448
David Beer, The Data Gaze: Capitalism, Power and Perception (Los Angeles: Sage, 2018); Бруссард, Искусственный интеллект: пределы возможного.
449
Charles Taylor, “Foucault on Freedom and Truth,” Political Theory 12, no. 2 (1984): 152–183.
450
Уильям Дэвис, Нервные государства (Москва: ACT, 2021).
451
Adolph A. Berle, Power (New York: Harcourt, 1969); John Gaventa, Power and Powerlessness: Quiescence and Rebellion in an Appalachian Valley (Urbana: University of Illinois Press, 1980); Стивен Льюке, Власть: радикальный взгляд (Москва: Издательский дом ГУ ВШЭ, 2010).
452
Jonathan Schell, The Unconquerable World: Power, Nonviolence, and the Will of the People (New York: Metropolitan Books, 2003).
453
Elizabeth Warren and Amelia Warren Tyagi, The Two-Income Trap: Why Middle-Class Mothers and Fathers Are Going Broke (New York: Basic Books, 2003); Robert Frank, Falling Behind: How Rising Inequality Harms the Middle Class (Berkeley: University of California Press, 2007).
454
Pasquale, “Reclaiming Egalitarianism in the Political Theory of Campaign Finance Reform,” (2008): 599–660.
455
David Silver, Julian Schrittwieser, Karen Simonyan, loannis Antono-glou, Aja Huang, Arthur Guez, Thomas Hubert et al., “Mastering the Game of Go without Human Knowledge,” Nature 550 (2017): 354-359-
456
Peter Galison, “The Ontology of the Enemy: Norbert Wiener and the Cybernetic Vision,” Critical Inquiry 21 (1994): 228–266.
457
Future of Life Institute, “Slaughterbots,” YouTube, November 13, 2017, https://www.youtube.com/watch?v=HipTO_7mUOw; Jessica Gussins, “Al Researchers Create Video to Call for Autonomous Weapons Ban at UN,” Future of Life Institute, November 14, 2017, https://futu-reoflife.org/2017/11/14/ai-researchers-create-video-call-autonomous-weapons-ban-un/?cn-reloaded=i.
458
Shane Harris, “The Brave New Battlefield,” Defining Ideas, September 19, 2012, http://www.hoover.org/research/brave-new-battlefield; Benjamin Wittes and Gabriella Blum, The Future of Violence- Robots and Germs, Hackers and Drones: Confronting the New Age of Threat (New York: Basic Books, 2015).
459
Gabriella Blum, “Invisible Threats,” Hoover Institution: Emerging Threats, 2012, https://www.hoover.org/sites/default/files/research/ docs/emergingthreats_blum.pdf.
460
P. W. Singer and August Cole, Ghost Fleet: A Novel of the Next World War (New York: Houghton, 2015).
461
P. W. Singer, “Military Robots and the Future of War,” TED talk, February 2009, https://www.ted.com/talks/pw_singer_on_robots_of_ war; P. W. Singer, “News and Events,” https://www.pwsinger.com/ news-and-events/; MCOE Online, “August Cole Discusses Future Fighting Possibilities,” YouTube, March 3, 2016, https://www.you-tube.com/watch?v=vl_J9_x-yOk.
462
Анатолий Днепров, Крабы идут по острову (Москва: Мир, 1968), ю: «…Я ведь вам сказал, что хочу усовершенствовать свои автоматы. – Ну так что же? Берите чертежи и думайте, как это сделать. При чем же тут эта междоусобица? Этак они начнут пожирать друг друга! – Вот именно! И выживут самые совершенные». (Благодарю Майкла Фрумкина за то, что он привлек мое внимание к этому рассказу.)
463
Педро Домингос придумал гипотетический Парк роботов по модели Парка юрского периода – «огромная фабрика по производству роботов. Вокруг нее – тысяча квадратных миль джунглей, каменных и не очень… На мастер-классе DARPA [Управления перспективных исследовательских проектов] я предложил эту идею в рамках мысленного эксперимента, и один из присутствующих в зале высших чинов сухо заметил: „Да, это реализуемо“». См.: Петро Домингос, Верховный алгоритм: как машинное обучение изменит наш мир (Москва: Манн, Иванов и Фербер, 2016), 143.
464
Bill Joy, “Why the Future Doesn’t Need Us,” Wired, April 1, 2000, https://www.wired. com/2 000/0 4/j oy- 2/.
465
Brad Turner, “Cooking Protestors Alive: The Excessive-Force Implications of the Active Denial System,” Duke Law & Technology Review n (2012): 332-356
466
Michael Schmitt, “Regulating Autonomous Weapons Might Be Smarter than Banning Them,” Just Security, August 10, 2015, https://www.justse-curity.org/25333/regulating-autonomous-weapons-smarter-banning/.
467
Конечно, могут быть и не распознающие объект роботы-убийцы, которые должны убить всякого, кто встретится им на пути на определенной территории, или любого человека определенной наружности. Они в этом плане напоминают те виды разрушительных вооружений, которые давно учтены военным правом.
468
Ronald Arkin, “The Case for Banning Killer Robots: Counterpoint,” Communications of the ACM 58, no. 12 (2015): 46–47.
469
Noel Е. Sharkey, “The Evitability of Autonomous Robot Warfare,” International Review of the Red Cross 94 (2012): 787–799. Критическую оценку заместительной автоматизации персонала правоохранительных органов см. в: Elizabeth Е. Joh, “Policing Police Robots,” UCLA Law Review Discourse 64 (2016): 516–543.
470
Thomas Gibbons-Neff, “U. S. Troops Deployed to Bolster Security at American Embassy in South Sudan,” Washington Post, July 13, 2016, https://www.washingtonpost.com/news/checkpoint/wp/2016/o7/13/ u-s-troops-deployed-to-bolster-security-at-american-embassy-in-south-sudan/?utm_term=.8825ec86285d; David E. Sanger and Eric Schmitt, “Yemen Withdraws Permission for U. S. Antiterror Ground Missions,” New York Times, February 7, 2017, https://www.nytimes. com/2017/02/07/world/middleeast/yemen-special-operations-missions.html.
471
Peter W. Singer, LikeWar: The Weaponization of Social Media (Boston: Houghton Mifflin Harcourt, 2018); Peter Pomerantsev, “The Hidden Author of Putinism: How Vladislav Surkov Invented the New Russia,” Atlantic, November 7, 2014, https://www.theatlantic.com/international/archive/2014/ii/hidden-author-putinism-russia-viadisiav-surkov/ 382489/.
472
Alexander Kott, David Alberts, Amy Zalman, Paulo Shakarian, Fernando Maymi, Cliff Wang, and Gang Qu, “Visualizing the Tactical Ground Battlefield in the Year 2050: Workshop Report,” US Army Research Laboratory, June 2015, https://www.arl.army.mil/arl-reports/2015/ARL-SR-O327.pdf; Lucy Ash, “How Russia Outfoxes Its Enemies,” BBC News, January 29, 2015, http://www.bbc.com/news/ magazine-31020283.
473
Rebecca Crootof, “The Killer Robots Are Here,” Cardozo Law Review 36 (2015): 1837–1915.
474
1977 Protocol 1 Additional to the Geneva Conventions of August 12, 1949, and Relating to the Protection of Victims of Non-International Armed Conflicts, article 51(3); 1978 Protocol 1 Additional to the Geneva Conventions of August 12, 1949, and Relating to the Protection of Victims of Non-International Armed Conflicts, article 13(3).
475
Bonnie Docherty, Losing Humanity: The Case against Killer Robots (New York: Human Rights Watch, 2012), 31.
476
Mike Crang and Stephen Graham, “Sentient Cities: Ambient Intelligence and the Politics of Urban Space,” Information Communication and Society 10 (2007): 789, 799 («Главным элементом этого нового типа конфликта, который погружает новые „боевые пространства“ в глубь городской гражданской жизни, является мобилизация среды как разведывательной системы. Такое погружение в городские инфраструктуры обеспечивает „осведомленность о боевом пространстве“, необходимую для отслеживания и выцеливания скрывающихся повстанцев, террористов и других „целей“»).
477
Грегуар Шамаю, Теория дрона (Москва: Ad Marginem, 2020), 174; Luke A. Whittemore, “Proportionality Decision Making in Targeting: Heuristics, Cognitive Biases, and the Law,” Harvard National Security Journal 7 (2016): 577, 593 («На каждом этапе командир должен взвешивать вероятности, чтобы выбрать ту категорию или другую. Свяжите эту неопределенность с размытостью терминов, и станет ясно, что принятие решений человеком при соблюдении принципа дискриминации, скорее всего, будет опираться на эвристические принципы оценки вероятностей и предсказания результатов»).
478
1977 Protocol 1 Additional to the Geneva Conventions of August 12, 1949, and Relating to the Protection of Victims of Non-International Armed Conflicts, art. 51(5) (b).
479
United States Air Force Judge Advocate General International and Operations Law Division, Air Force Operations and the Law: A Guidefor Air and Space Forces (Washington, DC: International and Operations Law Division, Judge Advocate General’s Department, 2002), 27.
480
U. C. Jha, Killer Robots: Lethal Autonomous Weapon System Legal, Ethical and Moral Challenges (New Delhi: Vij Books India Pvt. Ltd., 2016).
481
Peter Asaro, Jus Nascendi, “Robotic Weapons, and the Martens Clause,” in Robot Law, ed. Ryan Calo, Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar Publishing, 2016), 377.
482
Ibid., 378. Эта позиция подтверждается моей прежней работой: Frank Pasquale, “A Rule of Persons, Not Machines: The Limits of Legal Automation,” George Washington Law Review yty (2019): 1-55, где описываются недостатки автоматизированного применения права.
483
Quinta Jurecic, “The Lawfare Podcast: Samuel Moyn on ‘How Warfare Became Both More Humane and Harder to End,’ ” Lawfare, October 22, 2016, https://www.lawfareblog.com/lawfare-podcast-samuel-moyn-how-warfare-became-both-more-humane-and-harder-end.
484
Harold Hongju Koh, “The War Powers and Humanitarian Intervention,” Houston Law Review 53 (2016): 971-1034.
485
Шамаю, Теория дрона, ю8.
486
Там же, 172–173 («Если вы можете грохнуть, кого пожелаете, с большой точностью, то из этого еще не следует, что вы теперь лучше научились отличать легитимную мишень от нелегитимной»).
487
См. там же, 177.
488
Размытая граница между обороной и нападением является также темой литературы о кибервойнах (и она же определяла криптографию по крайней мере с 1930-х гг.). См.: Galison, “Ontology of the Enemy.”
489
William Bogard, The Simulation of Surveillance: Hypercontrol in Telematic Societies (New York: Cambridge University Press, 1996), 85.
490
Paul Scharre, Army of None: Autonomous Weapons and the Future of War (New York: Norton, 2018).
491
Kathleen Belew, Bring the War Home: The White Power Movement and Paramilitary America (Cambridge, MA: Harvard University Press, 2018); Andrew Macdonald, The Turner Diaries (Charlottesville, VA: National Vanguard Books, 1999).
492
Brian Massumi, Ontopower: War, Powers, and the State of Perception (Durham, NC: Duke University Press, 2006); Joseph A. Schumpeter, The Economics and Sociology of Capitalism, (Princeton: Princeton University Press, 1991), 157.
493
Peter W Singer, Wired for War: The Robotics Revolution and Conflict in the 21st Century (New York: Penguin Books, 2009), 12/.
494
Ibid., 127.
495
Ian Kerr and Katie Szilagyi, “Evitable Conflicts, Inevitable Technologies? The Science and Fiction of Robotic Warfare and IHL,” Law, Culture, and Humanities 14, no. 1 (2014): 45–82, http://lch.sagepub.com/ content/early/20i4/oi/oi/1743872ii3509443.full.pdf+html (описывается, как летальные автономные роботы могут стать «мультипликатором военной необходимости»).
496
Ariel Ezrahi and Maurice E. Stucke, Virtual Competition: The Promise and Perils of the Algorithm-Driven Economy (Cambridge, MA: Harvard University Press, 2016), 13. Ценовые алгоритмы компании Amazon попали в заголовки газет, когда привели к непреднамеренной эскалации цены на книгу Питера Лоуренса «Как сделать муху» (Peter Lawrence, The Making of a Fly). На пике ее цена составляла 23698 655,93 Долл, (плюс 3,99 долл, за доставку).
497
Ezrahi and Stucke, Virtual Competition, 13.
498
Nathanial Popper, “Knight Capital Says Trading Glitch Cost It $440 Million,” New York Times: DealBook, August 2, 2012, https://dealbook. nytimes.com/2012/08/02/knight-capital-says-trading-mishap-c0st-it-440-million/.
499
US Securities and Exchange Commission (SEC) and the US Commodity Futures Trading Commission (CFTC), Findings Regarding the Market Events of May 6, 2010, September 30, 2010, https://www.sec. gov/news/studies/2010/marketevents-report.pdf.
500
Frangoise Hampson, “Military Necessity,” in Crimes of War: What the Public Should Know, 2nd ed., ed. Roy Guttman, David Rieff, and Anthony Dworkin (New York: Norton, 2007), 297.
501
Protocol Additional to the Geneva Conventions of 12 August 1949, and Relating to the Protection of Victims of International Armed Conflicts (Protocol I), December 12, 1977, 1125 U.N.T.S. 609, Art. 1(2); Rupert Ticehurst, “The Martens Clause and the Laws of Armed Conflict,” International Review of the Red Cross 7 у (1997): 133–142; Theodor Meron, “The Martens Clause, Principles of Humanity, and Dictates of Public Conscience,” American Journal of International Law 94 (2000): 78–89.
502
Хотя такие термины, как «общественное сознание», могут быть слишком смутными даже для человеческих юридических решений, определение основополагающих общественных ценностей сыграло важную роль в конституционной юриспруденции США. См. дело Roper v. Simmons, 543 U.S. 551 (2005), где было доказано, что казнь людей, которым на момент совершения преступления, караемого смертной казнью, было менее 18 лет, запрещается Восьмой и Четырнадцатой поправками; см. также дело Atkins v. Virginia, 536 U.S. 304 (2002), в котором было принято решение о том, что смертная казнь – жестокое и необычное наказание для преступников с психическими болезнями, о чем говорит Восьмая поправка.
503
Charli Carpenter, “Science Fiction, Popular Culture, and the Concept of Genocide,” Duck of Minerva (blog), June 10, 2009, http://duck-ofminerva.com/2009/o6/science-fiction-popular-culture-and.html.
504
Campaign to Stop Killer Robots, “About Us,” https://www. stopkill-errobots.org/about-us/.
505
Далее в этой главе под термином «мина» имеется в виду наземная противопехотная мина.
506
Boutros Boutros-Ghali, “The Land Mine Crisis: A Humanitarian Disaster,” Foreign Affairs 73 (September / October 1994): 8-13.
507
Eric Stover, Allen S. Keller, James Cobey, and Sam Sopheap, “The Medical and Social Consequences of Land Mines in Cambodia,” Joz/r-nal of the American Medical Association 272 (1994): 331–336.
508
Ben Wittes and Gabriella Blum, The Future of Violence: Robots and Germs, Hackers and Drones – Confronting a New Age of Threat (New York: Basic Books, 2015), 239.
509
Don Huber, “The Landmine Ban: A Case Study in Humanitarian Advocacy,” Thomas J. Watson Jr. Institute for International Studies 42 (2000), http://www.watsoninstitute.org/pub/op42.pdf.
510
Подробнее о технологиях сетевого подключения мин и «звонка домой» см.: “Along Came a Spider: The ХМ-7 RED Mine,” Defense Industry Daily, August 27, 2013, https://www.defenseindustry-daily.com/along-came-a-spider-the-xm-7-red-o4966/; Lester Haines, “Introducing the ‘Matrix’ Laptop-Triggered Landmine,” Register, April 12, 2005, https://www.theregister.c0.uk/2005/04/12/lap-top_triggered_landmine/; Brian Bergstein, “ ‘Smart’ Land Mines, with Remote Control,” NBC News.com, April 4, 2004, http://www. nbcnews.c0m/id/4664710/ns/techn0l0gy_and_science-science/t/ smart-land-mines-remote-control/.
511
Convention on the Prohibition of the Use, Stockpiling, Production and Transfer of Anti-Personnel Mines and on their Destruction, September 18,1997, 2056 U.N.T.S., 211.
512
Convention on the Prohibition of the Use, Stockpiling, Production and Transfer of Anti-Personnel Mines and on their Destruction.
513
P. W. Singer, “Military Robots and the Laws of War,” New Atlantis 23 (2009): 25-45-
514
Ibid., 44–45. Ребекка Крутоф широко применяла понятие правонарушения в этой области. См.: Rebecca Crootof, “War Torts: Accountability for Autonomous Weapons,” University of Pennsylvania Law Review 164 (2016): 1347–1402.
515
См., например: Samir Chopra and Laurence White, Legal Theory of Autonomous Artificial Agents (Ann Arbor: University of Michigan Press, 2011).
516
Dustin A. Lewis, Gabriella Blum, and Naz K. Modirzadeh, “War-Algorithm Accountability,” Harvard Law School Program on International Law and Armed Conflict Research Briefing, August 2016, https://papers.ssrn.com/soi3/papers.cfmPabstract_icD2832734. В целом работа по атрибуции дронов уже ведется. См.: Joseph Lorenzo Hall, “ ‘License Plates’ for Drones,” CDTBlog, March 8, 2013, https://cdt.org/blog/license-plates-for-drones/.
517
См., например: Hall, “License Plates for Drones”; 14 C.F.R. § 48.100 (2016): в августе 2016 г. все небольшие беспилотные летательные аппараты, за исключением моделей самолетов, требовали регистрации. Об опасностях ^атрибутированных полетов дронов см.: A. Michael Froomkin and Р. Zak Colangelo, “Self-Defense against Robots and Drones,” Connecticut Law Review 48 (2015): 1-70.
518
Ellen Nakashima, “Cyber Researchers Confirm Russian Government Hack of Democratic National Committee,” Washington Post, June 20, 2016, https://www.washingtonpost.com/world/national-security/cyber-researchers-confirm-russian-government-hack-of-democratic-national-committee/20i6/o6/20/e7375bco-3719-ne6-9ccd-d6oo5beac8b3_story.html?utm_term=.9oafb7ecbcc6; Man-diant Consulting, “M-Trends 2016,” February 2016, https://www2. fireeye.com/PPC-m-trends-2016-trends-statistics-mandiant.html.
519
Paul Ohm, “The Fourth Amendment in a World without Privacy,” Mississippi Law Journal 81 (2012): 1346–1347.
520
Paul Scharre, “The False Choice of Humans vs. Automation,” Temple International and Comparative Law Journal 30 (2016): 151–165.
521
Nick Bilton, “Fake News Is about to Get Even Scarier Than You Ever Dreamed,” Vanity Fair, January 26, 2017, http://www.vanityfair.com/ news/2017/oi/fake-news-technology.
522
Paul Ohm and Jonathan Frankel, “Desirable Inefficiency,” Florida Law Review 70 (2018): 777–838. Понятие «гарнизонного государства» было разработано в: Harold D. Lasswell, “The Garrison State,” American Journal of Sociology 46, no. 4 (1941): 455–468.
523
Stockholm International Peace Research Institute, “World Military Expenditure Grows to $1.8 Trillion in 2018,” Sipri, April 29, 2019, https://www.sipri.org/media/press-release/2019/world-military-expenditure-grows-18-trillion-2018.
524
Christopher A. Preble, The Power Problem: How American Military Dominance Makes Us Less Safe, Less Prosperous, and Less Free (Ithaca, NY: Cornell University Press, 2009); John Mueller and Mark Stewart, Chasing Ghosts: The Policing of Terrorism (Oxford: Oxford University Press, 2015).
525
Цит. по: Katrin Bennhold, “ ‘Sadness’ and Disbelief from a World Missing American Leadership, New York Times, April 23, 2020.
526
Andrew Bacevich, The Age of Illusions: How America Squandered Its Cold War Victory (New York: Metropolitan Books, 2020); Nikhil Pal Singh, Quincy Institute for Responsible Statecraft, “Enough Toxic Militarism,” Quincy Brief, December 4, 2019, https://quincyinst. org/2019/12/04/quincy-brief-enough-toxic-militarism/.
527
T. X. Hammes, “The Future of Warfare: Small, Many, Smart vs. Few & Exquisite?” War on the Rocks, July 16, 2014, https://warontherocks. com/2014/07/the-future-of-warfare-small-many-smart-vs-few-exquisite/.
528
Sulmaan Wasif Khan, Haunted by Chaos: China’s Grand Strategy from Mao Zedong to Xi Jinping (Cambridge, MA: Harvard University Press, 2018), 232. Применение Си Цзиньпином «военной силы подорвало более важную стратегическую цель, которую намеревались достичь с ее помощью, а именно стабильность в соседних странах. Такие страны, как Япония и Вьетнам, не отступили, когда столкнулись с угрозой рыболовецкого ополчения и авианосцев. Демонстрация силы, видимо, подтолкнула их самих наращивать военную мощь».
529
Henry Farrell, “Seeing Like a Finite State Machine,” Crooked Timber (blog), November 25, 2019, http://crookedtimber.org/2019/11/25/ seeing-like-a-finite-state-machine/.
530
Robert A. Burton, “Donald Trump, Our A. I. President,” New York Times, May 22, 2017, https://www.nytimes.com/2017/o5/22/opinion/ donald-trump-our-ai-president.html.
531
John Glaser, Christopher H. Preble, and A. Trevor Thrall, Fuel to the Fire: How Trump Made America’s Broken Foreign Policy Even Worse (and How We Can Recover) (Washington, DC: Cato Institute, 2019).
532
Bernard Harcourt, Critique and Praxis (New York: Columbia University Press, 2020).
533
Etel Solingen, Nuclear Logics: Contrasting Paths in East Asia and the Middle East (Princeton: Princeton University Press, 2007), 253.
534
Noam Schreiber and Kate Conger, “The Great Google Revolt,” New York Times Magazine, February 18, 2020, https://www.nytimes.com/ interactive/2020/02/18/magazine/google-revolt.html; Letter from Google Employees to Sundar Pichai, Google Chief Executive, 2018, https://statico1.nyt.com/files/2018/technology/googleletter.pdf; Scott Shane and Daisuke Wakabayashi, “ ‘The Business of War’: Google Employees Protest Work for the Pentagon,” New York Times, April 4, 2018, https://www.nytimes.com/2018/o4/o4/technology/google-letter-ceo-pentagon-project.html.
535
Kate Conger, “Google Removes ‘Don’t Be Evil’ Clause from Its Code of Conduct,” Gizmodo, May 18, 2018, https://gizmodo.com/google-removes-nearly-all-mentions-of-dont-be-evil-from-1826153393.
536
Tom Upchurch, “How China Could Beat the West in the Deadly Race for Al Weapons,” Wired, August 8, 2018, https://www.wired.co.uk/article/ artificial-intelligence-weapons-warfare-project-maven-google-china.
537
Elsa В Kania, “Chinese Military Innovation in the Al Revolution,” RUSI Journal 164, nos. 5–6 (2019): 26–34. «В китайском Тяньцзине новый военно-гражданский центр обработки информации с применением ИИ… расположенный рядом с Национальным суперкомпыотерным центром, был создан местным правительством в партнерстве с Академией военных наук».
538
Ashwin Acharya and Zachary Arnold, Chinese Public Al R&D Spending: Provisional Findings (Washington, DC: Center for Security and Emerging Technology, 2019), https://cset.georgetown.edu/wp-content/up-loads/Chinese-Public-AI-RD-Spending-Provisional-Findings-i.pdf. Ачарья и Арнольд выяснили, что затраты Китая на военный ИИ ниже ранее предполагавшихся.
539
Luciano Floridi and Mariarosaria Taddeo, eds., The Ethics of Information Warfare (Cham, CH: Springer, 2014); Singer and Brooking, LikeWar.
540
Samuel Bowles and Arjun Jayadev, “Guard Labor: An Essay in Honor of Pranab Bardhan,” University of Massachusetts Amherst Working Paper 2004–2015 (2004), https://scholarworks.umass.edu/econ_workingpaper/63/; Harold Lasswell, “The Garrison State,” American Journal of Sociology 46 (1941): 455–468.
541
Ryan Gallagher, “Cameras Linked to Chinese Government Stir Alarm in U. K. Parliament,” Intercept, April 9, 2019, https://thein-tercept.com/2019/04/09/hikvisi0n-cameras-uk-parliament/; Arthur Gwagwa, “Exporting Repression? China’s Artificial Intelligence Push into Africa,” Council on Foreign Relations: Net Politics (blog), December 17, 2018, https://www.cfr.org/blog/exporting-repression-chinas-artificial-intelligence-push-africa.
542
“Companies Involved in Expanding China’s Public Security Apparatus in Xinjiang,” ChinAI Newsletter #11, trans. Jeff Ding, May 21, 2018, https://chinai.substack.com/p/chinai-newsletter-11-companies-involved-in-expanding-chinas-public-security-apparatus-in-xinjiang.
543
Doug Bandow, “The Case for a Much Smaller Military,” Fortune 135, no. 12 (1997): 25–26.
544
Bernard Harcourt, The Counterrevolution: How Our Government Went to War against Its Own Citizens (New York: Public Books, 2018).
545
Имеется в виду Posse Comitatus Act, закон 1878 г., ограничивающий применение федеральным правительством войск и воинского состава для укрепления рядов полиции. – Прим. пер.
546
Sina Najafi and Peter Galison, “The Ontology of the Enemy: An Interview with Peter Galison,” Cabinet Magazine, Fall/Winter 2003, http:// cabinetmagazine.org/issues/12/najafi2.php.
547
William E. Connolly, The Fragility of Things: Self-Organizing Processes, Neoliberal Fantasies, and Democratic Activism (Durham, NG: Duke University Press, 2013).
548
Rosa Brooks, How Everything Became War and the Military Became Everything: Tales from the Pentagon (New York: Simon & Schuster, 2017).
549
Deborah Brautigam, The Dragon’s Gift: The Real Story of China in Africa (New York: Oxford University Press, 2009). См. также: Michael Feher, Rated Agency: Investee Politics in a Speculative Age, trans. Gregory Elliott (New York: Zone Books, 2018).
550
Например, хотя эксперты по здравоохранению предупреждали администрацию Джорджа У. Буша о том, что «лучший способ обуздать биотерроризм – это улучшить управляемость существующих угроз общественному здоровью», чиновники «в срочном порядке состряпали программу вакцинации от сибирской язвы и оспы, основываясь на фантастических сценариях, которым позавидовал бы даже Том Клэнси». См.: Майк Дэвис, Птичий грипп. Глобальная угроза новой пандемии (Москва: Добрая книга, 2006), 177–178 (перевод исправлен. – Прим, перев.). См. также: Amy Kapczynski and Gregg Gonsalves, “Alone against the Virus,” Boston Review, March 13, 2020, http://bostonreview.net/class-inequality-science-nature/ amy-kapczynski-gregg-gonsalves-alone-against-virus.
551
Ian G. R. Shaw, Predator Empire: Drone Warfare and Full Spectrum Dominance (Minneapolis: University of Minnesota Press, 2016).
552
Исследования права и политической экономии выдвигают на передний план эту методологическую инновацию. См.: Jeded-iah S. Britton-Purdy, David Singh Grewal, Amy Kapczynski, and K. Sabeel Rahman, “Building a Law-and-Political-Economy Framework: Beyond the Twentieth-Century Synthesis,” Yale Law Journal 130 (2020): 1784–1835.
553
Martha McCluskey, “Defining the Economic Pie, Not Dividing or Maximizing It,” Critical Analysis of Law 5 (2018): 77–98.
554
Термин «локальный» имеет здесь многозначный смысл, обозначая чувство географической близости к ИИ ⁄ роботизированным системам и в то же время функциональную специальную экспертизу. См.: Clifford Geertz, Local Knowledge: Further Essays in Interpretive Anthropology (New York: Basic Books, 1983).
555
Подробнее о том, как это может быть сделано в секторах промышленности и услуг, которые не рассматриваются в этой книге, см.: Roberto Unger, The Knowledge Economy (New York: Verso, 2019).
556
Roger Boesche, “Why Could Tocqueville Predict So Well?” Political Theory n (1983): 79-103.
557
Joseph Е. Aoun, Robot-Proof: Higher Education in the Age of Artificial Intelligence (Cambridge, MA: MIT Press, 2017).
558
Термин «более передовые способы производства» я заимствую из работы: Unger, The Knowledge Economy.
559
Eliza Mackintosh, “Finland Is Winning the War on Fake News. What It’s Learned May Be Crucial to Western Democracy,” CNN, May 2019, https://www.cnn.com/interactive/2019/05/eur0pe/ finland-fake-news-intl/.
560
В частности, обсуждение кнопок реакции в Facebook см. в: David Auerbach, Bitwise: Му Life in Code (New York: Random House, 2018).
561
Luke Stark, “Algorithmic Psychometrics and the Scalable Subject,” Social Studies of Science 48, no. 2 (2018): 204–231.
562
Avner Offer, The Challenge of Affluence: Self-Control and Well-Being in the United States and Britain since iggo (Oxford: Oxford University Press, 2006); Avner Offer, Rachel Pechey, and Stanley Ulijaszek, eds., Inequality, Insecurity, and Obesity in Affluent Societies (Oxford: Oxford University Press, 2012).
563
Michael Simkovic, “The Knowledge Tax,” University of Chicago Law Review 82 (2015): 1981–2043. В стандартных моделях бюджетов эти вклады обычно не отражаются. См.: Michael Simkovic, “Biased Budget Scoring and Underinvestment,” Tax Notes Federal 166, no. 5 (2020): 75-765.
564
The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems, Ethically Aligned Design: A Vision for Prioritizing Human Well-Being with Autonomous and Intelligent Systems, 1st. ed. (2019), 102.
565
Robert Lee Hale, Freedom through Law (New York: Columbia University Press, 1952).
566
Brishen Rogers, “The Law and Political Economy of Workplace Technological Change,” Harvard Civil Rights-Civil Liberties Law Review Vol. 55, No. 2, Summer 2020.
567
Elizabeth Anderson, Private Government: How Employers Rule Our Lives (And Why We Don’t Talk about It} (Princeton: Princeton University Press, 2018).
568
Veena В. Dubai, “Wage Slave or Entrepreneur?: Contesting the Dualism of Legal Worker Identities,” California Law Review 105 (2017): 101–159; Sanjukta Paul, “Uber as For-Profit Hiring Hall: A Price-Fixing Paradox and Its Implications,” Berkeley Journal of Employment and Labor Law 38 (2017): 233–264.
569
Ответы на критику профессиональных организаций см. в: Sandeep Vaheesan and Frank Pasquale, “The Politics of Professionalism,” Annual Review of Law & Social Science 14 (2018): 309–327.
570
Крайне важны для исследования этих ценностей гуманитарные и социальные науки. Также в решении этой задачи играет свою роль религия, и некоторые религиозные институты иногда комментируют развитие ИИ и роботов. См., например: Pontifical Academy of Sciences and Pontifical Academy of Social Sciences, Final Statement from the Conference on Robotics, Al and Humanity, Science, Ethics and Policy (2019), http://www.academyofsciences.va/content/ac-cademia/en/events/2019/robotics/statementrobotics.html.
571
Charles Duhigg, “Did Uber Steal Google’s Intellectual Property?” New Yorker, October 15, 2018, https://www.newyorker.com/magazine/ 2018/10/22/did-uber-steal-googles-intellectual-property.
572
Ben Green, The Smart Enough City: Putting Technology in Its Place to Reclaim Our Urban Future (Cambridge, MA: MIT Press, 2019).
573
James Kwak, Economism: Bad Economics and the Rise of Inequality (New York: Pantheon Books, 2017).
574
John Lanchester “Good New Idea” London Review of Books 41, no. 14 (2019), https://www.lrb.co.uk/the-paper/v41/n14/john-lanchester/ good-new-idea.
575
Hartmut Rosa, Resonance: A Sociology of Our Relationship to the World, trans. James Wagner (Medford, MA: Polity Press, 2019).
576
Cristobal Orrego, “The Universal Destination of the World’s Resources,” in Catholic Social Teaching, eds. Gerard V. Bradley and E. Christian Brugger (Cambridge, UK: Cambridge University Press, 2019), 267–299.
577
Gar Alperovitz and Lew Daly, Unjust Desserts: How the Rich Are Taking Our Common Inheritance (New York: New Press, 2010); Guy Standing, Basic Income: A Guidefor the Open Minded (New Haven: Yale University Press, 2017).
578
Daren Acemoglu and Pascual Restrepo, “Automation and New Tasks: How Technology Displaces and Reinstates Labor,” Journal of Economic Perspectives 33, no. 2 (2019): 3, 25.
579
Elizabeth Warren United States Senator for Massachusetts, “Senator Warren Unveils Proposal to Tax Wealth of Ultra-Rich Americans,” press release, January 24, 2019, https://www.warren.senate.gov/news-room/press-releases/senator-warren-unveils-proposal-to-tax-wealth-of-ultra-rich-americans.
580
“Tax on Extreme Wealth,” Issues, Friends of Bernie Sanders, accessed May 13, 2020, https://berniesanders.com/issues/tax-extreme-wealth/.
581
Karl Widerquist, “The Cost of Basic Income: Back-of-the-Envelope Calculations,” Basic Income Studies 12, no. 2 (2017): 1-13.
582
Thomas Piketty, Capital and Ideology (Cambridge, MA: Harvard University Press, 2020).
583
Paul Fain, “Huge Budget Cut for the University of Alaska,” Inside Higher Ed, June 29, 2019, https://www.insidehighered.com/ quicktakes/2019/06/29/huge-budget-cut-university-alaska.
584
Важный источник см. в: Ganesh Sitaraman and Anne L. Alstott, “The Public Option: How to Expand Freedom, Increase Opportunity, and Promote Equality (Cambridge, MA: Harvard University Press, 2019).
585
Pavlina Tcherneva in conversation with David Roberts, “30 Million Americans are Unemployed. Here’s How to Employ Them,” Vox, May 4, 2020, https://www.v0x.c0m/science-and-health/2020/5/4/21243725/ coronavirus-unemployment-cares-act-federal-job-guarantee-green-new-deal-pavlina-tcherneva. Pavlina Tcherneva, “The Job Guarantee: Design, Jobs, and Implementation,” Levy Economics Institute, Working Papers Series No. 902 (2018), https://papers.ssrn.com/s0l3/pa-pers.cfm?abstract_id=3155289.
586
William J. Baumol and William G. Bowen, Performing Arts: The Economic Dilemma (New York: Twentieth Century Fund, 1966).
587
Carolyn Demitri, Anne Effland, and Neilson Conklin, “The 20th Century Transformation of U. S. Agriculture and Farm Policy,” USDA Economic Inf ormation Bulletin 3 (June 2005): 1, 6, https://www.ers.usda.gov/ webdocs/publications/eib3/i3566_eib3_i_.pdf?v=4io55; John Seabrook, “The Age of Robot Farmers,” New Yorker, April 8, 2019, https:// www.newyorker.com/magazine/2019/o4/15/the-age-of-robot-farmers.
588
Ian D. Wyatt and Daniel E. Hecker, “Occupational Changes during the 20th Century,” Monthly Labor Review (2006): 35, 55. Например, фермерство составляло 33 % американской рабочей силы в 2010 г. и только 2,1 % в 2000 г. См.: Donald M. Fisk, “American Labor in the 20th Century,” Monthly Labor Review: US Bureau of Labor Statistics, September 2001, https://www.bls.gov/0pub/mlr/2001/article/american-lab0r-in-the-20th-century.htm. Промышленность (включая горное дело) и строительство составляли 31 % американской рабочей силы в 2ОЮ г. и только 19 % в 1999 г.
589
Jack Balkin, “Information Fiduciaries and the First Amendment,” UC Davis Law Review 49 (2016): 1183–1234. Балкин в основном стремится возложить определенные доверительные обязательства на фирмы и людей, которые разрабатывают и продают системы ИИ, включая роботов.
590
Natasha Dow Schiill, Addiction by Design: Machine Gambling in Law Vegas (Princeton: Princeton University Press, 2012).
591
Goss v. Lopez, 419 U.S. 565 (1975).
592
Frank Pasquale, “Synergy and Tradition: The Unity of Research, Service, and Teaching in Legal Education,” Journal of the Legal Profession 40 (2015): 25–48.
593
David Stark, The Sense of Dissonance: Accounts of Worth in Economic Life (Princeton: Princeton University Press, 2011).
594
Harold J. Wilensky, “The Professionalization of Everyone?” American Journal of Sociology 70, no. 2 (1964): 137–158.
595
Mark Blyth, “End Austerity Now,” Project Syndicate, August 20, 2013, https://www.project-syndicate.org/commentary/why-austerity-is-the-wrong-prescription-for-the-euro-crisis-by-mark-blyth?barrier=accessreg.
596
Phil Wahba and Lisa Baertlein, “McDonald’s, Walmart Feel the Pinch As Low-Income Shoppers Struggle in the Slow Recovery,” Huffington Post, August 16, 2013, http://www.huffingtonpost.com/2013/o8/16/ mcdonalds-walmart-low-income-shoppers_n_3765489.html.
597
Matthew Yglesias, “The Skills Gap Was a Lie,” Vox, January 9, 2019, https://www.vox. com/2 019/1/7/1816 6951/skills-gap-modestino-shoag-ballance.
598
National Science and Technology Council, Committee on Technology, Preparing for the Future of Artificial Intelligence (Executive Office of the President, October 2016), https://www.whitehouse.gov/sites/de-fault/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_ the_future_of_ai.pdf?mc_cid=b2a6abaa55&mc_eid=aeb68cfb98; National Science and Technology Council, Networking and Information Technology Research and Development Subcommittee, The National Artificial Intelligence Research and Development Strategic Plan (Executive Office of the President, October 2016), https://www.whitehouse.gov/sites/default/files/whitehouse_files/microsites/ostp/ N STC/national_ai_rd_s trategic_plan.pdf.
599
Al Now, The Al Now Report: The Social and Economic Implications of Artificial Intelligence Technologies in the Near-Term, September 22, 2016, https://ainowinstitute.org/AI_Now_2016_Report.pdf.
600
Dan Diamond, “Obamacare: The Secret Jobs Program,” Politico, July 13, 2016), http://www.politico.com/agenda/story/2016/o7/ what-is-the-effect-of-obamacare-economy-000164.
601
Alyssa Battistoni, “Living, Not Just Surviving,” Jacobin Magazine, August 2017, https://jacobinmag.com/2017/o8/living-not-just-surviving/.
602
Eamonn Fingleton, In Praise of Hard Industries: Why Manufacturing, Not the Information Economy, Is the Key to Future Prosperity (New York: Houghton Mifflin, 1999); Andy Grove, “How America Can Create Jobs,” B100mberg (July 1, 2010), https://www.b100mberg.com/news/ articles/20io-o7-oi/andy-grove-how-america-can-create-jobs.
603
Douglas Wolf and Nancy Folbre, eds., Universal Coverage of Long-Term Care in the United States Can We Get There from Here? (New York: Russell Sage Foundation, 2012).
604
Nancy Folbre, For Love and Money: Care Provision in the United States (New York: Russell Sage Foundation, 2012).
605
Jason Furman, “Is This Time Different? The Opportunities and Challenges of Al,” Experts Workshop Al Now Institute 2016 Symposium, July 7, 2016, video, 32:39, https://ainowinstitute.org/symposia/vide-os/is-this-time-different-the-opportunities-and-challenges-of-ai.html.
606
Такая оценка квалифицированно проводится в работе: Amala-voyal V. Chari, John Engberg, Kristin N. Ray, and Ateev Mehrotra, “The Opportunity Costs of Informal Elder-Care in the United States: New Estimates from the American Time Use Survey,” Health Services Research 50 (2015): 871–882.
607
Amalavoyal V. Chari, John Engberg, Kristin N. Ray, and Ateev Mehro-tra, “The Opportunity Costs of Informal Elder-Care in the United States: New Estimates from the American Time Use Survey.”
608
Baumol, The Cost Disease, 182.
609
LaRue Allen and Bridget В. Kelly, eds, Transforming the Workplace for Children Birth through Age 8: A Unifying Foundation (Washington, DC: Institute of Medicine and National Research Council of the National Academies, 2015).
610
David S. Fallis and Amy Brittain, “In Virginia, Thousands of Day-Care Providers Receive No Oversight,” Washington Post, August 30, 2014, https://www.washingtonpost.com/sf/investigative/2014/o8/3o/ in-virginia-thousands-of-day-care-providers-receive-no-oversight/?hpid=z3&tid=a_inl&utm_term=.oa5aff6ie742.
611
Stephanie Kelton, The Deficit Myth: Modern Monetary Theory and the Birth of the People’s Economy (New York: Public Affairs, 2020).
612
L. Randall Wray, Modern Monetary Theory, 3d ed. (New York: Palgrave MacMillan, 2012).
613
Мариана Маццукато, Предпринимательское государство: развеем мифы о государстве и частном секторе (Москва: Издательский дом Высшей школы экономики, 2021).
614
Kate Aronoff, Alyssa Battistoni, Daniel Aldana Cohen, and Thea Ri-ofrancos, A Planet to Win: Why We Need a Green New Deal (New York: Verso, 2019).
615
Gregg Gonsalves and Amy Kapczynski, “The New Politics of Care,” Boston Review (2020), http://bostonreview.net/politics/gregg-gonsalves-amy-kapczynski-new-politics-care.
616
Комментарии об этой стороне складывающейся исследовательской повестки С МТ см. в: Nathan Tankus, “Are General Price Level Indices Theoretically Coherent?” http://www.nathantankus.com/ notes/are-general-price-level-indices-theoretically-coherent.
617
Курт Воннегут, Утопия 14. Библиотека современной фантастики, том 12 (Москва: Молодая гвардия, 1967).
618
Эдвард Морган Форстер, Машина останавливается. Гости страны Фантазии (Москва: Мир, 1968).
619
Возможно, однажды мы сможем говорить о «болезни отсутствия издержек», которая будет тщательно изучена в качестве причины значительной части проблем современных медиа. См.: Chris Jay Hoofnagle and Jan Whittington, “Free: Accounting for the Costs of the Internet’s Most Popular Price,” University of California at Los Angeles Law Review 61 (2014): 606–670.
620
Jeff Spross, “How Robots Became a Scapegoat for the Destruction of the Working Class,” Week, April 29, 2019, https://theweek.com/ articles/837759/how-robots-became-scapegoat-destruction-working-class.
621
Daniel Akst, “What Can We Learn from Past Anxiety over Automation?” Wilson Quarterly, Summer 2013, http://wilsonquarterly.com/ quarterly/summer-2014-where-have-all-the-jobs-gone/theres-much-learn-from-past-anxiety-over-automation/.
622
David H. Autor, “Polanyi’s Paradox and the Shape of Employment Growth,” NBER Working Paper No. 20485 (September 2014), http:// www.nber.org/papers/w20485.
623
См., например: Stephen Cave, Kanta Dihal, and Sarah Dillon, eds., Al Narratives: A History of Imaginative Thinking about Intelligent Machines (Oxford: Oxford University Press, 2020).
624
Питер Фрейз считает, что «научная фантастика относится к футуризму так же, как социальная теория к теории заговора – это более содержательное, честное и в то же время скромное предприятие». Он сам пишет в новом жанре социальной научной фантастики, который должен обосновать научно-фантастические спекуляции в области социологии. См.: Peter Frase, Four Futures: Life after Capitalism (New York: Verso, 2016), 27; William Davies, ed., Economic Science Fictions (London: Goldsmiths Press, 2018); Manu Saadia, Trekonomics: The Economics of Star Trek (Oakland, CA: Pipertext, 2016); William Bogard, The Simulation of Surveillance (Cambridge, UK: Cambridge University Press, 1992).
625
Ричард Браун составил каталог таких пересекающихся терминов моральной и онтологической направленности. См.: Richard Н. Brown, A Poetic for Sociology: Toward a Logic of Discovery for the Human Sciences (New York: Cambridge University Press, 1977), 125–126.
626
Шанталь Муфф и Нэнси Фрейзер убедительно описывают (и критикуют) эти риторические позиции. См.: Chantal Mouffe, The Return of the Political (New York: Verso, 2019); Nancy Fraser, The Old Is Dying and the New Cannot Be Born (New York: Verso, 2020).
627
Frank Pasquale, “To Replace or Respect: Futurology as if People Mattered,” Boundary 2 Online, January 20, 2015, https://www.boundary2. org/2015/oi/to-replace-or-respect-futurology-as-if-people-mattered/.
628
О «глубинных историях» см.: Arlie Hochschild, Strangers in Their Own Land: Anger and Mourning on the American Right (New York: New Press, 2016). О базовых нарративных формах см.: George Lakoff, Thinking Points: Communicating Our American Values and Vision (New York: Farrar, Straus and Giroux, 2006).
629
Clifford Geertz, The Interpretation of Cultures (New York: Basic Books, 1973). 89.
630
Убедительный анализ робототехники в контексте поп-культуры см. в: Robert М. Geraci, Apocalyptic Al: Visions of Heaven in Robotics, Artificial Intelligence, and Virtual Reality (New York: Oxford University Press, 2010). В Википедии есть постоянно обновляемая статья «ИИ в кинематографе»: Wikipedia, “List of Artificial Intelligence in Films,” https://en.wikipedia.org/wiki/List_of_artificial_ intelligence_films. Неудивительно, что альтернативного списка «Усиление интеллекта в кинематографе» не существует.
631
Langdon Winner, Autonomous Technology: Technics-out-of-Control as a Theme in Political Thought (Cambridge, MA: MIT Press, 1977).
632
Подобные подходы, вероятно, уже используются рекламщиками: сообщалось, что они применяют изображения, похожие на зрителя, чтобы вызвать положительную реакцию.
633
Yuval Noah Harari, “The Rise of the Useless Class,” Ideas.Ted.com, February 24, 2017, https://ideas.ted.com/the-rise-of-the-useless-class/.
634
Douglas McCollam, “It Is What It Is… But What Is It?” Slate, February 15, 2008, https://slate.com/culture/2008/02/it-is-what-it-is-a-sports-cliche-for-our-times.html.
635
Недавний обзор см. в: Nicholas Weaver, “Inside Risks of Cryptocurrencies,” Communications of the ACM 61, no. 6 (2018): 1–5. Базовые сведения см. в: David Columbia, The Politics of Bitcoin: Software as Right-Wing Extremism (Minneapolis: University of Minnesota Press, 2016).
636
Эта позиция обоснованно критикуется Анджелой Уолш. См.: Angela Walch, “The Path of the Blockchain Lexicon (and the Law),” Review of Banking and Financial Law 36 (2017): 713–765.
637
Evan Osnos, “Doomsday Prep for the Super-Rich,” New Yorker, January 22, 2017, https://www.newyorker.com/magazine/2017/o1/3o/ doomsday-prep-for-the-super-rich.
638
Noah Gallagher Shannon, “Climate Chaos Is Coming – and the Pinkertons Are Ready,” New York Times Magazine, April 10, 2019, https://www.nytimes.com/interactive/2019/04/10/magazine/ciimate-change-pinkertons.html.
639
Douglas Rushkoff, “Survival of the Richest,” Medium, July 5, 2018, https://medium.com/s/futurehuman/survival-of-the-richest-9ef6cd-ddocci; Bill McKibben, Falter: Has the Human Game Begun to Play Itself Out? (New York: Henry Holt, 2019).
640
Frank Pasquale, “Paradoxes of Privacy in an Era of Asymmetrical Social Control,” in Ales Zavrsnik, Big Data, Crime, and Social Control (New York: Routledge, 2018), 31–57.
641
Richard Susskind and Daniel Susskind, The Future of the Professions: How Technology Will Transform the Work of Human Experts (New York: Oxford University Press, 2016), 247.
642
Олаф Стэплдон, Последние и первые люди: история близлежащего и далекого будущего (Москва: ACT, 2004).
643
Devin Fidler, “Here’s How Managers Can Be Replaced by Software,” Harvard Business Review, April 21, 2015, https://hbr.org/2015/04/ heres-how-managers-can-be-replaced-by-software.
644
RAND Corp., “Skin in the Game: How Consumer-Directed Plans Affect the Cost and Use of Health Care,” Research Brief no. RB-9672, 2012, http://www.rand.org/pubs/research_briefs/RB9672/index1.html.
645
Alison Griswold, “Uber Drivers Fired in New York Can Now Appeal before a Panel of Their Peers,” Quartz, November 23, 2016, https://qz.com/843g67/uber-drivers-fired-in-new-york-can-now-appeal-before-a-panel-of-their-peers/.
646
Trebor Scholz and Nathan Schneider, Ours to Hack and to Own: The Rise of Platform Cooperativism (New York: OR Books, 2017).
647
Иэн Макьюэн, Машины как я (Москва: Эксмо, 2019), ю.
648
Там же, 76.
649
Erik Gray, “Machines Like Me, But They Love You,” Public Books, August 12, 2019, https://www.publicbooks.org/machines-like-me-but-they-love-you/.
650
Макьюэн, Машины как я, 175–176.
651
Марк Андреевич отмечает: «Автоматизация следует логике непосредственности (невидимости или исчезновения медиума), которая выступает параллелью с обещаниями виртуальной реальности… Это обещание машинного „языка“, который отличается от человеческого именно тем, что он не является репрезентационным. Для машины нет зазора между знаком и референтом: нет „нехватки“ в языке, который в себе завершен. В этом отношении язык машины является „психотическим“… и совершенствование социальной жизни ищется за счет ее уничтожения». См.: Andrejevic, Automated Media, 72.
652
Richard Powers, Galatea 2.2 (New York: Picador, 1995).
653
Лю Цысинь, Задача трех тел (Москва: Эксмо, Fanzon, 2017). Такое же незрелое описание прозрачности как пути к человеческому совершенствованию было выражено в длинной хвале компании Neuralink Илона Маска. См.: Tim Urban, “Neuralink and the Brain’s Magical Future,” Wait but Why, April 20, 2017, https://waitbut-why.com/2017/04/neuralink.html.
654
Abeba Birhane and Jelle van Dijk, “Robot Rights? Let’s Talk about Human Welfare Instead,” arXiv, January 14, 2020, https://arxiv.org/ abs/2001.05046.
655
Макьюэн, Машины как я, 210.
656
На 20 апреля 2020 г. выражение «безупречный милостивец» (impeccably eleemosynary) Google известно не было. Читатель сразу бы понял, в чем смысл этого выражения, если бы я использовал словосочетание «безупречный филантроп». Однако выбранное мной выражение обладает определенными коннотациями, которые теряются в более простой версии. Если бы я читал эту книгу вслух, я бы передал эти коннотации, произнеся это выражение с нотками сарказма и в то же время смакования, словно чтобы подчеркнуть определенное удовольствие от оценки действий Адама (и в то же время дистанцированность от них). Поведение робота похвально, но какой дух скрывается за ним – да и скрывается ли вообще? Эта моральная неопределенность коренится в старых спорах об относительной ценности веры и трудов, намерения и результатов. Я попытаюсь, пусть и неловко, осмыслить нормативные противоречия, ориентируясь на слово «безупречный», которое в его английском варианте impeccable напоминает о латинском peccavi, означавшем признание в грехе с определенной надеждой на его отпущение. «Милостивец» – необычное и даже устаревшее слово, которое коннотирует странность (и даже примитивность) действий Адама. Подробнее о необходимости сохранять подобные нерегулярности и двусмысленности языка см. мое обсуждение поэмы Лоуренса Джозефа «Кто так говорит?» в: Frank Pasquale, “The Substance of Poetic Procedure,” Law & Literature (2020): 1-46. Я не вижу, как компьютерные системы могли бы, хотя бы в принципе, действительно постичь все выраженные здесь оттенки значений, не говоря уже о тех, что остались в виде полунамека.
657
Макьюэн, Указ, соч., 312.
658
Макьюэн, Машины как я, 315.
659
Там же, 317.
660
Там же, 319.
661
Там же.
662
Там же, 346.
663
Там же.
664
Людвиг Витгенштейн, Философские исследования. Философские работы, ч. 1 (Москва: Гнозис, 1994), 99
665
Художественное описание цифровых сущностей с потенциально ограниченным сроком жизни, но обладающих личностью и интеллектом, см. в: Ted Chiang, The Lifecycle of Software Objects (Burton, MI: Subterranean Press, 2010).
666
Hubert L. Dreyfus, What Computers Still Can’t Do, rev. ed. (Cambridge, MA: MIT Press, 1992). «Мой тезис, который многим обязан Витгенштейну, состоит в том, что всякий раз, когда человеческое поведение анализируется в категориях правил, такие правила всегда должны содержать условие ceteris paribus, то есть они применяются „при прочих равных условиях", и что именно является „прочим", и в чем оно „равно" – все это в каждой конкретной ситуации никогда нельзя прояснить полностью без регресса. Кроме того, это условие ceteris paribus – не просто помеха… Скорее, оно указывает на фон практик, которые являются условием возможности любой правилосообразной деятельности. Объясняя наши действия, мы рано или поздно должны вернуться к нашим повседневным практикам и просто сказать „вот что мы делаем“ или „вот что значит быть человеком". Поэтому в конечном счете любая понятность и любое понятное поведение должны возводиться к нашему ощущению того, кто мы такие, которое, согласно этой логике, если только избегать бесконечного регресса, обязательно является тем, что мы не никогда не можем в явной форме знать» (Ibid., 56–57). Другими словами, «поскольку у разума должна быть своя ситуация, он не может быть отделен от остальной человеческой жизни» (Ibid., 62).
667
Бруссард, Искусственный интеллект: пределы возможного.
668
Carrie Goldberg, Nobody’s Victim: Fighting Psychos, Stalkers, Pervs, and Trolls (New York: Plume, 2019).
669
Sasha Costanza-Chock, Design Justice: Community-Led Practices to Build the Worlds We Need (Cambridge, MA: MIT Press, 2020).
670
George Lakoff and Mark Johnson, Philosophy in the Flesh: The Embodied Mind and the Challenge to Western Thought (New York: Basic Books, 1999), 4.
671
Ник Востром, Искусственный интеллект. Этапы. Угрозы. Стратегии (Москва: Манн, Иванов и Фербер, 2016), 214–215.
672
Примеры таких недостатков см. в: Rana Foroohar, Don’t Be Evil: How Big Tech Betrayed Its Founding Principles – And All of Us (New York: Currency, 2019); Amy Webb, The Big Nine: How the Tech Titans and Their Thinking Machines Could Warp Humanity (New York: Public Affairs, 2019).
673
Байрон Риз весьма категоризирует эти метафизические вопросы в работе: Byron Reese, The Fourth Age: Smart Robots, Conscious Computers, and the Future of Humanity (New York: Simon and Schuster, 2018),15-54.
674
Paul Dumouchel and Luisa Damiano, Living with Robots, trans. Malcolm DeBevoise (Cambridge, MA: Harvard University Press, 2017), 21–23, 167–169.
675
И здесь тоже применимы возражения Сержа Тиссерона на механизированную эмоцию как «запрограммированную иллюзию». См.: Catherine Vincent, “Serge Tisseron: ‘Les Robots vont Modifier la Psychologic Humaine,’” Le Monde, July 12, 2018, https://www. Iemonde.fr/idees/article/2018/o7/12/serge-tisseron-les-robots-vont-modifier-la-psychologie-humaine_5330469_3232.html.
676
Конечно, человеку можно было бы ввести обезболивающее, и, возможно, медицина в будущем сможет применять безопасные и быстродействующие болеутоляющие. Но даже если такой желательный краткосрочный паллиатив возможен, трудно представить, как он мог бы постоянно применяться во время восстановления от травмы, учитывая, что боль может работать в качестве показателя неспособности излечиться.
677
Kiel Brennan-Marquez and Stephen E. Henderson, “Artificial Intelligence and Role-Reversible Judgment,” The Journal of Criminal Law and Criminology 109, no. 2 (2019): 137–164.
678
Matthew Lopez, The Inheritance (London: Faber, 2018), 8.
679
Литературную точку зрения на две эти возможности см. в: Walker Percy, “The Man on the Train,” in Message in a Bottle: How Queer Man Is, How Queer Language Is, and What One Has to Do with the Other (New York: Picador USA, 2000), 83-100.
680
GertJ. J. Bietsa, The Beautiful Risk of Education (London: Routledge, 2016).
681
Brett Frischmann and Evan Selinger, Re-engineering Humanity (Cambridge: Cambridge University Press, 2018), 269–295.
682
Frank Pasquale, “Cognition-Enhancing Drugs: Can We Say No?” Bulletin of Science, Technology, and Society 30, no. 1 (2010): 9-13; John Patrick Leary, “Keywords for the Age of Austerity 19: Resilience,” Keywords: The New Language of Capitalism (blog), June 23, 2015, https://keywordsforcapitalism.com/2015/o6/23/keywords-for-the-age-of-austerity-19-resilience/.
683
Джонатан Крэри, 24/7: поздний капитализм и цели сна (Москва: Издательский дом Высшей школы экономики, 2021).
684
Ray Kurzweil, The Age of Spiritual Machines: When Computers Exceed Human Intelligence (New York: Penguin, 1999), 166.
685
Sean Dorrance Kelly, “A Philosopher Argues That an Al Can’t Be an Artist: Creativity Is, and Always Will Be, a Human Endeavor,” MIT Technology Review, February 21, 2019, https://www.technologyreview. com/s/612913/a-philosopher-argues-that-an-ai-can-never-be-an-artist/.
686
Описание многочисленных пробелов в тесте Тьюринга см. в: Brett Frischmann and Evan Selinger, Re-engineering Humanity.
687
Margaret Boden, Al: Its Nature and Future (Oxford: Oxford University Press, 2016), 119. To же относится и к эмоции, о чем мы говорили, когда обсуждали «заботящихся» роботов в главе 2.
688
Gabe Cohn, “Al Art at Christie’s Sells for $432,500,” New York Times, October 25, 2018, https://www.nytimes.com/2018/10/25/arts/design/ ai-art-sold-christies.html.
689
Tyler Sonnemaker, “No, an Artificial Intelligence Can’t Legally Invent Something – Only ‘Natural Persons’ Can, Says US Patent Office,” Business Insider, April 29, 2020, https://www.businessinsider. com/artificial-inteligence-cant-legally-named-inventor-us-patent-office-ruling-2020-4.
690
Korakrit Arunanondchai, With History in a Room Filled with People with Funny Names 4, 2018, DCP, 24:00; Adriana Blidaru, “How to Find Beauty in a Sea of Data: Korakrit Arunanondchai at CLEARING,” Brooklyn Rail, May 2017, https://br00klynrail.0rg/2017/05/film/H0w-to-find-beau ty-in-a-sea-of-data-Korakrit-Arunanondchai-at-C–L-E-A-R-I-N-G.
691
Lawrence Joseph, “Visions of Labour,” London Review of Books 37, no.
12 (June 18, 2015), https://www.lrb.co.uk/v37/n12/lawrence-joseph/ visions-of-labour. Я хотел бы поблагодарить Джозефа Лоренса за разрешение использовать отрывок из «Картин труда».
692
Anthony Domestico, “An Heir to Both Stevens and Pound,” dotCom-monweal, October 20, 2015, https://www.commonwealmagazine.org/ blog/heir-both-stevens-pound.
693
Chris Arnold, “Despite Proven Technology, Attempts to Make Table Saws Safer Drag on,” NPR, August 10, 2017, https://www.npr. org/2017/08/10/542474093/despite-proven-technology-attempts-to-make-table-saws-safer-drag-on.
694
W. Brian Arthur, “Increasing Returns and the New World of Business,” Harvard Business Review, July-August 1996, https://hbr.org/1996/07/ increasing-returns-and-the-new-world-of-business.
695
Ken Johnson, “Review: Simon Denny Sees the Dark Side of Technology at MOMA,” New York Times, May 28, 2015, https://www.nytimes. com/2015/05/29/arts/design/review-simon-denny-sees-the-dark-side-of-technology-at-moma-psi.html.
696
Ken Johnson, “Review: Simon Denny Sees the Dark Side of Technology at MOMA,” New York Times, May 28, 2015, https://www.nytimes. com/2015/05/29/arts/design/review-simon-denny-sees-the-dark-side-of-technology-at-moma-psi.html.
697
Говоря о работах Сола Левитта, представляющих собой бесконечно повторяемые математически выверенные решетки и коробки, Розалинда Краусс отметила: «А переизбыток частностей у Левитта, его нагромождения почти одинаковых примеров сплошь подчинены системе и порядку. Как говорится, в этом безумии есть метод. В „Вариациях с неполными разомкнутыми кубами“ перед нами предстает „система“ упрямства, непоколебимый ритуал невротика, который со всей возможной добросовестностью, аккуратностью, скрупулезностью разворачивается в бездне иррационального. В каком-то смысле это рисование без причины, рисование, вышедшее из-под контроля». См.: Розалинд Краусс, Подлинность авангарда и другие модернистские мифы (Москва: Художественный журнал, 2003), 254.
698
William Е. Connolly, The Fragility of Things: Self-Organizing Processes, Neoliberal Fantasies, and Democratic Activism (Durham, NC: Duke University Press, 2013).
699
См., например: Philip N. Meyer, “The Darkness Visible: Litigation Stories & Lawrence Joseph’s Lawyerland, ” Syracuse Law Review 53, no. 4 (2003): 1311.
700
Roger Cotterrell, Law, Culture and Society: Legal Ideas in the Mirror of So-cialTheory (London: Routledge, 2006): 15.
701
Richard Н. Brown, A Poetic for Sociology: Toward a Logic of Discovery for the Human Sciences (New York: Cambridge University Press, 1977), 26.
702
Эту терминологию я позаимствовал из работы Юргена Хабермаса: Jurgen Habermas, The Theory of Communicative Action, vol. 2, System and Lifeworld (Cambridge, UK: Polity Press, 1985). Три области субъективного, объективного и интерсубъективного более или менее соответствуют идеям красоты, истины и справедливости.
703
См.: “Critical Algorithm Studies: A Reading List,” updated December 15, 2016, https://socialmediacollective.org/reading-lists/critical-algorithm-studies/. Недавнюю критику бихевиоризма см. в: Fri-schmann and Selinger, Re-engineering Humanity.
704
Rob Kitchin, The Data Revolution (London: Sage, 2014), 2 («Строго говоря, книга должна была бы называться „Революция капта“»). Фотограф Эдвард Штейхен отметил, что «каждая фотография является фейком с начала и до конца, поскольку совершенно безличный, свободный от целей манипуляции фотограф является практически невозможным». См.: Edward J. Steichen, “Ye Fakers,” Camera Work 1 (1903): 48. См. также: Wallace Stevens, “The Man with the Blue Guitar,” in Collected Poetry and Prose, eds. Joan Richardson and Frank Kermode (New York: Penguin, 1997).
705
В работе «Языковое животное» Чарльз Тэйлор проводит различие между дезигнативным и конститутивным взглядами на язык, выбирая последний вариант как более полное описание «человеческой языковой способности»: Charles Taylor, The Language Animal: The Full Shape of the Human Linguistic Capacity (Cambridge, MA: Harvard University Press, 2014).
706
Taylor, The Language Animal:, 24. Понятие резонанса формально разрабатывается и подробно разъясняется в работе: Hartmut Rosa, Resonance: A Sociology of the Relationship to the World (London: Polity Press, 2019). Тэйлор также замечает, что «подобное изменение на более абстрактном и объективируемом уровне аналогично изменению модуса научного исследования за счет сдвига парадигм» (Taylor, op. cit., 24–25). И далее: «Самопонимание и человеческое понимание в целом можно развить, если признать новые модели; вот почему литература является столь важным источником прозрения… Гумбольдт считает, что мы стремимся… открыть для речи те области, которые ранее были невыразимыми. Этим заняты, несомненно, поэты. Так, Т. С. Элиот говорит о „рейдах на территорию неартикулированного“. Гумбольдт, со своей стороны, полагает влечение [Trieb], заставляющее „связывать все, прочувствованное душой, со звуком“».
707
Robert J. S biller, Narrative Economics: How Stories Go Viral and Drive Major Economic Events (Princeton: Princeton University Press, 2019).
708
Steve LeVine, “The Economist Who Wants to Ditch Math,” Marker: Medium, November 5, 2019, https://marker.medium.com/robert-shiller-says-economics-needs-to-go-viral-to-save-itself-f157eceb4C7d.
709
Jens Beckert and Richard Bronk, eds., Uncertain Futures: Imaginaries, Narratives, and Calculation in the Economy (Oxford: Oxford University Press, 2018).
710
J. M. Balkin, Cultural Software: A Theory of Ideology (New Haven: Yale University Press, 1998), 479.
711
Frank Pasquale, Lenore Palladino, Martha T. McCluskey, John D. Haskell, Jedidiah Kroncke, James K. Moudud, Raul Carrillo et al., “Eleven Things They Don’t Tell You about Law & Economics: An Informal Introduction to Political Law and Economics,” Law & Inequality: A Journal of Theory and Practice $7 (2019): 97-147.
712
Maurice Stucke and Ariel Ezrachi, Competition Overdose: How Free Market Mythology Transformed Us from Citizen Kings to Market Servants (New York: HarperCollins, 2020).
713
Mireille Hildebrandt, “A Vision of Ambient Law,” in Regulating Technologies, eds. Roger Brownsword and Karin Yeung (Portland, OR: Hart Publishing, 2008), 175.
714
Catherine Despont, “Symbology of the Line,” in Ernesto Caivano, Settlements, Selected Works 2002–2013 (New York: Pioneer Works Gallery, 2013). «Очевидно, в произведении Кайвано пересказывается эпическая история, в которой влюбленные, разделенные поисками, должны воссоединиться, несмотря на флуктуации времени и множественность измерений» (31).
715
Ernesto Caivano, Settlements, Selected Works 2002–2013 (New York: Pioneer Works Gallery, 2013).
716
David Edward, Artscience: Creativity in the Post-Google Generation (Cambridge, MA: Harvard University Press, 2010).
717
Caivano, Settlements, Selected Works 2002–2019, 40–53.
718
Hartmut Rosa, The Social Acceleration of Time (New York: Columbia University Press, 2013).
719
Brian J. Robertson, Holacracy: The New Management System for a Rapidly Changing World (New York: Holt, 2015).
720
9 8. Katherine Barr, “Al Is Getting Good Enough to Delegate the Work It Can’t Do,” Harvard Business Review, May 12, 2015, https://hbr.org/2015/05/ ai-is-getting-good-enough-to-delegate-the-work-it-cant-do.
721
Alex Rosenblat and Luke Stark, “Algorithmic Labor and Information Asymmetries: A Case Study of Uber’s Drivers,” International Journal of Communication 10 (2016): 3758–3784; но см. также: Alison Griswold, “Uber Drivers Fired in New York Can Now Appeal Before a Panel of Their Peers,” Quartz, November 23, 2016, https://qz.com/843967/ uber-drivers-fired-in-new-york-can-now-appeal-before-a-panel-of-their-peers/.
722
Описание и критический комментарий см. в начале работы: Nick Dyer-Whiteford, Cyber-Proletariat: Global Labour in the Digital Vortex (Chicago: University of Chicago Press, 2015): 1–4.
723
Illah Reza Nourbakhsh, Robot Futures (Cambridge, MA: MIT Press, 2013), xix-xx.
724
Simone Weil, Gravity and Grace, trans. Arthur Wills (New York: Putnam, 1952), 10.
725
Вальтер Беньямин, О понятии истории. Учение о подобии. Медиа-эстетические произведения (Москва: РГГУ, 2012), 242. В своем девятом тезисе работы 1940 г. «О понятии истории» Вальтер Беньямин пишет о работе Пауля Клее Angelus Novus: «Так должен выглядеть ангел истории… Ветер неудержимо несет его в будущее, к которому он обращен спиной, в то время как гора обломков перед ним поднимается к небу. То, что мы называем прогрессом, и есть этот шквал». Обсуждение интереса Беньямина к работе Клее Angelus Novus см. в: Enzo Traverso, Left-Wing Melancholia: Marxism, History, and Memory (New York: Columbia University Press, 2017), 178–181.
726
Masahiro Mori, “The Uncanny Valley: The Original Essay by Masahiro Mori,” trans. Karl F. MacDorman and Norri Kageki, IEEE Spectrum, June 12, 2012, https://spectrum.ieee.org/automaton/robotics/ humanoids/the-uncanny-valley.
727
Инсталляция Тейдзи Фурухаси «Любовники» является компьютерной пятиканальной дисковой/звуковой инсталляцией с пятью проекторами, двумя аудиосистемами, двумя проекторами слайдов и слайдами (цветными и звуковыми). Описание и видео работы на экспозиции 2016–2017 гг. в Музее современного искусства см.: “Teiji Furuhashi: Lovers,” МоМА, 2016, https:// www.moma.org/calendar/exhibitions/1652.
Дизайнеры очень любят рассказывать о полете своей мысли и источниках вдохновения, но они гораздо менее открыты, когда речь заходит о таких важных вопросах, как найти заказы, как определить расценки и что делать, когда клиент отказывается от заказа, на который было потрачено несколько месяцев. Эта книга, выходящая уже во втором издании, призвана помочь решить проблемы молодых дизайнеров, которые хотят зарабатывать, создавая творчески интересные работы, при этом не превратившись в бездушных роботов, механически отрабатывающих очередной заказ.
Джеральд Вайнберг, исходя из своего более чем 50-летнего опыта работы консультантом, делится своими выводами, как запустить и успешно вести свой собственный консалтинговый бизнес. Благодаря использованию юмористичных Правил, Законов и Принципов — таких как Закон малинового варенья, Принцип картофельных чипсов, Правило Руди о брюкве — автор показывает, как, оставаясь самим собой, находить клиентов, завоевывать доверие и устанавливать правильную цену на свои услуги, о которой потом не придется жалеть. Если вы консультант, когда-либо пользовались услугами консультанта или хотите быть одним из них, эта книга будет вам полезна.
Хотите попросить повышение? Или сообщить подчиненному, что вас не устраивает качество его работы? Благодаря этой книге вы станете настоящим экспертом в разговоре на сложные темы: научитесь подбирать нужные слова, удачный тон и правильное время для бесед. Всего за одну неделю вы подготовитесь к разговору, мысль о котором вселяла в вас панику многие месяцы.
Scrum – секретное оружие наиболее успешных современных компаний. Google, Facebook, Amazon и Apple используют Scrum, чтобы стремительно управлять инновациями, предельно точно фокусироваться на клиентах, в несколько раз сокращать время, затрачиваемое на принятие решений, и становиться лучше и лучше. В последние несколько лет Scrum вышел далеко за пределы породивших его технологических компаний и начал завоевывать корпоративный мир. «Scrum на практике» – результат многолетнего опыта работы с несколькими десятками компаний.
Классно в 16 лет иметь возможность самостоятельно покупать все, что хочется, помогать близким и дарить дорогие подарки важным людям. Кристина решила, что хочет зарабатывать сама. В итоге у нее получилось не только купить самый дорогой ноутбук, но и оплатить каникулы в Дубае для себя и папы, параллельно продолжая учиться в школе. Как у нее получилось? Благодаря этой книге вы: • Сделаете первый шаг к собственным деньгам • Избежите ошибки при трудоустройстве на работу • Сможете заработать деньги на воплощение мечты.
В книге рассказывается история главного героя, который сталкивается с различными проблемами и препятствиями на протяжении всего своего путешествия. По пути он встречает множество второстепенных персонажей, которые играют важные роли в истории. Благодаря опыту главного героя книга исследует такие темы, как любовь, потеря, надежда и стойкость. По мере того, как главный герой преодолевает свои трудности, он усваивает ценные уроки жизни и растет как личность.