Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - [74]
Роботы-убийцы и военное право
Международное гуманитарное право (МГП), комплекс норм, управляющих вооруженным конфликтом, создает еще больше проблем для разработчиков автономных вооружений[473]. Главная норма МГП – это правило дискриминации, требующее, чтобы воюющие стороны проводили различие между комбатантами и нонкомбатантами. Мишенями могут становиться только комбатанты[474]. Среди партизан или повстанцев не существует надежной общепринятой «самоидентификации» комбатантов (которой могли бы быть униформа или знаки отличия). В противоповстанческих операциях и других нетрадиционных видах военных действия, которые получили распространение в последние несколько десятилетий, комбатанты смешиваются с гражданскими. НПО Human Rights Watch предлагает следующий пример трагедии, которую могут устроить машины, но способно предупредить человеческое суждение:
Может случиться так, что испуганная мать побежит за двумя детьми и крикнет им, чтобы они прекратили играть с игрушечными автоматами рядом с солдатом. Солдат-человек может заметить страх матери и игру детей и понять, что их намерения безобидны, тогда как полностью автономное вооружение может заметить лишь человека, бегущего к нему, и двух вооруженных людей. Первый не станет открывать огонь, а второй может начать атаку[475].
Учитывая современную ограниченность программирования и распознавания лиц, этот пример представляется довольно убедительной критикой военных роботов. Ключевой этический пример военных действий – это принцип дискриминации: атакующие должны проводить различие между комбатантами и гражданскими.
Апологеты АСВ подчеркивают, однако, что способность таких вооружений к различению постоянно улучшается. Когда она достигнет совершенства, наблюдение силами дронов будет способно создать «зоны боевых действий, которые видят», тщательно отслеживая, кто среди врагов вооружен и опасен, а кто всегда отсиживался, не подавая подозрительных сигналов и не демонстрируя необычных паттернов активности[476]. Даже если предположить, что технология станет более точной, ничем не обоснован вывод, будто командующие купят ее, будут ее использовать или разработают справедливые принципы распознавания в условиях неопределенной боевой обстановки. Статус комбатанта (являющегося законной мишенью) «становится все более неопределенным и до такой степени размытым, что может распространяться на любую форму принадлежности, сотрудничества или симпатии к повстанческой организации»[477].
Принцип распознавания – лишь один из множества международных законов, регулирующих военные действия. Принятое Женевской конвенцией «правило соразмерности» запрещает «атаку, которая, как можно предполагать, приведет к таким случайным жертвам среди гражданских, их травмам или сочетанию того и другого, которые будут чрезмерными в сравнении с ожидаемым конкретным и непосредственным военным преимуществом»[478]. Установление статуса комбатанта может быть в принципе доступным паноптическому предшественнику сети Skynet, способному отслеживать всех людей на определенной территории для оценки их вооруженности или причастности тем или иным враждебным действиям. Однако даже американские военно-воздушные силы указали на то, что определение соразмерности является «субъективным по самой своей сути, а потому ее надо устанавливать в каждом случае отдельно»[479].
Многие авторитеты объясняли, насколько сложно запрограммировать робота, способного справиться с «бесконечным числом сценариев, которые могут возникнуть» во время войны[480]. Питер Асаро, эксперт в области робототехники, получивший образование как в области информатики, так и философии науки, утверждает, что «утилитарный расчет минимизации риска» не способен подменить тот правовой анализ, которым ранее занимались юристы, когда интерпретировали Декларацию Мартенса[481]. И военные чиновники, и международные трибуналы должны заниматься широким спектром этических вопросов, которые возникают из-за все более автономных систем вооружений. Асаро выделяет резкое расхождение между роботизированной обработкой данных и человеческим разумом – то, как это проявляется в юридических процессах. Асаро замечает: «Автоматический процесс, спроектированный заранее и основанный на сенсорных данных, не является ни правовым, ни моральным суждением»[482]. Какой бы эффективной технология нацеливания ни была в мониторинге, выявлении и нейтрализации угроз, нет доказательств того, что она может заниматься сложными и гибкими рассуждениями, необходимыми для применения законов и норм, в которых сохраняется хотя бы незначительная двусмысленность.
Историк Сэмюэль Мойн ставит еще более сложные моральные вопросы. Даже если предположить, что технологическое развитие военных роботов позволит определять мишени с большей точностью, понизив, таким образом, смертоносность войн, хорошо ли это? Анализируя все большее влияние принципов прав человека на коллизионное право, Мойн подмечает парадокс: война стала «гуманнее, но в то же время ее стало сложнее завершить». С точки зрения захватчиков, роботы избавляют политиков от жертв, которые могли бы породить оппозицию внутри страны
