Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - [76]

. Машины могут быть незаметнее людей. Реагировать они тоже могут быстрее. Пилоту истребителя требуется по меньшей мере треть секунды, чтобы ответить на атаку; автоматическая система подавления огневых средств противника способна делать наблюдения, ориентироваться, принимать решение и действовать в миллионную долю секунды[493]. Роботизированные оборонные системы в принципе могут отследить и наказать всех участников атаки. Если будет доступна полная автоматизация возмездия, «всякий, кто выстрелит по нашим силам, умрет… Им придется платить своей кровью и потрохами каждый раз, когда они будут стрелять в наших людей», – сказал бывший член Командования объединенными силами ООН в Ираке[494]. Однако хакеры, проникающие в систему, могли бы спровоцировать реки крови и спираль ответных мер[495].

Автоматизация, действующая по принципу «око за око», определяет не только военный подход к террористическим действиям, но также и ответ более грозным противникам. В военной стратегии «машина Судного дня» стала предметом вожделения и в то же время насмешки. Безжалостная держава могла бы попытаться уничтожить людей, контролирующих армию соперника. Если силы соперника закодированы отвечать огнем на поражение в тот же момент, когда замечена любая атака, стратегия первого удара не может сработать. Учитывая накопившееся во всем мире смертоносное вооружение, логика ядерного сдерживания (или взаимно гарантированного уничтожения), вероятно, с еще большей убедительностью применима к автономным системам с аварийной кнопкой.

Подобная стратегия чрезвычайно опасна. Автоматизация может привести к плачевным последствиям, порождая ту самую опасность, которую она должна была предотвратить. В 1960 г. вскоре после выборов в США американская система дальнего обнаружения баллистических ракет (базирующаяся в Гренландии) «заметила» пуск советской ракеты, приписав этому событию «вероятность в 99,9 %». Выяснилось, что поводом для сигнала тревоги стал необычный отблеск Луны. К счастью, НАТО успело выявить ошибку и не стало действовать по плану возмездия.

Существуют некоторые невыдуманные и при этом действительно поразительные примеры действия бесконтрольных алгоритмов, производящих к печальным результатам, которые в принципе могут возникнуть и в военных условиях. Например, два продавца книг на сайте Amazon запрограммировали ботов на индивидуальное рациональное действие: каждый поднимал свою цену, когда замечал, что другой ее тоже поднял[496]. Когда два бота взаимодействовали друг с другом, они создали петлю обратной связи, в которой книга, обычно стоившая около 30 долл., стала стоить 2 млн[497]. Компьютерный сбой уничтожил фирму Knight Capital, автоматически сгенерировав десятки тысяч сделок, которые привели к финансовым потерям[498]. Резкий обвал в 2010 г. связывали с неожиданным взаимодействием более сложных алгоритмов трейдинга[499]. Абстрактные паттерны любого из этих примеров – конкуренции, превосходства, фрактальных цепочек рассуждений, которые ведут к неожиданным результатам, – могут возникнуть и во все более компьютеризируемом вооружении. Даже если ввести предохранители и механизмы безопасности, они станут дополнительными слабыми местами, которые могут быть взломаны врагом. Риск увеличится, если государства начнут выделять больше ресурсов на то, чтобы соперники не смогли взять над ними верх.

Помехи запретам

Учитывая эти опасности, глобальные лидеры могли бы прямо запретить определенные функции или методы убийства, следуя принципам МГП. Один из этих принципов – «военная необходимость», которая требует, чтобы командующие уравновешивали практические требования успешности долгом «гуманности»[500]. Уважение к «требованиям общественного сознания» является еще одной основой этого закона[501]. Неопределенность таких терминов, как «гуманность» или «сознание», является препятствием для алгоритмических логик, которым для начала действий требуются очевидные значения[502]. Некоторые исследования демонстрируют серьезную общественную озабоченность развитием автоматических роботов[503]. Организации Human Rights Watch, International Committee for Robot Arms Control, Pax Christi, Article 36, Nobel Women’s Initiative и Pugwash сформировали «коалицию, чтобы начать кампанию гражданского общества за новый юридически обязывающий международный договор, запрещающий разработку, производство и применение полностью автономных вооружении»[504].

Чтобы понять будущее подобных соглашений по контролю над вооружениями, полезно обратиться к прошлому. Простейшее из автономных вооружений – мина-растяжка, поставленная на врага.

Более опасна скрытая бомба, запрограммированная взорваться, когда ничего не подозревающий человек задевает за определенный проводок. Противопехотная наземная мина, которая должна убивать или калечить любого, кто ступит на нее или рядом с ней, пугала комбатантов еще в Первую мировую войну[505]. Дешевые и легкие в распространении мины сохранили свою популярность в небольших конфликтах по всему земному шару. К 1994 г. солдатами было заложено 100 млн наземных мин в 62 странах