Среднего более не дано. Как выйти из эпохи великой стагнации - [46]

Их решения трудно будет предвосхитить. Представьте себе одну из лучших связок «человек—машина», занятых в области медицинской диагностики, скажем, в 2035 г. Ими принимаются решения, от которых зависит жизнь пациентов, а также действия врачебных учреждений и других медицинских специалистов. Но что можно рассматривать в качестве убедительного доказательства врачебной ошибки, совершенной связкой «человек—машина»? Суждения об их работе, вынесенного «лишь человеком» или «лишь машиной», будет недостаточно, поскольку по отдельности ни человек, ни машина не вправе судить о такой связке. Иногда можно будет выявить, что человеческая составляющая данной связки чрезмерно компетентна, однако именно диагностические решения связок «человек—машина» и будут представлять собой золотые стандарты того, что следует считать лучшим решением. Оспаривание одной такой связкой решения другой связки может помочь выявить ошибку, однако свидетельством злого умысла или преступной халатности не станет.

В шахматном мире никто особо не возражает против существования очень сильных смешанных команд стиля «адванс». Они не угрожают чьим-то жизненным интересам, поэтому им никто не противодействует. Будет ли подобным и наше отношение ко всем связкам, занимающимся медицинской диагностикой? Будем ли мы слепо доверять им, лишь иногда проверяя на возможность мошеннических действий со стороны человеческой составляющей или доверяя проведение периодической, но тщательной проверки другим связкам? Или же нам следует регулировать их деятельность, применяя к их решениям строгие оценочные стандарты и оставляя окончательное суждение об их работе за человеком?

Исходя из того, как именно функционируют наши правовые институты — а я предполагаю, что в ближайшее время вряд ли что-то изменится,— мы будем оценивать работу диагностических связок на основе суждения, выносимого лишь человеком. Основы наших правовых систем составляют решения присяжных и судей, в которых компьютеры почти не применяются, за исключением случаев, когда этого требует заключение экспертов. Обращаться за помощью к компьютерным программам в судебной практике не принято. Представьте себе, что судья вводит в компьютер пять основных характеристик рассматриваемого дела, гениальная машина выдает заключение, что вероятность вины подсудимого составляет 67%, а судье приходится решать, как именно трактовать аргументы, приведенные машиной в пользу этого заключения. Мы как граждане и избиратели слишком далеки от того, чтобы принять подобный мир, даже если в технологическом плане он и возможен в ближайшем будущем или уже сейчас. Пока же он не наступил, решения судей и присяжных будут по-прежнему основываться на их собственном здравом суждении или отсутствии такового.

Зачастую мнения специалистов по диагностике будут казаться ошибочными, однако в более широкой перспективе нам известно, когда мы оцениваем проблему по прошествии какого-то времени, что лучший результат обеспечивается именно связками «человек— компьютер». Иногда в ответ на давление, исходящее от специалистов по оценке, смешанные связки будут действовать таким образом, чтобы их решения отвечали требованиям специалистов по оценке, даже если это не лучшие из возможных решений. В вопросах медицины это выразится в том, что рискованное, но блестящее решение может быть отвергнуто из-за опасений возможных обвинений.

В силу самой их природы решения лучших команд по шахматам «адванс» не поддаются легко воспроизводимым методам суждения и оценки; в противном случае сама машина уже внесла бы подобные суждения в свои алгоритмы. Решения высшего порядка, принимаемые в шахматах «адванс» — опять же в силу их природы,— это исключительно творческие акты. И судя по всему, эти исключительно творческие акты пугают нас, смущают или вызывают в нас чувство дискомфорта. И это означает, что кое-кто из тех, чьи действия не всегда можно оценить, будет способен действовать без особой подотчетности и ответственности.

Выражаясь языком сегодняшних финансовых рынков, многие финансовые операции носят «забалансовый» характер, что означает, что в отношении этих сделок действуют различные требования по представлению отчетности, а сами они многим финансовым регламентам не подчиняются. Иногда этот факт беспокоит или раздражает регулирующие органы и специалистов, и причину их недовольства понять несложно. Однако добиться того, чтобы сделки и позиции отражались на балансовых счетах понятным для оценки образом, не так-то легко. Триллионы долларов открытых позиций по вторичным ценным бумагам и сложные, реализуемые компьютером торговые стратегии не слишком-то вписываются в идею открытости и подотчетности.

Мы будем все больше полагаться на машины в принятии решений по устранению целей в военное время или в вооруженных конфликтах, как это заложено уже сейчас в беспилотные летательные аппараты и системы наблюдения и захвата цели на автоматическое сопровождение на дальних дистанциях. Что это — афганская свадьба или группа боевиков? Что, если вероятность того, что это боевики, составляет 37%, но при этом в наблюдаемой группе присутствуют семь ни в чем не повинных детей? Предоставить машине информацию, необходимую для расчета вероятностей и принятия решений «на месте», нетрудно. Не думаю, что с моральной точки зрения принимаемые машиной решения были бы лучше решений человека, но по крайней мере они были бы лучше с точки зрения командующего состава. Единственный вопрос — когда мы к этому придем. И здесь вновь встает каверзный вопрос: как оценивать ошибки и какие дисциплинарные меры или меры военного трибунала следует в таких случаях применять? Кого считать виноватым? Программистов? Генералов, принявших решение о применении подобных аппаратов? Президента Соединенных Штатов? Насколько ошибка машины отличается от самопроизвольного выстрела, убившего ни в чем не повинное гражданское лицо? Думаю, сильные державы, вроде Соединенных Штатов, будут использовать данные аппараты, не задаваясь подобными вопросами. Ошибки, включая ошибки морального плана, будут не замечаться и прикрываться, и возможно, что никаких действий по их предотвращению предприниматься не будет вовсе.