Совместимость. Как контролировать искусственный интеллект - [91]

Изменение предпочтений вызывает трудность для теорий рациональности, на уровне как индивида, так и социума. Например, предложенный Харсаньи принцип автономии предпочтений, как представляется, гласит, что каждый имеет право на свои предпочтения, какими бы они ни были, и никто не смеет на них посягать. Однако предпочтения ни в коей мере не являются неприкасаемыми, они затрагиваются и модифицируются постоянно по мере накопления опыта. Машины не могут не модифицировать человеческие предпочтения, поскольку машины модифицируют человеческий опыт.

Важно, хотя иногда трудно, отделять изменение предпочтений от обновления, которое происходит, когда изначально пребывающая в неопределенности Гарриет больше узнает о собственных предпочтениях посредством опыта. Обновление предпочтений способно заполнять разрывы в самопознании и, возможно, добавлять определенности предпочтениям, которые прежде были туманными и произвольными. Напротив, изменение предпочтений — это не процесс, являющийся следствием получения дополнительных данных о том, в чем предпочтения индивида в действительности заключаются. В крайнем проявлении можно представить его как следствие приема наркотиков и даже операции на мозге — оно происходит вследствие процессов, которые мы даже можем не понимать и не принимать.

Изменение предпочтений сопряжено с проблемами по крайней мере по двум причинам. Во-первых, непонятно, каких предпочтений следует придерживаться при принятии решения — тех, что Гарриет имеет на момент, когда оно принимается, или тех, что будут у нее во время и после событий, вытекающих из этого решения. Например, в биоэтике это очень актуальная дилемма, потому что предпочтения людей в отношении медицинского вмешательства и паллиативного ухода меняются, подчас резко, когда они серьезно заболевают[326]. При условии, что эти изменения не являются следствием снижения интеллекта, какие из этих предпочтений следует признать?[327]

Во-вторых, не просматривается очевидного рационального основания для изменения (в отличие от обновления) предпочтений индивида. Если Гарриет предпочитает А, а не Б, но имеет возможность выбрать опыт, который, как ей известно, может заставить ее отдать предпочтение Б перед А, с какой стати она станет это делать? Ведь в результате она станет выбирать Б, чего сейчас не хочет!

Вопрос об изменении предпочтений в драматической форме представлен в легенде об Одиссее и сиренах. Сирены, мифологические существа, своим пением завлекали мореплавателей на гибельные скалы средиземноморского острова. Одиссей, желая услышать их пение, приказал спутникам закупорить свои уши воском, а его привязать к мачте и ни при каких обстоятельствах не поддаваться, если он станет умолять освободить его. Очевидно, он хотел, чтобы спутники уважали его изначальные предпочтения, а не те, которые появятся у него, когда сирены его зачаруют. Эта легенда дала название книге норвежского философа Юна Эльстера [328], посвященной слабости воли и другим вызовам теоретическому представлению о рациональности.

Зачем интеллектуальным машинам сознательно браться за модификацию предпочтений людей? Ответ прост: чтобы наши предпочтения было проще удовлетворить. Мы видели это в главе 1 на примере оптимизации переходов по ссылкам в социальных сетях. Один из возможных ответов: машины должны считать человеческие предпочтения неприкосновенными — ничто, изменяющее их, не должно быть разрешено. К сожалению, это совершенно невозможно. Само существование такого подспорья, как полезный робот, скорее всего, окажет влияние на предпочтения человека.

Возможное решение состоит в том, чтобы машины изучали человеческие метапредпочтения, а именно — предпочтения в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми. Обратите внимание на использование формулировки «процессы изменения предпочтений», а не «изменения предпочтений». Дело в том, что стремление индивида изменить свои предпочтения в определенном направлении часто равносильно тому, чтобы уже иметь такие предпочтения. В действительности в таких случаях предметом желания является способность лучше реализовывать предпочтения. Например, если Гарриет говорит: «Я хочу, чтобы мои предпочтения изменились так, чтобы я не хотела пирожное так сильно, как сейчас», — значит, она уже предпочитает будущее с меньшим потреблением сладкого; чего она хочет на самом деле, это изменить свою когнитивную архитектуру так, чтобы ее поведение больше соответствовало этому предпочтению.

Под «предпочтениями в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми» я подразумеваю, например, представление о том, что человек может сформировать «лучшие» предпочтения, поездив по миру и познакомившись с большим разнообразием культур, влившись в круг увлеченных интеллектуалов, всесторонне изучающих широкий спектр нравственных традиций, или потратив какое-то время на уединенные размышления о смысле жизни. Я бы назвал эти процессы нейтральными в отношении предпочтений, поскольку не приходится ожидать, что такой процесс изменит предпочтения человека в каком-либо выделенном направлении, хотя и признаю, что некоторые могут решительно со мной не согласиться.