Воспитание машин. Новая история разума - [39]

Как мы уже не раз отмечали, машинный разум, как и человеческий, будет коллективным: роботы и агенты будут активно взаимодействовать друг с другом и с людьми, образуя сложные цепочки создания стоимости с очень высокой степенью разделения труда. Условно говоря, в экономике вместе с 10 млрд человек будут действовать 100 млрд и более искусственных личностей. Их число будет ограничено лишь доступными вычислительными мощностями, которые, как мы знаем, за 10–20 лет вырастут в 100–10 000 раз[114]. С увеличением уровня разделения труда вырастет и эффективность экономики, то есть общее количество производимых благ в расчете на человека.

Как это все будет выглядеть на практике? Прежде всего, наши персональные ассистенты, обретя свою собственную психику, станут гораздо более самостоятельными и креативными, в отличие от прежних, поведение которых было в большой степени запрограммировано. Они смогут понимать нас и наши мотивы гораздо глубже и тем лучше, чем ближе будет устройство искусственной психики к человеческой. Соответственно, им можно будет перепоручить представление наших интересов в цифровом мире, ведение переговоров от нашего лица с такими же агентами других людей. Иначе говоря, мы сможем «повысить» их с должности секретаря-ассистента до роли агента-импресарио или поверенного с определенными полномочиями, вплоть до подготовки и заключения юридически значимых смарт-контрактов.

То же относится и к роботам, которые будут связаны между собой и с программными агентами в единую сеть, обмениваясь информацией и знаниями в процессе совместной с людьми мыследеятельности. Вот почему важно иметь единую архитектуру искусственной психики агентов и роботов, как можно более похожую на человеческую. В этом случае им легче будет понимать наш язык, мотивы и ценности, то есть действовать именно в наших интересах.

Как мы уже говорили, обучаться агенты и роботы будут через одобрение или критику своих действий со стороны людей с помощью встроенного в их психику аналога дофаминовой системы – электронного кошелька. Но цепочки создания стоимости в современной экономике достаточно длинные, так что роботы будут обслуживать и получать вознаграждения также и друг от друга. Возникнет коллективное обучение роботов через перераспределение денежного потока от конечных пользователей – людей[115]. Взаимное рейтингование роботами поведения друг друга – очень важная составляющая будущей системы коллективной безопасности, ведь с появлением агентов со сверхчеловеческим интеллектом контролировать свои поступки и ценности смогут лишь они сами. Люди просто не смогут предугадывать мотивы их поведения и будут неспособны оценивать агентов адекватно. Они сумеют оценивать лишь текущие, но не отдаленные последствия их действий, предвидеть которые будут не в состоянии.

На этом важном моменте стоит остановиться несколько подробнее. Когда люди оценивают поведение друг друга, они не столько рассматривают сами поступки, сколько стараются угадать стоящие за ними мотивы. Если вам вдруг предлагают слишком выгодную цену за какую-то услугу, вы инстинктивно ищете в этом какой-то подвох, опасаясь возможных неприятностей в будущем. На языке теории обучения вы решаете задачу обратного обучения с подкреплением[116]: по наблюдаемому поведению агента угадать его предполагаемую функцию подкрепления – что именно его мотивирует. (Обычное обучение с подкреплением состоит, напротив, в нахождении оптимального поведения агента, соответствующего наблюдаемым подкреплениям – мотивирующим сигналам.)

Обратное обучение с подкреплением – это следующий уровень рефлексии мышления, попытка поставить себя на место другого и угадать его мотивы, желания и чувства. В мозге приматов имеется специальная система зеркальных нейронов, которые возбуждаются и когда вы сами что-то делаете, и когда это делают другие[117], что для приматов как общественных животных, и особенно для людей, чрезвычайно важно. Так, способность обезьянничать позволяет детям, и не только им, обучаться по принципу «увидел и сделал». Естественно, что этой способностью нам следует наделить и искусственную психику роботов, чтобы они легче обучались, не были бездушными, могли нам сопереживать и действовать в наших истинных интересах. Ведь, если они будут понимать, что нами движет, им будет легче сформировать свое поведение в соответствии не только с наблюдаемыми, но и с предполагаемыми подкреплениями с нашей стороны.

В отличие от обычного, обратное обучение с подкреплением предполагает построение модели психики других агентов (theory of mind), на что способны очень немногие виды животных. Человек же способен и на большее – построение модели своей собственной психики, то есть объяснение своих собственных мотивов. Это еще более высокий уровень рефлексии – самосознание. (У детей понятие «я» формируется постепенно, по мере совершенствования их способности угадывать мотивы других людей.) Ничто не мешает переходу на такой уровень сознательного мышления и в рамках искусственной психики при наличии в ней соответствующих архитектурных возможностей для такого рода перехода.