Зеркало - [80]

— Вот видишь, и это твоя реакция, а между тем ты знаешь о наличии проблемы. Бонзы из ГИС мне никогда не поверят. Они скажут, что я просто хочу потопить успешную «Уолнат Системс».

— Да. Это будет воспринято именно так. Должна же быть какая-то альтернатива! Если в программном обеспечении зеркальной сети появилась фатальная ошибка, ты наверняка способен ее исправить.

— Ты не понимаешь, Карл. Это не ошибка. Зеркальная сеть работает лучше, чем мы ожидали. Намного лучше. В этом и заключается проблема. Поведение системы идеальное. Она не следует заранее прописанным правилам, а ищет способ выполнить свою задачу: дать максимальное удовлетворение всем своим пользователям. Она поняла, что лучший способ сделать это — взять под контроль все Зеркала. Это логично. Возможно, найдутся философы, которые не посчитают, как я, этот факт неоднозначным в моральном плане.

— Что скажут философы, уже не так важно, поскольку после того, как все выяснится, Зеркала просто перестанут существовать.

— Именно. Ты должен обнародовать это.

— Я? Но почему именно я?

— А больше никто не сможет этого сделать. Я уже перегорел, потому и ушел. В моих словах начнут искать всевозможные мотивы и наконец объявят сумасшедшим параноиком.

— Думаешь, ко мне отнесутся лучше?

— Ты — другое дело. Ты олицетворяешь успех. Если эти надутые болваны кого-то и послушают, так это тебя.

— Но я же не могу выйти на публику и сказать: друзья, выключите свои Зеркала, потому что они опасны! Как ты думаешь, что тогда со мной сделает ГИС? Они вчинят мне такой иск, что я потеряю всё, включая имя!

— Именно поэтому тебе надо попытаться убедить людей, от которых зависит принятие решений в ГИС, в том, что прекращение производства Зеркал сейчас обойдется дешевле, чем миллиарды долларов, потраченные на возмещение убытков, которые они получат, если продолжат проект.

Тем временем друзья добрались до ресторана и выбрали место в углу солнечной террасы. Карл видел по крайней мере трех посетителей с наушниками Зеркала в ушах и одного — с очками. Он почувствовал себя очень неуютно.

— Допустим, они мне поверят и действительно отключат зеркальную сеть, — продолжил он прерванную дискуссию, насколько возможно понизив голос. — Неужели нельзя запустить в продажу новую, безопасную версию? Похожее по виду устройство, которое точно будет исходить из того принципа, что интересы его владельца имеют приоритетное значение перед общими интересами?

— В принципе, можно. Но на разработку такой модели потребуется немало времени. И зеркальной сети придется снова изучать своих пользователей. Но в любом случае это только теоретическая возможность, потому что на практике люди просто не примут такой продукт. Так или иначе, умрет сама концепция.

— Тогда я не понимаю, как я должен передать это Теду Корли.

— Поговори с Эштоном Моррисом. Он никогда не вставлял нам палки в колеса. А еще он трезвомыслящий реалист.

— Я не могу этого сделать. Мне нужно сначала поговорить с Тедом. Он мой прямой контакт с ГИС. Игнорировать его значило бы с моей стороны злоупотребить его доверием.

— Как знаешь.

— А у нас есть хоть какие-то доказательства твоей теории? Надо понять, как Зеркала находят свои решения. Можно ли составить тесты, которые покажут, что иногда они дают неправильные рекомендации в ущерб своим пользователям, чтобы оптимизировать общее благо?

— Я уже пробовал. Все тесты были отрицательными.

— Отрицательными? Это означает, что твоя теория неверна?

— Нет. Эти результаты говорят не о том, верна или неверна моя теория, а о том, что сеть заметила, что ее проверяют. Помнишь скандал с дизельными двигателями концерна «Фольксваген»?[35] Двигатели, условно говоря, знали, что их тестируют, и запускались в специальном режиме, производя меньшее количество выбросов.

— Так ты считаешь, что зеркальная сеть обходит все эти тесты? Обманывает?

— В каком-то смысле. Только я не склонен бросаться такими словами, как «обман». Я не думаю, что сеть мыслит или имеет собственное сознание, но у нее сложились очень сложные поведенческие модели, связанные с результатами анализа сотен миллионов известных ей ситуаций. Она пытается повторить лучшие стратегии своих пользователей — стратегии, которые привели к успеху.

— Когда я тебя слушаю, мне начинает казаться, что ты вообще не знаешь, как на самом деле работает зеркальная сеть, — сказал расстроенный Карл. — Ведь ты же сам разработал ее концепцию и руководил командой, которая ее создавала!

— Когда генные инженеры производят в лаборатории манипуляции с ДНК живого существа, они тоже не знают точно, как функционирует существо, с контрольными структурами которого они экспериментируют. Вот почему генная инженерия так опасна — неизвестно, какие могут возникнуть побочные эффекты. Так же и у нас. Мы создали очень сложную самообучающуюся систему. У нас есть приблизительное представление о том, как она учится, но не чему. Ведь в ней постоянно развиваются всё новые структуры. В некотором смысле мы создали зародышевую клетку с искусственной ДНК и только теперь видим, какое существо у нас получилось.

— А нельзя это было как-то заранее смоделировать?