Совместимость. Как контролировать искусственный интеллект - [60]
Крайняя форма уклонения от проблемы — попросту предложить помалкивать о рисках. Например, упомянутый отчет AI100 включает следующее предостережение:
Если общество относится к этим технологиям, главным образом, со страхом и подозрением, это приведет к ошибочным шагам, которые задержат разработку ИИ или загонят ее в подполье, помешав важной работе по обеспечению безопасности и надежности технологий ИИ.
Роберт Аткинсон, директор Фонда информационной технологии и инноваций (того самого, что вручает Премию луддитов), выдвинул тот же аргумент в дебатах 2015 г.[219] Несмотря на то что вопросы о том, как следует описывать риски, общаясь со СМИ, вполне адекватны, общий его посыл ясен: «Не упоминайте риски, это помешает финансированию». Разумеется, если бы никто не знал о рисках, не было бы ни финансирования поиска возможностей их снижения, ни причины для кого бы то ни было заниматься этой работой.
Прославленный специалист по когнитивной науке Стивен Пинкер предлагает более оптимистичный вариант аргумента Аткинсона. С его точки зрения, «культура безопасности в развитых обществах» гарантированно исключит любые серьезные риски, которые несет ИИ, следовательно, неуместно и контрпродуктивно привлекать к ним внимание[220]. Даже если отмахнуться от факта, что наша «продвинутая» культура безопасности привела к Чернобылю, Фукусиме и неуправляемому глобальному потеплению, Пинкер в своей аргументации попадает пальцем в небо. Культура безопасности заключается в людях, указывающих на возможные системные отказы и ищущих пути их предотвращения. (В случае ИИ стандартная модель — обязательно ведет к системному отказу.) Утверждение, будто нелепо привлекать внимание к отказам, поскольку культура безопасности в любом случае их отследит, равнозначно заявлению, что никому из свидетелей наезда на пешехода не следует вызывать скорую помощь, поскольку кто-нибудь так или иначе вызовет скорую помощь все равно.
Пытаясь представить риски публике и политикам, исследователи ИИ находятся в проигрышном положении по сравнению с ядерными физиками. Физикам не нужно писать книги, объясняющие общественности, что, если собрать критическую массу высокообогащенного урана, это может быть рискованно, поскольку последствия уже были продемонстрированы в Хиросиме и Нагасаки. Не потребовалось особых усилий, чтобы убедить власти и фонды в важности соблюдения безопасности при развитии ядерной энергетики.
Нашизм
В «Эдгине» Батлера сосредоточение на «проблеме гориллы» приводит к незрелому и ложному противостоянию сторонников и противников машин. Сторонники считают опасность господства машин минимальной или несуществующей, противники убеждены, что она непреодолима, пока все машины не уничтожены. Спор принимает фракционный характер, и никто не пытается решить фундаментальную проблему сохранения контроля человека над машинами.
В разной степени обсуждение всех важнейших технологических вопросов XX в. — ядерной энергии, генетически модифицированных организмов и ископаемого топлива — страдает фракционизмом. По каждому вопросу имеется две стороны, за и против. Динамика и результаты во всех случаях разные, но симптомы нашизма одинаковы: взаимное недоверие и очернение, иррациональная аргументация и отказ принимать любой (разумный) довод, который может свидетельствовать в пользу другой фракции. На протехнологической стороне наблюдаем отрицание и сокрытие рисков в сочетании с обвинениями в луддизме, на антитехнологической — убежденность, что риски непреодолимы, а проблема неразрешима. На представителя протехнологической фракции, слишком честно высказывающегося о проблеме, смотрят как на предателя, что особенно прискорбно, поскольку эта фракция включает большинство людей, способных решить эту проблему. Член антитехнологической фракции, обсуждающий возможное уменьшение рисков, — тоже «изменник», поскольку зло видится в технологии как таковой, а не в ее возможных эффектах. Таким образом, лишь крайние маргиналы — у которых меньше всего шансов быть услышанными по обе стороны баррикад — могут высказываться от имени каждой фракции.
Нельзя ли просто…
Уловив саму идею экзистенциального риска, будь то в форме «проблемы гориллы» или «проблемы царя Мидаса», большинство людей, я в том числе, сразу же начинают искать простое решение. Часто первое, что приходит в голову, — это выключить машину. Например, сам Алан Тьюринг в приведенной ранее цитате рассуждает, что мы можем «удержать машины в подчиненном положении, например отключив питание в критический момент».
Это не поможет по той простой причине, что сверхинтеллектуальная сущность уже подумала об этой возможности и предприняла шаги по ее предотвращению. Она сделает это не из желания остаться живой, а потому что преследует ту или иную цель, которую мы ей дали, и знает, что не сможет ее достичь, если ее отключат.
Уже придуман ряд систем, которые невозможно отключить, не причинив серьезный ущерб нашей цивилизации. Это системы, реализованные в качестве так называемых смарт-контрактов в блокчейне. Блокчейн — высокораспределенная форма выполнения вычислений и хранения данных на основе шифрования, созданная специально для того, чтобы никакую часть данных нельзя было уничтожить и ни один смарт-контракт невозможно было прервать, фактически не взяв под контроль очень большое число машин и не разрушив цепочку, что, в свою очередь, может уничтожить значительную часть интернета и (или) финансовой системы. Ведутся споры, является ли эта невероятная устойчивость «фичей или багом», но, несомненно, это инструмент, с помощью которого сверхинтеллектуальная ИИ-система могла бы себя защитить.
Петр Ильинский, уроженец С.-Петербурга, выпускник МГУ, много лет работал в Гарвардском университете, в настоящее время живет в Бостоне. Автор многочисленных научных статей, патентов, трех книг и нескольких десятков эссе на культурные, политические и исторические темы в печатной и интернет-прессе США, Европы и России. «Легенда о Вавилоне» — книга не только о более чем двухтысячелетней истории Вавилона и породившей его месопотамской цивилизации, но главным образом об отражении этой истории в библейских текстах и культурных образах, присущих как прошлому, так и настоящему.
Научно-популярный журнал «Открытия и гипотезы» представляет свежий взгляд на самые главные загадки вселенной и человечества, его проблемы и открытия. Никогда еще наука не была такой интересной. Представлены теоретические и практические материалы.
«Что такое на тех отдаленных светилах? Имеются ли достаточные основания предполагать, что и другие миры населены подобно нашему, и если жизнь есть на тех небесных землях, как на нашей подлунной, то похожа ли она на нашу жизнь? Одним словом, обитаемы ли другие миры, и, если обитаемы, жители их похожи ли на нас?».
Ежемесячный научно-популярный и научно-художественный журнал.
Взыскание Святого Грааля, — именно так, красиво и архаично, называют неповторимое явление средневековой духовной культуры Европы, породившее шедевры рыцарских романов и поэм о многовековых поисках чудесной лучезарной чаши, в которую, по преданию, ангелы собрали кровь, истекшую из ран Христа во время крестных мук на Голгофе. В некоторых преданиях Грааль — это ниспавший с неба волшебный камень… Рыцари Грааля ещё в старых текстах именуются храмовниками, тамплиерами. История этого католического ордена, основанного во времена Крестовых походов и уничтоженного в начале XIV века, овеяна легендами.
В занимательной и доступной форме автор вводит читателя в удивительный мир микробиологии. Вы узнаете об истории открытия микроорганизмов и их жизнедеятельности. О том, что известно современной науке о морфологии, методах обнаружения, культивирования и хранения микробов, об их роли в поддержании жизни на нашей планете. О перспективах разработок новых технологий, применение которых может сыграть важную роль в решении многих глобальных проблем, стоящих перед человечеством.Книга предназначена широкому кругу читателей, всем, кто интересуется вопросами современной микробиологии и биотехнологии.
Специалист по проблемам мирового здравоохранения, основатель шведского отделения «Врачей без границ», создатель проекта Gapminder, Ханс Рослинг неоднократно входил в список 100 самых влиятельных людей мира. Его книга «Фактологичность» — это попытка дать читателям с самым разным уровнем подготовки эффективный инструмент мышления в борьбе с новостной паникой. С помощью проверенной статистики и наглядных визуализаций Рослинг описывает ловушки, в которые попадает наш разум, и рассказывает, как в действительности сегодня обстоят дела с бедностью и болезнями, рождаемостью и смертностью, сохранением редких видов животных и глобальными климатическими изменениями.
Американский генетик Дэвид Райх – один из главных революционеров в области изучения древней ДНК, которая для понимания истории человечества оказалась не менее важной, чем археология, лингвистика и письменные источники. В своей книге Райх наглядно показывает, сколько скрытой информации о нашем далеком прошлом содержит человеческий геном и как радикально геномная революция меняет наши устоявшиеся представления о современных людях. Миграции наших предков, их отношения с конкурирующими видами, распространение культур – все это предстает в совершенно ином свете с учетом данных по ДНК ископаемых останков.
Все решения и поступки зарождаются в нашей психике благодаря работе нейронных сетей. Сбои в ней заставляют нас страдать, но порой дарят способность принимать нестандартные решения и создавать шедевры. В этой книге нобелевский лауреат Эрик Кандель рассматривает психические расстройства через призму “новой биологии психики”, плода слияния нейробиологии и когнитивной психологии. Достижения нейровизуализации, моделирования на животных и генетики помогают автору познавать тайны мозга и намечать подходы к лечению психических и даже социальных болезней.
«Уравнение Бога» – это увлекательный рассказ о поиске самой главной физической теории, способной объяснить рождение Вселенной, ее судьбу и наше место в ней. Знаменитый физик и популяризатор науки Митио Каку прослеживает весь путь удивительных открытий – от Ньютоновой революции и основ теории электромагнетизма, заложенных Фарадеем и Максвеллом, до теории относительности Эйнштейна, квантовой механики и современной теории струн, – ведущий к той великой теории, которая могла бы объединить все физические взаимодействия и дать полную картину мира.