Совместимость. Как контролировать искусственный интеллект - [108]
Примеры с забытым номером телефона и с лестницей в го иллюстрируют возможность обучения эффективным общим правилам на единственном примере — огромное отличие от миллионов примеров, необходимых для глубокого обучения. В сфере ИИ этот тип обучения называется обучением на основе объяснения: увидев пример, агент может самостоятельно объяснить, почему все обернулось подобным образом, и извлечь общий принцип, выяснив, какие факторы имеют решающее значение для объяснения.
Строго говоря, процесс как таковой не добавляет новое знание. Например, белые могли бы просто вывести существование и результат общей схемы лестницы из правил го, даже не видя пример[370]. Скорее всего, однако, белые никогда не узнали бы о понятии лестницы, если бы не увидели его пример. Таким образом, обучение на основе объяснения можно рассматривать как действенный метод сохранения результатов вычислений в генерализованном виде, без необходимости повторять один и тот же мыслительный процесс (или ту же самую ошибку, при несовершенном мыслительном процессе) в будущем.
Исследования в области когнитивных наук подчеркнули важность этого типа обучения для человеческого познания. Под названием сворачивания он является краеугольным камнем очень влиятельной теории познания, предложенной Алленом Ньюэллом[371]. (Ньюэлл был одним из участников Дартмутского семинара 1956 г. и одним из лауреатов премии Тьюринга 1975 г., которую разделил с Гербертом Саймоном.) Он объясняет, почему с практикой люди начинают легче решать когнитивные задачи — многие подзадачи, изначально требующие осмысления, становятся автоматическими. Не будь этого процесса, общение людей ограничивалось бы одно- или двухсложными ответами, а математики до сих пор считали бы на пальцах.
Благодарности
Многие люди способствовали созданию этой книги. Это, прежде всего, превосходные редакторы из издательств Viking (Пол Словак) и Penguin (Лора Стикни); мой агент Джон Брокман, подтолкнувший меня что-нибудь написать; Джил Леови и Роб Райд, щедрые на полезные комментарии; а также другие читатели первых черновых текстов, особенно Зияд Марар, Ник Хэй, Тоби Орд, Давид Дювено, Мас Тегмарк и Грейс Кэсси. Кэролайн Джинмэйр оказала громадную помощь в сортировке бесчисленных рекомендаций первых читателей, а Мартин Фукуи занимался разрешениями на публикацию изображений.
Основные идеи, освещенные в этой книге, разрабатывались совместно с членами Центра исследования совместимого с человеком ИИ в Беркли. Это в первую очередь Том Гриффитс, Анка Драган, Эндрю Критч, Дилан Хэдфилд-Менелл, Рохин Шах и Смита Милли. Центром прекрасно руководят исполнительный директор Марк Нитцберг и заместитель директора Рози Кэмпбелл при щедром финансировании Open Philanthropy Foundation.
Рамона Альварес и Карин Вердо обеспечили бесперебойную работу в течение всего проекта, а моя замечательная жена Лой и наши дети, Гордон, Люси, Джордж и Айзек, щедро одаривали автора жизненно необходимыми ему любовью, терпением и подбадриванием в доведении дела до конца, не всегда в этом порядке.
Благодарность за предоставленные графические материалы
Рис. 2: (б) © The Sun / News Licensing; публикуется с разрешения Архивов Смитсоновского института.
Рис. 4: SRI International.creativecommons.org/licenses/by/3.0/legalcode.
Рис. 5: (слева) © Berkeley AI Research Lab; (справа) Boston Dynamics.
Рис. 6: © The Saul Steinberg Foundation / Artists Rights Society (ARS), New York.
Рис. 7: (слева) © Noam Eshel, Defense Update; (справа) © Future of Life Institute / Stuart Russell.
Рис. 10: (слева) AFP; (справа) публикуется с разрешения Хенрика Соренсена.
Рис. 11: Elysium © 2013 MRC II Distribution Company L. P. All Rights Reserved. Courtesy of Columbia Pictures.
Рис. 14: © OpenStreetMap contributors. OpenStreetMap.org. creativecommons.org/licenses/by/2.0/legalcode.
Рис. 19: фото местности, DigitalGlobe via Getty Images.
Рис. 20: (справа) публикуется с разрешения управления полиции Темпе.
Рис. 24: © Jessica Mullen / Deep Dreamscope.creativecommons.org/licenses/by/2.0/legalcode.
