Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей - [29]

Ян Лекун: Да, но процесс был более обдуманным. Появившийся в 1986–87 гг. алгоритм обратного распространения дал возможность обучать многослойные нейронные сети. Это вызвало волну интереса, которая продержалась вплоть до 1995 г. В 2003 г. Джеффри Хинтон, Иошуа Бенджио и я придумали план, как возобновить интерес сообщества к этим методам, потому что были уверены в их неминуемой победе. Так что можно сказать, что имел место умышленный сговор.

М. Ф.: Вы уже тогда понимали все перспективы? Сейчас ИИ и глубокое обучение считают синонимами.

Я. Л.: И да, и нет. Мы знали, что методы лягут в основу компьютерного зрения, распознавания речи и, возможно, пары других вещей, но никто не ожидал, что они распространятся на понимание естественного языка, робототехнику, анализ медицинской визуализации и даже поспособствуют появлению беспилотных автомобилей. В начале 1990-х гг. я думал, что движение к этим вещам будет более плавным, а появятся они немного раньше. Нас же ждала революция, случившаяся примерно в 2013 г.

М. Ф.: А как возник ваш интерес к ИИ и машинному обучению?

Я. Л.: Я с детства интересовался наукой, техникой и глобальными вопросами о зарождении жизни, интеллекта, происхождении человечества. Идея ИИ привела меня в восторг. Но в 1960–70 х гг. во Франции этим никто не занимался, поэтому после школы я пошел учиться на инженера.

В 1980 г. мне очень понравилась книга по философии Language and Learning: The Debate Between Jean Piaget and Noam Chomsky («Язык и обучение: дискуссия между Жаном Пиаже и Ноамом Хомским»), в которой создатель теории когнитивного развития и лингвист обсуждали природу и воспитание, а также зарождение языка и интеллекта.

На стороне Пиаже выступал профессор MIT Сеймур Пейперт, который стоял у истоков машинного обучения и в конце 1960-х гг. фактически способствовал прекращению работ с нейронными сетями. И вот спустя 10 лет он превозносил так называемый персептрон – очень простую модель машинного обучения, которая появилась в 1950-х гг. и над которой он работал в 1960-х гг. Так я впервые познакомился с концепцией обучения машин и был ею абсолютно очарован. Способность к обучению я считал неотъемлемой частью интеллекта.

Студентом я прочитал по машинному обучению все, что удалось найти, и сделал несколько проектов по этой теме. Оказалось, на Западе никто не работает с нейронными сетями. Над тем, что позже стало называться этим термином, трудились несколько японских исследователей. У нас же эта тема никого не интересовала, отчасти из-за вышедшей в конце 1960-х гг. книги Пейперта и Минского.

Я начал самостоятельные исследования и в 1987 г. защитил докторскую диссертацию Modeles connexionnistes de l'apprentissage («Коннекционистские модели обучения»). Мой руководитель Морис Милгрэм этой темой не занимался и прямо сказал мне, что может официально стать моим консультантом, но ничем не сможет помочь технически.

В начале 1980-х гг. я обнаружил сообщество людей, которые работали над нейронными сетями, и связался с ними. В итоге параллельно Дэвиду Румельхарту и Джеффри Хинтону я открыл такую вещь, как метод обратного распространения ошибки.

М. Ф.: То есть в начале 1980-х гг. в Канаде велись многочисленные исследования в этой области?

Я. Л.: Нет, все происходило в США. В Канаде такие исследования тогда еще не велись. В начале 1980-х гг. Джеффри Хинтон был сотрудником Калифорнийского университета в Сан-Диего, где работал с такими специалистами по когнитивной психологии, как Дэвид Румельхарт и Джеймс Макклелланд. В результате появилась книга, объясняющая психологию при помощи простых нейронных сетей и компьютерных моделей. Затем Джеффри стал доцентом в Университете Карнеги – Меллона. В Торонто он переехал только в 1987 г. Тогда же в Торонто перебрался и я, и в течение года работал в его лаборатории.

М. Ф.: В начале 1980-х гг. я был студентом, изучавшим вычислительную технику, и не помню, чтобы где-то применялись нейронные сети. Сейчас ситуация резко изменилась.

Я. Л.: Нейронные сети не просто оказались на обочине науки. В 1970-х гг. и начале 1980-х гг. их фактически предали анафеме. Статьи отклонялись за одно упоминание нейронных сетей.

Известна статья Optimal Perceptual Inference («Оптимальный персептивный вывод»), которую в 1983 г. опубликовали Джеффри Хинтон и Терри Сейновски. Чтобы описать в ней одну из первых моделей глубокого обучения и нейронной сети, они использовали кодовые слова, даже в названии.

М. Ф.: Вы известны как автор сверточной нейронной сети. Объясните, пожалуйста, что это такое?

Я. Л.: Изначально эта нейронная сеть была оптимизирована под распознавание объектов на изображениях. Но оказалось, что ее можно применить к широкому кругу задач, например распознаванию речи и машинному переводу. Идеей для ее создания послужили особенности зрительной коры мозга животных и людей, изученные в 1950–60-х гг. Дэвидом Хьюбелом и Торстеном Визелом, позднее получившими Нобелевскую премию в области нейробиологии.

Сверточная сеть – это особый способ соединения нейронов, которые не являются точной копией биологических нейронов. В первом слое – слое свертки – каждый нейрон связан с небольшим количеством пикселов изображения и вычисляет взвешенную сумму своих входных данных. В процессе обучения веса меняются. Группы нейронов видят небольшие участки изображения. Если нейрон обнаруживает определенный признак на одном участке, другой нейрон обнаружит точно такой же признак на соседнем участке, а все остальные нейроны – в остальных участках изображения. Математическая операция, которую нейроны выполняют вместе, называется дискретной сверткой. Отсюда название.