Скорость мысли. Грандиозное путешествие сквозь мозг за 2,1 секунды - [38]

Искусственные нейронные сети не так хороши в обобщении. Программист может обучить одну из своих нейронных сетей на десятках тысяч изображений, чтобы она научилась классифицировать их: «автомобили», «гориллы», «горящие холодильники». Но глубокие нейронные сети состоят из множества слоев, объединяющих тысячи простых нейроноподобных единиц. То есть у них есть миллионы, десятки миллионов соединений между этими устройствами, и силу каждого соединения можно регулировать. Наличие гораздо большего числа настраиваемых подключений, чем изображений, означает, что искусственные сети до ужаса склонны к переобучению – чрезмерной подгонке модели для классификации [136]; они изучают мельчайшие детали каждого изображения, точно настраиваются на нюансы. То есть они не поняли, что общего между всеми автомобилями, гориллами или пылающими холодильниками. Они, скорее всего, провалят экзамен на обобщение. Протестируйте обученную сеть на новых изображениях уже изученных категорий – горилла, но вид сверху; холодильник, от которого остались только головешки, – и нейросеть не сможет поместить их в правильные категории. Даже изменение нескольких пикселей уже изученного изображения может привести к сбою.

Широко используемое решение – метод DropConnect [137]. Объяснение уже в названии: для каждого нового изображения, представленного во время обучения, группа соединений в сети случайным образом отбрасывается, ее коэффициенты обнуляются, и только оставшиеся связи обновляются при успешной или неудачной классификации этого изображения. Повторение этой операции для каждого изображения, по сути, означает, что каждое изображение показывается уникальной версии сети, что не позволяет всей сети целиком настраиваться на детали каждого конкретного изображения. И когда эта сеть затем тестируется на изображениях, которые до этого не видела, она лучше справляется с их правильной категоризацией. Разрыв соединений наугад добавляет к сети помеху, шум, который позволяет ей обобщать.

Ваш мозг сталкивается с теми же проблемами – только большего масштаба. В вашей коре есть миллиарды соединений, которые можно регулировать каждый раз, когда вы чему-то учитесь. Так как же не попасть в ловушку переобучения? Я предлагаю использовать синаптический сбой. Синаптический сбой – точно такой же механизм, как и DropConnect: он разрывает связи между нейронами временно и случайным образом. Он добавляет преднамеренный шум именно там, где нужно, чтобы мозг не попал в ловушку переобучения. Там, где мозг должен обобщать.

Вторая веская причина добавить в свой мозг преднамеренные помехи – помочь ему с поиском. Многие задачи в машинном обучении связаны с поиском оптимального решения проблемы с учетом некоторых ограничений. Классический пример: найти самый быстрый автомобильный маршрут между двумя точками. Причем самый быстрый зачастую не будет самым коротким, а решения должны учитывать скоростные ограничения, интенсивность дорожного движения, ваш вид транспорта (скажем, грузовикам по некоторым дорогам проезд запрещен), время суток, вероятность появления на дороге сбежавшей с фермы овцы и бесчисленное множество других факторов.

Машина, решающая эти проблемы, исследует пространство возможных решений. Она строит маршрут, оценивает, насколько он хорош, и выясняет, как его изменить, чтобы найти вариант получше [138]. Предположим, вы хотите поехать из Лондона в Париж. Машина проложит один возможный маршрут и рассчитает, сколько времени он займет, а затем посмотрит, как его можно оптимизировать – вероятно, здесь стоит повернуть налево, чтобы выехать на более длинную дорогу с высоким скоростным лимитом, сократив общее время в пути. И будет повторять этот цикл предположения и корректировки до тех пор, пока предлагаемые решения не перестанут выдавать уменьшение времени в пути.

Основная проблема поиска состоит в том, что у предполагаемого маршрута будет много подходящих, приемлемых, хороших решений, но все они будут окружены худшими вариантами, так что любые небольшие отклонения от адекватного решения не будут приводить к улучшению. Это маленькие ловушки в большом пространстве возможных решений. Из-за них может показаться, что лучших решений нет, но это не так.

Многие приемы по избеганию таких ловушек сводятся к одному и тому же решению – добавить случайности. Преднамеренное внесение случайных серьезных изменений в решение позволяет машине выпрыгнуть из маленьких ловушек, найти варианты лучше и продолжить поиск оптимизации. Вместо того чтобы блуждать по проселочным дорогам графства Кент, сильная помеха может привести к тому, что поиск окажется на автомагистрали, ведущей из Лондона прямо в порт на южном побережье Великобритании. (В идеальном мире достаточное количество шума, возможно, привело бы к отказу машины от поиска автомобильного маршрута и к указанию «возьми билет на прямой поезд Лондон – Париж, глупый кожаный мешок».) Чтобы искать оптимальные решения, нужен шум. Более того, шум, который можно настраивать – сделать сильным для генерации начальных крупных вариаций, а затем слабым, чтобы отточить решение.