Интернаука №16 (часть1) 2020 - [3]

сложения RBM и их тренировки. DBN изначально

единиц одинаковыми весами. Конкретно, единицы

использует эффективную послойную стратегию

сверточного слоя организованы в плоскостях. Все

обучения, чтобы инициализировать глубокую сеть,

подразделения самолета имеют одинаковый набор

и, в дальнейшем, точно настраивает все веса вместе

весов. Таким образом, каждая плоскость отвечает за

с желаемыми результатами. DBN - это графические

построение определенной функции. Выходы само-

модели, которые учатся извлекать глубокое иерар-

летов называются картами объектов. Каждый свер-

хическое представление обучающих данных. Прин-

точный слой состоит из нескольких плоскостей, по-

цип послойного обучения без присмотра может

этому в каждом месте можно построить несколько

быть применен к DBN с RBM в качестве строитель-

карт объектов.

ных блоков для каждого уровня].

В целом было показано, что CNN значительно

В процессе обучения DBN есть два основных

превосходят традиционные подходы машинного

преимущества. Во-первых, он решает проблему

обучения в широком спектре задач компьютерного

надлежащего выбора параметров, что в некоторых

зрения и распознавания образов. Их исключитель-

случаях может привести к плохой локальной опти-

ная производительность в сочетании с относитель-

мальности, обеспечивая тем самым надлежащую

ной легкостью в обучении являются основными

инициализацию сети. Во-вторых, нет необходимо-

причинами, объясняющими огромный рост их попу-

сти в помеченных данных, поскольку процесс не

лярности за последние несколько лет.

контролируется. Тем не менее, DBN также страдают

Сети Deep Belief и Deep Boltzmann Machines -

от ряда недостатков, таких как вычислительные за-

это модели глубокого обучения, принадлежащие к

траты, связанные с обучением DBN, и тот факт, что

«семейству Больцмана», в том смысле, что они ис-

шаги к дальнейшей оптимизации сети на основе

пользуют Ограниченную машину Больцмана (RBM)

приближенного обучения с максимальной вероятно-

в качестве учебного модуля. Restricted Boltzmann

стью неясны

Machine (RBM) - это генеративная стохастическая

Глубокие машины Больцмана - еще один тип

нейронная сеть. DBN имеют ненаправленные со-

глубокой модели, использующей RBM в качестве

единения на верхних двух уровнях, которые форми-

своего строительного блока. Различие в архитектуре

руют RBM и направляют соединения на нижние

DBN состоит в том, что в последних два верхних

уровни. DBM имеют ненаправленные соединения

уровня образуют неориентированную графическую

между всеми уровнями сети [2].

модель, а нижние уровни образуют направленную

Сеть глубокого убеждения (DBN) и Deep

порождающую модель, тогда как в DBM все соеди-

Boltzmann Machine (DBM). Два верхних слоя DBN

нения не являются ненаправленными. DBM имеют

образуют неориентированный граф, а остальные

несколько уровней скрытых единиц, где единицы в

слои образуют сеть убеждений с направленными

нечетных слоях условно не зависят от четных слоев

нисходящими соединениями. В DBM все соедине-

и наоборот [3].

ния не являются ненаправленными.

Всплеск глубокого обучения в последние годы

Ограниченная машина Больцмана - это неориен-

во многом обусловлен успехами, достигнутыми в

тированная графическая модель со стохастическими

области компьютерного зрения. В качестве заклю-

видимыми переменными и стохастические скрытые

чительного замечания, несмотря на впечатляющие -

переменные где каждая видимая переменная связана

результаты, серьезные проблемы остаются, особен-

с каждой скрытой переменной. RBM - это вариант

но в том, что касается теоретической основы, кото-

машины Больцмана с ограничением на то, что ви-

рая бы четко объяснила способы определения опти-

димые и скрытые единицы должны образовывать

мального выбора модели тип и структуру для кон-

двудольный граф. Это ограничение позволяет ис-

кретной задачи или для глубокого понимания при-

пользовать более эффективные алгоритмы обуче-

чин, по которым конкретная архитектура или алго-

ния, в частности алгоритм контрастивной диверген-

ритм эффективны в данной задаче или нет. Это одни

ции на основе градиента.

из самых важных вопросов, которые будут продол-

Сети глубокой веры (DBN) - это вероятностные

жать привлекать интерес сообщества исследовате-

генеративные модели, которые обеспечивают сов-

лей машинного обучения в ближайшие годы.

местное распределение вероятностей по наблюдае-

Список литературы:

1. TensorFlow [Электронный ресурс] Режим доступа:https://www.tensorflow.org

2. А. Тошев и С. Сегеди, «DeepPose: оценка позы человека с помощью глубоких нейронных сетей», в материалах 27-й конференции IEEE по компьютерному зрению и распознаванию образов, CVPR 2014 , с. 1653–1660, США, июнь 2014 г. Режим доступа:  Google ученый

3. И. Гудфеллоу, М. Мирза, А. Курвилль и др., «Глубокие машины Больцмана с множественным предсказани-

ем», в трудах NIPS , 2013г. Режим доступа