Учебное пособие по курсу «Нейроинформатика» - [6]

Шрифт
Интервал

Слово близких, в постановке задачи, взято в кавычки, поскольку под близостью можно понимать множество разных отношений близости. Далее будет рассмотрен ряд примеров различных видов близости.

К сожалению, вид близости и число классов приходится определять исследователю, хотя существует набор методов (методы отжига) позволяющих оптимизировать число классов.

Формальная постановка задачи

Рассмотрим множество из m объектов {x}, каждый из которых является n-мерным вектором с действительными координатами (в случае комплексных координат особых трудностей с данным методом также не возникает, но формулы становятся более сложными, а комплексные значения признаков случаются редко).

Зададим пространство ядер классов E, и меру близости dist(a, x), где a — точка из пространства ядер, а x — точка из пространства объектов. Тогда для заданного числа классов k необходимо подобрать k ядер таким образом, чтобы суммарная мера близости была минимальной. Суммарная мера близости записывается в следующем виде:

(1)

где K>i — множество объектов i—го класса.

Сеть Кохонена

Сеть Кохонена для классификации на k классов состоит из k нейронов (ядер), каждый из которых вычисляет близость объекта к своему классу. Все нейроны работают параллельно. Объект считается принадлежащим к тому классу, нейрон которого выдал минимальный сигнал. При обучении сети Кохонена считается, что целевой функционал не задан (отсюда и название «Обучение без учителя»). Однако алгоритм обучения устроен так, что в ходе обучения минимизируется функционал (1), хотя и немонотонно.

Обучение сети Кохонена

Предложенный финским ученым Кохоненом метод обучения сети решению такой задачи состоит в следующем. Зададим некоторый начальный набор параметров нейронов. Далее предъявляем сети один объект x. Находим нейрон, выдавший максимальный сигнал. Пусть номер этого нейрона i. Тогда параметры нейрона модифицируются по следующей формуле:

a>i′=λx+(1-λ)a>i  (2)

Затем сети предъявляется следующий объект, и так далее до тех пор, пока после очередного цикла предъявления всех объектов не окажется, что параметры всех нейронов изменились на величину меньшую наперед заданной точности ε. В формуле (2) параметр λ называют скоростью обучения. Для некоторых мер близости после преобразования (2) может потребоваться дополнительная нормировка параметров нейрона.

Сеть Кохонена на сфере

Рис 1. Три четко выделенных кластера в исходном пространстве сливаются полностью (а) или частично (б) при проецировании на единичную сферу.


Одним из наиболее распространенных и наименее удачных (в смысле практических применений) является сферическая сеть Кохонена. В этой постановке предполагается, что все вектора-объекты имеют единичную длину. Ядра (векторы параметров нейронов) также являются векторами единичной длины. Привлекательность этой модели в том, что нейрон вычисляет очень простую функцию — скалярное произведение вектора входных сигналов на вектор параметров. Недостатком является большая потеря информации во многих задачах. На рис. 1 приведен пример множества точек разбитого на три четко выделенных кластера в исходном пространстве, которые сливаются полностью или частично при проецировании на единичную сферу.

Эта модель позволяет построить простые иллюстрации свойств обучения сетей Кохонена, общие для всех методов. Наиболее иллюстративным является пример, когда в двумерном пространстве множество объектов равномерно распределено по сфере (окружности), причем объекты пронумерованы против часовой стрелке. В начальный момент времени ядра являются противоположно направленными векторами.

Рис. 2. Положение ядер при последовательном предъявлении объектов со скоростью обучения 0,5. Состояние до обучения и после каждой эпохи обучения. Ниже приведен график изменения суммы квадратов изменений координат ядер.


На рис. 2 приведены состояния сети Кохонена перед началом обучения и после каждой эпохи обучения. Эпохой принято называть полный цикл предъявления обучающего множества (всех объектов, по которым проводится обучение). Ядра на рисунках обозначены жирными линиями. Из рисунка видно, что обучение зациклилось — после каждой эпохи сумма квадратов изменений координат всех ядер то уменьшается, то возрастает. В литературе приводится целый ряд способов избежать зацикливания. Один из них — обучать с малым шагом. На рис. 3 приведены состояния сети при скорости обучения 0,01.

Рис. 3. Положение ядер при последовательном предъявлении объектов со скоростью обучения 0,01. Состояние до обучения и после каждой эпохи обучения. Ниже приведен график изменения суммы квадратов изменений координат ядер.


Из анализа рис. 3 видно, что изменения ядер уменьшаются со временем. Однако в случае изначально неудачного распределения ядер потребуется множество шагов для перемещения их к «своим» кластерам (см. рис. 4).

Рис. 4. Обучение сети Кохонена со скоростью 0,01 (107 эпох)


Следующая модификация алгоритма обучения состоит в постепенном уменьшении скорости обучения. Это позволяет быстро приблизиться к «своим» кластерам на высокой скорости и произвести доводку при низкой скорости. Для этого метода необходимым является требование, чтобы последовательность скоростей обучения образовывала расходящийся ряд, иначе остановка алгоритма будет достигнута не за счет выбора оптимальных ядер, а за счет ограниченности точности вычислений. На рис. 5 приведены состояния сети Кохонена при использовании начальной скорости обучения 0,5 и уменьшения скорости в соответствии с натуральным рядом (1, ½, ⅓, …). Уменьшение скорости обучения производилось после каждой эпохи. Из графика изменения суммы квадратов изменений координат ядер видно, что этот метод является лучшим среди рассмотренных. На рис. 6 приведены результаты применения этого метода в случае неудачного начального положения ядер. Распределение объектов выбрано то же, что и на рисунке 4 — два класса по 8 объектов, равномерно распределенных в интервалах [π/4,3 π/4] и [5π/4, 7π/4].


Рекомендуем почитать
Глубоководные аппараты (вехи глубоководной тематики)

Вниманию читателей предлагается книга, посвященная созданию первого поколения отечественных обитаемых подводных аппаратов, предназначенных для работы на глубинах более 1000 м История подводного флота, несмотря на вал публикации последнего времени, остается мало известной не только широкой общественности, но и людям, всю жизнь проработавшим в отрасли Между тем. сложность задач, стоящих перед участниками работ по «глубоководной тематике» – так это называлось в Министерстве судостроительной промышленности – можно сравнить только с теми, что пришлось решать создателям космических кораблей Но если фамилии Королева и Гагарина известны всему миру, го о главном конструкторе глубоководной техники Юрии Константиновиче Сапожкове или первом капитане-глубоководнике Михаиле Николаевиче Диомидове читатель впервые узнает из этой книги.


Материалы для ювелирных изделий

Рассмотрены основные металлические материалы, которые применяются в ювелирной технике, их структура и свойства. Подробно изложены литейные свойства сплавов и приведены особенности плавки драгоценных металлов и сплавов. Описаны драгоценные, полудрагоценные и поделочные камни, используемые в ювелирном деле. Приведены примеры уникальных ювелирных изделий, изготовленных мастерами XVI—XVII веков и изделия современных российских мастеров.Книга будет полезна преподавателям, бакалаврам, магистрам и аспирантам, а так же учащимся колледжей и читателям, которые желают выбрать материал для изготовления ювелирных изделий в небольших частных мастерских.Рекомендовано Министерством образования и науки Российской Федерации в качестве учебника для бакалавров, магистров по специальности 26140002 «Технология художественной обработки материалов» и аспирантов специальности 170006 «Техническая эстетика и дизайн».


Грузовые автомобили. Охрана труда

Автомобиль – это источник повышенной опасности, поэтому управлять им могут только люди, прошедшие специальное обучение, имеющие медицинскую справку, стажировку.Книга посвящена вопросу охраны труда. В ней подробно изложены общие положения, которыми должны руководствоваться наниматели, внеплановые и текущие инструктажи для водителей, а также другие немаловажные моменты, обеспечивающие безопасность водителя.Отдельно рассмотрены дорожно-транспортные происшествия и их причины, исходные данные для проведения автотранспортной экспертизы, модели поведения в случаях попадания в ДТП, приближения к месту аварии, а также общий порядок оказания помощи и порядок оформления несчастных случаев.Кроме того, в книге можно найти информацию по правилам перевозки негабаритных и опасных грузов, а также системе информации об опасности (СИО).



Столярные и плотничные работы

Умение работать с благородным материалом – деревом – всегда высоко ценилось в России. Но приобретение умений и навыков мастера плотничных и столярных работ невозможно без правильного подхода к выбору материалов, инструментов, организации рабочего места, изучения технологических тонкостей, составляющих процесс обработки древесины. Эта книга покажет возможности использования этих навыков как в процессе строительства деревянного дома, так и при изготовлении мебели своими руками, поможет достичь определенных высот в этом увлекательном и полезном процессе.


Технический регламент о требованиях пожарной безопасности. Федеральный закон № 123-ФЗ от 22 июля 2008 г.

Настоящий Федеральный закон принимается в целях защиты жизни, здоровья, имущества граждан и юридических лиц, государственного и муниципального имущества от пожаров, определяет основные положения технического регулирования в области пожарной безопасности и устанавливает общие требования пожарной безопасности к объектам защиты (продукции), в том числе к зданиям, сооружениям и строениям, промышленным объектам, пожарно-технической продукции и продукции общего назначения. Федеральные законы о технических регламентах, содержащие требования пожарной безопасности к конкретной продукции, не действуют в части, устанавливающей более низкие, чем установленные настоящим Федеральным законом, требования пожарной безопасности.Положения настоящего Федерального закона об обеспечении пожарной безопасности объектов защиты обязательны для исполнения: при проектировании, строительстве, капитальном ремонте, реконструкции, техническом перевооружении, изменении функционального назначения, техническом обслуживании, эксплуатации и утилизации объектов защиты; разработке, принятии, применении и исполнении федеральных законов о технических регламентах, содержащих требования пожарной безопасности, а также нормативных документов по пожарной безопасности; разработке технической документации на объекты защиты.Со дня вступления в силу настоящего Федерального закона до дня вступления в силу соответствующих технических регламентов требования к объектам защиты (продукции), процессам производства, эксплуатации, хранения, транспортирования, реализации и утилизации (вывода из эксплуатации), установленные нормативными правовыми актами Российской Федерации и нормативными документами федеральных органов исполнительной власти, подлежат обязательному исполнению в части, не противоречащей требованиям настоящего Федерального закона.