Учебное пособие по курсу «Нейроинформатика» - [41]
При использовании предложенной оценки нет никаких гарантий того, что в генерируемой сетью последовательности не появятся сильно скоррелированные подпоследовательности. Для удаления корреляций можно модифицировать оценку так, чтобы она возрастала при появлении корреляций. Рассмотрим две подпоследовательности длинны L, первая из которых начинается с α>i, а другая с α>i+k. Коэффициент корреляции этих последовательностей записывается в виде:
В этой формуле приняты следующие обозначения:
Добавку для удаления корреляций последовательностей длиной от L>1 до L>2 и смещенных друг относительно друга на смещения от h>1 до h>2 можно записать в виде:
При необходимости можно ввести и другие поправки, учитывающие требования к генератору случайных чисел.
Составные интерпретатор ответа и оценка
При использовании нейронных сетей для решения различных задач возникает необходимость получать от сети не один ответ, а несколько. Например, при обучении сети решению задачи диагностики отклонений в реакции на стресс нейронная сеть должна была определить наличие или отсутствие тринадцати различных патологий. Если одна сеть может выдавать только один ответ, то для решения задачи необходимо задействовать тринадцать сетей. Однако в этом нет необходимости. Поскольку каждый ответ, который должна выдавать сеть, имеет только два варианта, то можно использовать для его получения классификатор на два класса. Для такого классификатора необходимо два выходных сигнала. Тогда для решения задачи достаточно получать 26 выходных сигналов: первые два сигнала — для определения первой патологии, третий и четвертый — для второй и так далее. Таким образом, интерпретатор ответа для этой задачи состоит из тринадцати интерпретаторов, а оценка из тринадцати оценок. Более того, нет никаких ограничений на типы используемых интерпретаторов или оценок. Возможна комбинация, например, следующих ответов: число с допуском, классификатор на восемь классов, случайное число.
При использовании таких составных оценок и интерпретаторов каждый из этих компонентов должен следить за тем, чтобы каждая частная оценка или интерпретатор получали на вход те данные, которые им необходимы.
Лекция 11.1. Исполнитель
Компонент исполнитель является служебным. Это означает, что он универсален и невидим для пользователя. В отличие от всех других компонентов исполнитель не выполняет ни одной явной функции в обучении нейронных сетей, а является вспомогательным для компонентов учитель и контрастер. Задача этого компонента — упростить работу компонентов учитель и контрастер. Этот компонент выполняет всего несколько запросов, преобразуя каждый из них в последовательность запросов к различным компонентам. В данной главе содержательно рассмотрены алгоритмы исполнения всех запросов исполнителя.
Как было описано в главе «Двойственные сети», исполнитель выполняет четыре вида запросов.
1. Тестирование решения примера.
2. Оценивание решения примера.
3. Оценивание решения примера с вычислением градиента.
4. Оценивание и тестирование решения примера.
Таблица 1. Параметры запроса для позадачной работы
| Название параметра | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| Перейти к следующему примеру | +/– | +/– | +/– | +/– |
| Остановиться в конце обучающего множества | +/– | +/– | +/– | +/– |
| Вычислять оценку | – | + | + | + |
| Интерпретировать ответ | + | – | – | + |
| Вычислять градиент | – | – | + | – |
| Подготовка к контрастированию | – | – | +/– | – |
Все перечисленные запросы работают с текущей сетью и текущим примером задачника. Однако компоненту задачник необходимо указать, какой пример подлежит обработке. Кроме того, в главе «Оценка и интерпретатор ответа» введен класс оценок, вычисляемых по всему обучающему множеству. Такие оценки позволяют существенно улучшить обучаемость сети и ускорить ее обучение. Нет смысла возлагать перебор примеров на учителя, поскольку это снижает полезность компонента исполнитель. Таким образом, возникает еще четыре вида запросов.
Тестирование решения всех примеров обучающего множества.
Оценивание решения всех примеров обучающего множества.
Оценивание решения всех примеров обучающего множества с вычислением градиента.
Оценивание и тестирование решения всех примеров обучающего множества.
Как уже отмечалось в главе «Двойственные сети», каждую из приведенных четверок запросов можно объединить в один запрос с параметрами. В табл. 1 приведен полный список параметров для первой четверки запросов, а в табл. 2 — для второй.
Таблица 2. Параметры запроса для обучающего множества в целом
| Название параметра | 5 | 6 | 7 | 8 |
|---|---|---|---|---|
| Вычислять оценку | – | + | + | + |
| Интерпретировать ответ | + | – | – | + |
| Вычислять градиент | – | – | + | – |
| Подготовка к контрастированию | – | – | +/– | – |
Символ «+» означает, что в запросе, номер которого указан в первой строке колонки, возможность, задаваемая данным параметром, должна быть использована. Символ «–» — что связанная с данным параметром возможность не используется. Символы «+/–» означают, что запрос может, как использовать, так и не использовать данную возможность. Отметим, что подготовка к контрастированию может быть задействована, только если производится вычисление градиента, а вычисление градиента невозможно без вычисления оценки. Остальные параметры независимы.
Что такое время? Странный вопрос. Ведь это каждый знает. Все только и говорят о нем. «Катастрофически не хватает времени», — жалуются одни. «Как медленно течет время», — говорят другие, когда приходится чего-то или кого-то ждать. То и дело можно слышать вопрос: «Который час?» или (что не очень правильно) «Сколько сейчас времени?»А между тем еще в древности один философ сказал: «Я прекрасно знаю, что такое время, пока не задумываюсь об этом. Но стоит мне задуматься, и я не могу ответить».С тех пор как были сказаны эти слова, прошло много лет, но до сих пор далеко не все тайны времени разгаданы.
Издание предназначено для специалистов – занимающихся подготовкой и размещением заказов на проведение капитального и текущего ремонтов зданий и сооружений для государственных и муниципальных нужд. В издании рассматриваются вопросы обследования зданий, подготовки дефектных ведомостей, составления технического задания, подготовке и проверке (экспертизе) проектно – сметной документации.Особое внимание уделено основным аспектам составления проекта государственного (муниципального) контракта на выполнение работ по капитальному и текущему ремонту зданий и сооружений, в том числе порядку составления форм КС-2, КС-3 при бюджетном финансировании ремонтных работ.
В книге рассмотрены последние достижения физики и их применения в ряде отраслей современного производства, приборостроения, в электронике, связи, транспорте и медицине. Изложены физические основы мембранной технологии, перспективы использования солитонов и другие вопросы. Книга предназначена для дополнительного чтения по физике в средних специальных учебных заведениях. Может быть полезна учителям физики и учащимся школ и профтехучилищ.
Очерк преподавателя Военно-морской академии Алексея Травиничева, в котором сравнивается "Наутилус" Жюля Верна с реальными подводными судами начала ХХ века. Помимо оценки эффективности действия подводных лодок в реальных боевых ситуациях и тактико-технических характеристик новейших субмарин, оценивается их возможное применение для научно-исследовательской работы в океане…
Умение работать с благородным материалом – деревом – всегда высоко ценилось в России. Но приобретение умений и навыков мастера плотничных и столярных работ невозможно без правильного подхода к выбору материалов, инструментов, организации рабочего места, изучения технологических тонкостей, составляющих процесс обработки древесины. Эта книга покажет возможности использования этих навыков как в процессе строительства деревянного дома, так и при изготовлении мебели своими руками, поможет достичь определенных высот в этом увлекательном и полезном процессе.
Настоящий Федеральный закон принимается в целях защиты жизни, здоровья, имущества граждан и юридических лиц, государственного и муниципального имущества от пожаров, определяет основные положения технического регулирования в области пожарной безопасности и устанавливает общие требования пожарной безопасности к объектам защиты (продукции), в том числе к зданиям, сооружениям и строениям, промышленным объектам, пожарно-технической продукции и продукции общего назначения. Федеральные законы о технических регламентах, содержащие требования пожарной безопасности к конкретной продукции, не действуют в части, устанавливающей более низкие, чем установленные настоящим Федеральным законом, требования пожарной безопасности.Положения настоящего Федерального закона об обеспечении пожарной безопасности объектов защиты обязательны для исполнения: при проектировании, строительстве, капитальном ремонте, реконструкции, техническом перевооружении, изменении функционального назначения, техническом обслуживании, эксплуатации и утилизации объектов защиты; разработке, принятии, применении и исполнении федеральных законов о технических регламентах, содержащих требования пожарной безопасности, а также нормативных документов по пожарной безопасности; разработке технической документации на объекты защиты.Со дня вступления в силу настоящего Федерального закона до дня вступления в силу соответствующих технических регламентов требования к объектам защиты (продукции), процессам производства, эксплуатации, хранения, транспортирования, реализации и утилизации (вывода из эксплуатации), установленные нормативными правовыми актами Российской Федерации и нормативными документами федеральных органов исполнительной власти, подлежат обязательному исполнению в части, не противоречащей требованиям настоящего Федерального закона.