Учебное пособие по курсу «Нейроинформатика» - [17]

1. b₁=a₁/||a₁||

2. b₂=(a₂-(a₂,b₂))/||a₂-(a₂,b₁)b₁||. Причем a₂-(a₂,b₁)b₁ ≠ 0, так как (a₁, a²₂)=0, (a¹₂-((a₂,b₁)b₁,a²₂)=0 и a²₂≠0.

…

j.

Причем , так как (a_i, a²_j)=0, при всех i,

и a²_j≠0.

…

Доказательство теоремы. Произведем линейное преобразование векторов множества x с матрицей

Легко заметить, что при этом преобразовании все единичные координаты переходят в единичные, а координаты со значением –1 в нулевые. Таким образом .

По пятому свойству заключаем, что число линейно независимых векторов в множествах X и Y совпадает. Пусть 1≤m≤k. Докажем, что y_I^⊗k при |I|=m содержит компоненту, ортогональную всем y_J^⊗k, |J|≤m, J≠I.

Из предложения 1 имеем

(17)

Представим (17) в виде двух слагаемых:

(18)

Обозначим первую сумму в (18) через y_I0^⊗k. Докажем, что y_I0^⊗k ортогонален ко всем y_J^⊗k, |J|≤m, J≠I, и второй сумме в (18). Так как I≠J, I⊄J, существует q∈I, q∉J.

Из свойств сюръективного мультииндекса следует, что все слагаемые, входящие в y_I0^⊗k содержат в качестве тензорного сомножителя e_q, не входящий ни в одно тензорное произведение, составляющие в сумме y_J^⊗k. Из свойства 2 получаем, что (y_J^⊗k, y_I0^⊗k) = 0. Аналогично, из того, что в каждом слагаемом второй суммы L≠I, I⊄L следует ортогональность y_I0^⊗k каждому слагаемому второй суммы в (18) и, следовательно, всей сумме.

Таким образом y_I^⊗k содержит компоненту y_I0^⊗k ортогональную ко всем y_J^⊗k, |J|≤m, J≠I и (y_J^⊗k-y_I0^⊗k). Множество тензоров Y_k={y_I^⊗k, |I|≤k} удовлетворяет условиям леммы, и следовательно все тензоры в Y_k линейно независимы. Таким образом, число линейно независимых тензоров в множестве  не меньше чем

Для того, чтобы показать, что число линейно независимых тензоров в множестве {x^⊗k} не превосходит этой величины достаточно показать, что добавление любого тензора из Y к Y_k приводит к появлению линейной зависимости. Покажем, что любой y_I^⊗k при |I|>k может быть представлен в виде линейной комбинации тензоров из Y_k. Ранее было показано, что любой тензор y_I^⊗k может быть представлен в виде (17). Разобьем (17) на три суммы:

(19)

Рассмотрим первое слагаемое в (19) отдельно.

Заменим в последнем равенстве внутреннюю сумму в первом слагаемом на тензоры из Y_k:

(20)

Преобразуем второе слагаемое в (19).

(21)

Преобразуя аналогично (21) второе слагаемое в (20) и подставив результаты преобразований в (19) получим

(22)

В (22) все не замененные на тензоры из Y_k слагаемые содержат суммы по подмножествам множеств мощностью меньше k. Проводя аналогичную замену получим выражение, содержащее суммы по подмножествам множеств мощностью меньше k-1 и так далее. После завершения процедуры в выражении останутся только суммы содержащие вектора из Y_k, то есть y_I^⊗k будет представлен в виде линейной комбинации векторов из Y_k. Теорема доказана.

Лекция 7.1. Двойственные сети

Начиная с этой лекции и до конца курса будем рассматривать сети, решающие задачу аппроксимации функции.

Многолетние усилия многих исследовательских групп привели к тому, что к настоящему моменту накоплено большое число различных «правил обучения» и архитектур нейронных сетей, способов оценивать и интерпретировать их работу, приемов использования нейронных сетей для решения прикладных задач.

До сих пор эти правила, архитектуры, системы оценки и интерпретации, приемы использования и другие интеллектуальные находки существуют в виде «зоопарка» сетей. Каждая сеть из нейросетевого зоопарка имеет свою архитектуру, правило обучения и решает конкретный набор задач, аналогично тому, как каждое животное в обычном зоопарке имеет свои голову, лапы, хвост и питается определенной пищей. В данном курсе проводится систематизация «зоопарка» и превращение его в «технопарк». То есть переход от разнообразия организмов к разнообразию деталей — это и эффективнее, и экономнее. Процесс накопления зоопарка и последующего преобразования его в технопарк вполне закономерен при возникновении всего нового. Хорошим примером может послужить процесс развития персональных компьютеров. В семидесятых годах, когда они только появились, происходил процесс накопления зоопарка. В то время существовало множество абсолютно несовместимых друг с другом персональных компьютеров (IBM PC, Apple, PDP, HP и др.). В восьмидесятых и начале девяностых годов происходил процесс систематизации и преобразования зоопарка персональных компьютеров в технопарк. Сейчас, придя в хороший магазин, торгующий компьютерами, вы можете из имеющейся в наличии комплектации собрать такой персональный компьютер, какой вам нужен. Вы можете сами выбрать процессор, память, принтер, аудио и видео карты и т. д.

Для представления всего разнообразия нейрокомпьютеров в виде небольшого набора деталей полезен такой подход: каждая нейронная сеть из зоопарка должна быть представлена как реализованная на идеальном нейрокомпьютере, имеющем заданную структуру. В пределах данной структуры вы можете сами выбирать комплектующие — архитектуру сети, предобработчик, интерпретатор ответа и другие компоненты. Несомненно, структура этого идеального нейрокомпьютера со временем будет эволюционировать. Однако преимущества даже от первых шагов стандартизации несомненны.