Учебное пособие по курсу «Нейроинформатика» - [14]

_m — матрицу Грама для множества из m векторов; через E_m — единичную матрицу размерности m×m. При обращении матриц методом Гаусса используется следующая процедура:

1 .Запишем матрицу размерности m×2m следующего вида: (G_m|E_m).

2. Используя операции сложения строк и умножения строки на ненулевое число преобразуем левую квадратную подматрицу к единичной. В результате получим (E_m|G_m^-1). Пусть известна G_m^-1 — обратная к матрице Грама для множества из m векторов xⁱ. Добавим к этому множеству вектор x^m+1. Тогда матрица для обращения матрицы G_m+1 методом Гауса будет иметь вид:

После приведения к единичной матрице главного минора ранга m получится следующая матрица:

где b_i — неизвестные величины, полученные в ходе приведения главного минора к единичной матрице. Для завершения обращения матрицы G_m+1 необходимо привести к нулевому виду первые m элементов последней строки и (m +1)-го столбца. Для обращения в ноль i-го элемента последней строки необходимо умножить i-ю строку на (x, x^m+1) и вычесть из последней строки. После проведения этого преобразования получим

где , .

b₀ = 0 только если новый эталон является линейной комбинацией первых m эталонов. Следовательно b₀ ≠ 0. Для завершения обращения необходимо разделить последнюю строку на b₀ и затем вычесть из всех предыдущих строк последнюю, умноженную на соответствующее номеру строки b_i. В результате получим следующую матрицу

где F_ij = G_mij^-1-b_ic_j/b₀. Поскольку матрица, обратная к симметричной, всегда симметрична получаем c_i/b₀ = -b_i/b₀ при всех i. Так как b₀ ≠ 0 следовательно b_i = -c_i.

Обозначим через d вектор ((x¹, x^m+1), …, (x^m, x^m+1)), через b — вектор (b₁, …, b_m). Используя эти обозначения можно записать b = G_m^-1d, b₀ = (x^m+1,x^m+1)-(d,b), b₀ = (x^m+1,x^m+1)-(d,b). Матрица G_m+1^-1 записывается в виде

Таким образом, при добавлении нового эталона требуется произвести следующие операции:

1. Вычислить вектор d (m скалярных произведений — mn операций, mn≤n²).

2. Вычислить вектор b (умножение вектора на матрицу — m² операций).

3. Вычислить b⁰ (два скалярных произведения — m+n операций).

4. Умножить матрицу на число и добавить тензорное произведение вектора b на себя (2m² операций).

5. Записать G_m+1^-1.

Таким образом эта процедура требует m+n+mn+3m² операций. Тогда как стандартная схема полного пересчета потребует:

1. Вычислить всю матрицу Грама (nm(m+1)/2 операций).

2. Методом Гаусса привести левую квадратную матрицу к единичному виду (2m³+m²-m операций).

3. Записать G_m+1^-1.

Всего 2m³+m²–m+nm(m+1)/2 операций, что в m раз больше.

Используя ортогональную сеть (6), удалось добиться независимости способности сети к запоминанию и точному воспроизведению эталонов от степени коррелированности эталонов. Так, например, ортогональная сеть смогла правильно воспроизвести все буквы латинского алфавита в написании, приведенном на рис. 1.

Основным ограничением сети (6) является малое число эталонов — число линейно независимых эталонов должно быть меньше размерности системы n.

Тензорные сети

Для увеличения числа линейно независимых эталонов, не приводящих к прозрачности сети, используется прием перехода к тензорным или многочастичным сетям [75, 86, 93, 293].

В тензорных сетях используются тензорные степени векторов. k-ой тензорной степенью вектора x будем называть тензор x^⊗k, полученный как тензорное произведение k векторов x.

Поскольку в данной работе тензоры используются только как элементы векторного пространства, далее будем использовать термин вектор вместо тензор. Вектор x^⊗k является n^k-мерным вектором. Однако пространство L({x^⊗k}) имеет размерность, не превышающую величину , где — число сочетаний из p по q. Обозначим через {x^⊗k} множество k-х тензорных степеней всех возможных образов.

Теорема. При k в множестве {x^⊗k} линейно независимыми являются векторов. Доказательство теоремы приведено в последнем разделе данной главы.

Небольшая модернизация треугольника Паскаля, позволяет легко вычислять эту величину. На рис. 2 приведен «тензорный» треугольник Паскаля. При его построении использованы следующие правила:

1. Первая строка содержит двойку, поскольку при n= 2 в множестве X всего два неколлинеарных вектора.

2. При переходе к новой строке, первый элемент получается добавлением единицы к первому элементу предыдущей строки, второй — как сумма первого и второго элементов предыдущей строки, третий — как сумма второго и третьего элементов и т. д. Последний элемент получается удвоением последнего элемента предыдущей строки.

Рис. 2. “Тензорный” треугольник Паскаля

В табл. 1 приведено сравнение трех оценок информационной емкости тензорных сетей для некоторых значений n и k. Первая оценка — n^k — заведомо завышена, вторая — — дается формулой Эйлера для размерности пространства симметричных тензоров и третья — точное значение.

Таблица 1.

Как легко видеть из таблицы, уточнение при переходе к оценке r_n,k является весьма существенным. С другой стороны, предельная информационная емкость тензорной сети (число правильно воспроизводимых образов) может существенно превышать число нейронов, например, для 10 нейронов тензорная сеть валентности 8 имеет предельную информационную емкость 511.