Учебное пособие по курсу «Нейроинформатика» - [27]

и x^j, а наиболее перспективной координатой для этого является l-я. Однако увеличение расстояние между xⁱ_l и x^j_l не всегда осмыслено. Дело в том, что все параметры, как правило, измеряются с конечной точностью. Поэтому, если величина |xⁱ_l-x^j_l| меньше чем точность измерения l-го параметра, значения xⁱ_l и x^j_l можно считать совпадающими. Таким образом, для изменения масштаба надо выбирать тот из входных параметров, для которого значение |xⁱ_l-x^j_l| минимально, но превышает точность измерения этого параметра.

Таблица 7. Кодирование параметра после разбиения на два сигнала

Предположим, что все входные параметры предобработаны в соответствии с формулой (1). Перенумеруем примеры обучающего множества так, чтобы были верны следующие неравенства: x_l¹<x_l²<,…,x_l^N, где N — число примеров в обучающем множестве. При этом, возможно, придется исключить ряд пар параметр-ответ с совпадающими значениями параметра. Если в какой-либо из таких пар значения ответов различаются, то это снижает возможную полезность данной процедуры.

Наиболее простой путь — разбить диапазон l-го параметра на два. Зададимся точкой x. Будем кодировать l-й параметр двумя входными сигналами в соответствии с табл. 7. При таком кодировании критерий Липшица, очевидно, уменьшится. Вопрос о выборе точки x может решаться по-разному. Простейший путь — положить x=(a-b)/2. Более сложный, но часто более эффективный — подбор x исходя из требования минимальности критерия Липшица.

Приведенный выше способ уменьшения критерия Липшица не единственный. В следующем разделе рассмотрен ряд способов предобработки, решающих ту же задачу.

Другие способы предобработки числовых признаков

В данном разделе будет рассмотрено три вида предобработки числовых признаков — модулярный, позиционный и функциональный. Основная идея этих методов предобработки состоит в том, чтобы сделать значимыми малые отличия больших величин. Действительно, пусть для ответа существенно изменение величины признака на единицу при значении признака порядка миллиона. Очевидно, что простейшая предобработка (1) сделает отличие в единицу неразличимым для нейронной сети при абсолютных значениях порядка миллиона.

Все эти виды предобработки обладают одним общим свойством — за счет кодирования входного признака несколькими сигналами они уменьшают сложность задачи (критерий Липшица).

Модулярная предобработка

Зададимся некоторым набором положительных чисел y₁, …, y_k. Определим сравнение по модулю для действительных чисел следующим образом:

x mod y = x-y·Int(x/y), (15)

где Int(x) — функция, вычисляющая целую часть величины x путем отбрасывания дробной части. Очевидно, что величина x mod y лежит в интервале (-y, y).

Кодирование входного признака x при модулярной предобработке вектором Z производится по следующей формуле:

(16)

Таблица 8. Пример сигналов при модулярном вводе

x	x mod 3	x mod 5	x mod 7	x mod 11
5	2	0	5	5
10	1	0	3	10
15	0	0	1	3

Однако модулярная предобработка обладает одним отрицательным свойством — во всех случаях, когда y_i≠y^r₁, при целом r, разрушается отношение предшествования чисел. В табл. 8 приведен пример векторов. Поэтому, модульная предобработка пригодна при предобработке тех признаков, у которых важна не абсолютная величина, а взаимоотношение этой величины с величинами y₁, …, y_k.

Примером такого признака может служить угол между векторами, если в качестве величин y выбрать y_i=π/i.

Функциональная предобработка

Функциональная предобработка преследует единственную цель — снижение константы Липшица задачи. В разделе «Предобработка, облегчающая обучение», был приведен пример такой предобработки. Рассмотрим общий случай функциональной предобработки, отображающих входной признак x в k-мерный вектор z. Зададимся набором из k чисел, удовлетворяющих следующим условиям: x_min<y₁<…<y_k-1<y_k<x_max.

Таблица 9. Пример функциональной предобработки числового признака x∈[0,5], при условии, что сигналы нейронов принадлежат интервалу [-1,1]. В сигмоидной предобработке использована φ(x)=x/(1+|x|), а в шапочной — φ(x)=2/(1+x²)-1. Были выбраны четыре точки y_i=i.

x	z1(x)	z2(x)	z3(x)	z4(x)
Линейная предобработка
1.5	0.5	-0.5	-1	-1
3.5	1	1	0.5	-0.5
Сигмоидная предобработка
1.5	0.3333	-0.3333	-0.6	-0.7142
3.5	0.7142	0.6	0.3333	-0.3333
Шапочная предобработка
1.5	0.6	0.6	-0.3846	-0.7241
3.5	-0.7241	-0.3846	0.6	0.6

Пусть φ — функция, определенная на интервале [x_min-y_k, x_max-y₁], а φ_min,φ_max — минимальное и максимальное значения функции φ на этом интервале. Тогда i-я координата вектора z вычисляется по следующей формуле:

(17)

Линейная предобработка. В линейной предобработке используется кусочно линейная функция:

(18)

Графики функций z_i(x) представлены на рис. 2а. Видно, что с увеличением значения признака x ни одна функция не убывает, а их сумма возрастает. В табл. 9 представлены значения этих функций для двух точек — x₁=1.5 и x₂=3.5.

Сигмоидная предобработка. В сигмоидной предобработке может использоваться любая сигмоидная функция. Если в качестве сигмоидной функции использовать функцию S₂, приведенную в разделе «Нейрон» этой главы, то формула (17) примет следующий вид:

Графики функций z_i(x) представлены на рис. 2б. Видно, что с увеличением значения признака