Модель персептрона

Структура персептрона представлена на рисунке 2.3.

Рис. 2.3. Структура персептрона

 

Функционирование персептрона можно описать выражением

 

. (2.3)

 

Обратим внимание, что формула (2.3) сводится к более обобщенному вы­ражению (2.1) при .Функция f может быть дискретной ступенчатой функцией - биполярной (т.е. принимающей значения -1 или 1) либо униполярной (принимающей значения 0 или 1). В последующих рассуждениях будем предполагать, что функция ак­тивации биполярная и имеет форму

	для   для

. (2.4)

 

В соответствии с функцией акти­вации персептрон может принимать только два различных выходных зна­чения, поэтому он может классифи­цировать сигналы, подаваемые на его вход в виде векторов х ~ [ х₁..., х_n ] ^T одному из двух классов. Напри­мер, одновходовый персептрон может распознавать, является входной сигнал положительным или отрицательным. При наличии двух входов персептрон разделяет плоскость на две полуплоскости. Такая декомпозиция задается пря­мой линией, определяемой уравнением

. (2.5)

 

Уравнение (2.5) можно записать в виде

(2.6)

В общем случае, когда персептрон имеет п входов, он разделяет n - мерное пространство входных векторов х на два полупространства. Эти полупростран­ства отделяются друг от друга (n - 1) - мерной гиперплоскостью, которая называется решающей­ границей (англ. decision boundary) и задается уравнением

. (2.7)

 

На рисунке 2.4 представлена решающая граница для п = 2. Необходимо отме­тить, что прямая, разделяющая полуплоскости, всегда перпендикулярна век­тору весов w = [ w ₁, w ₂]^T.

Как мы уже отмечали во введении, персептрон можно обучать. В процессе обучения модифицируются веса персептрона. Метод обучения персептрона получил название «обучение с учителем» или «обучение под надзором». Роль учителя заключается в подаче на вход персептрона сигналов x (t)= [ x ₀(f), x ₁ (t),..., х_п(t) ] ^T, t = 1, 2,..., для которых известны истинные значения выходных сигналов d(t), t = 1,2, …, называемых эталонными сигналами.

Рис. 2.4. Решающая граница для n=2

 

Совокупность таких входных выборок соответствующих им значений эталонных сигналов называется обучающей последовательностью. При использовании методов рассматриваемой группы после ввода входных значений рассчитывается вы­ходной сигнал нейрона. После этого веса модифицируются так, чтобы мини­мизировать погрешность между эталонным сигналом и выходным сигналом персептрона. Такой подход объясняет термин «обучение с учителем», поскольку именно учитель задает эталонные значения. Конечно, существуют алгоритмы обучения сетей без учителя, однако эти алгоритмы мы будем рассматривать несколько позднее. Предлагаемый в настоящий момент алгоритм обучения персептрона состоит из следующих шагов:

1. Присвоить начальным весам персептрона случайные значения.

2. На входы нейрона подать обучающий вектор х = x (t)= [ x₀ (t), x₁ (t),..., x_n (t)] ^T, t = 1,2,….

3. Рассчитать выходное значение персептрона у по формуле (2.3).

4. Сравнить выходное значение у (t) с эталонным значением d=d (x (t)) ,
содержащимся в обучающей последовательности.

5. Модифицировать веса следующим образом:

а) если y (x (t)) ≠ d (x (t), то w_i (t +1) = w_i (t) +d (x (t)) x_i (t);

б) если y (x (t))= d (x (t)), то w_i (t +1) = w_i (t), т.е. значения весов не изме­няются.

6. Перейти к шагу 2.

Выполнение алгоритма продолжается до тех пор, пока для всех входных векторов, входящих в состав обучающей последовательности, погрешность на выходе не станет меньше априори заданного уровня. На рисунке 2.5 представ­лена блок-схема обучения персептрона. Выполнение одного внутреннего цикла этой схемы соответствует одной так называемой эпохе, которую со­ставляют данные, образующие обучающую последовательность. Выполнение внешнего цикла отражает возможность многократного применения одной и той же обучающей последовательности, пока не будет выполнено условие остановки алгоритма.

Рис. 2.5. Блок-схема алгоритма обучения персептрона

 

. Докажем, что алгоритм обучения персептрона сходится. Теорема о схо­димости персептрона формулируется следующим образом:

Если существует набор весов w*=[ w ₁*,..., w_n* ] ^T, корректно классифи­цирующий обучающие векторы х =[ x ₁ ,..., х_п ] ^T, т.е. выполняющий отображе­ние у=d (x), то обучающий алгоритм найдет решение за конечное количество итераций при любых начальных значениях вектора весов w.

Предположим, что обучающая выборка представляет линейно сепарабельные классы, поскольку персептрон можно обучить только в этом случае. По­кажем, что существует конечное количество шагов модификации весов, после выполнения которых персептрон будет корректно выполнять отобра­жение у=d( x ). Поскольку функция активации персептрона имеет тип «sgn», длина вектора w * может быть произвольной, например, равной 1,т.е. || w*|| = 1. Поэтому в процессе обучения вектор w достаточно модифицировать так, чтобы показанный на рисунке 2.6. угол α был равен 0. Очевидно, в этом случае cos (α) = 1. Из факта, что | w * _° х | > 0 (символ «о» обозначает скалярное произведение векто­ров) и w * является решением, следует существование такой константы δ > 0, для которой | w *_° х| > δ при любых векторах х, входящих в обучающую после­довательность

 

Рис. 2.6. Иллюстрация выполнения алгоритма обучения

персептрона для n=2

 

Из определения скалярного произведения следует, что

. (2.8)

 

Поскольку

(2.9)

то

 

(2.10)

 

В соответствии с алгоритмом обучения персептрона веса для заданно­го входного вектора х модифицируются согласно формуле w ' = w + Δ w, где Δ w = d (х) х. Мы предполагаем, что на выходе появится ошибка и что коррек­ция весов будет необходима. Заметим, что

w '° w * = w _° w * +d( x ) w * _° х, (2.11)

поэтому

 

w ' _° w * = w _° w * + sgn(w *_° x) w *_° x. (2.12)

 

Истинны следующие суждения:

 

а) если w *_° х < 0, то sgn(w *_° x) = -l, поэтому sgn(w *_° x) w *_° х = -l(w *_° x) >0;

 

б) если w * _° х > 0,тo sgn(w * _° x) = 1, поэтому sgn(w * _° х) w * _° х = l(w * _° х) > 0.

 

Следовательно,

sgn(w * _° х) w * _° х = | w *_° х|. (2.13)

 

В соответствии с формулами (2.12) и (2.13) можно записать:

 

w ' _° w * = w _° w * + | w *_° х|. (2.14)

 

Нам также известно, что |w*_° х | > δ, поэтому

 

w ' _° w * > w _° w * + δ. (2.15)

 

Теперь оценим значение || w '||², не забывая о том, что мы рассматриваем случай, когда при подаче на вход обучающего вектора х на выходе сети появ­ляется ошибка, т.е.

d(x)=-sgn(w _° x). (2.16)

Очевидно, что

 

|| w '||² =||w + d (x) x ||² ||w|| + 2 d (x) w _° x +|| x ||². (2.17)

 

С использованием зависимостей (6.16) и (6.17), а также предполагая ограниченность входных сигналов, получаем

 

|| w '||² < || w ||² + || x ||² = || w ||² + C. (2.18)

После t шагов модификации весов сети зависимости (6.15) и (6.18) прини­мают вид

 

w (t) _° w * > w _° w * + t δ; (2.19)

 

|| w (t)||² < || w ||² + tC. (2.20)

 

С использованием формул (2.10), (2.19) и (2.20) получаем

 

(2.21)

 

Поэтому должны существовать такие значения t = t _max, для которых cos(α) = 1. Следовательно, существует конечное количество шагов модификации весов, после которых вектор начальных весов будет корректно выполнять отобра­жение у = d( x ). Если предположить, что начальные значения весов равны 0, то

 

t _max =С/δ². (2.22)