Wi – весовой коэффициент связи.

Xi – входные данные от i-ого входного элемента

 

Выход нейрона является функцией его состояния:

 

Y = F(x).

Нелинейная функция F называется активационной и может иметь различный вид, что, в частности, показано на рисунке

Виды активационных функций:

а) единичного скачка; б) линейного порога;

в) гиперболический тангенс; г) сигмоид.

 

В случае, когда функция активации одна и та же для всех нейронов се­ти, сеть называют однородной (гомогенной).

Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида).

 

(1)

 

При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0.5. При увеличе­нии а сигмоид приближается по внешнему виду к функции единичного скачка с порогом Т в точке х = 0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной.

 

(2)

 

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что широко используется во многих алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем сильные, и предотвращает насыщение от сильных сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий на­клон.